Tak eksperymentuję z GPT4All (takim lokalnym LLM, podobnym do ChatGPT czy Barda, ale głupszym ;-)).
Głównie mu każę krótkie opowiadania pisać i zwykle prompty są większe niż odpowiedź.
Ale tak, widzę że temperatura jest ciekawym parametrem, bo zejście z 0.7 do 0.35 powoduje, że mu inwencja rośnie ;-)
Jak zwykle zaczyna tak samo i dopiero dalej zaczyna robić różnice to tutaj czasem potrafi pójść w coś bardzo ciekawego, ale innym razem po prostu podsumowuje mój prompt "a więc chcesz bym napisał opowiadanie" albo coś w ten deseń ;-)
Tak samo zdjęcie mu kajdan w postaci zwiększenia puli tokenów które może brać pomaga (jak rozumiem ma na podstawie poprzednich tokenów jakaś grupę tych najbardziej prawdopodobnych i nie wybiera z całej puli, ale ma twardy limit ustawiony na jakąś liczbę tokenów, jak mu zwiększymy ją z 40 do 80 to jest znów bardziej pomysłowy).
Tokeny są tajemnicą, bo kiedyś myślałem, że to może znaki, a może słowa, a to jest coś między... czasem jak pójdzie za bardzo w ciąg to zaczyna zapominać o spacjach co by sugerowało, że to jest właśnie coś między.
Z poważniejszych rzeczy mam wrażenie, że taki lokalny mode (a taki Wizard waży ~8 GB) jest za mały do czegoś sensownego, bo jego sugestie gdy np. próbuję go używać do dopracowywania moich ToDo są gorzej niż słabe, a te z ChatGPT bywają lepsze. Chociaż tutaj się będę musiał przyjrzeć.
A czemu każe mu pisać opowiadania? Bo tam jest łatwo robić coś co sobie dla siebie nazywam debugowaniem promptów, wiem mniej więcej jaki chcę efekt, a on mi idzie w drugą stronę, albo w ogóle w jeszcze inną, to sobie mogę prompty poprawiać.
Tak mi się udało poprawić też prompt którego używam z OpenAI API, więc chyba dobra droga :-)
Tak mnie kusi spróbować potrenować jakiś model, ale podejrzewam, że wszystkie moje CPU i GPU w domu potrzebowałyby paru tygodni na policzenie czegoś ;-)
Ha, spytam Barda i ChatGPT czy polecą jakieś dobre książki czy papiery w stylu najlepiej The Alghortim Design Manual albo Introduction to Alghortims dla LLMów ;-) może coś już znają.
Podobne postybeta
Moc promptów
Szukając parsera Java'y
Search it later ;-)
Wojna promptów ;-)
Przymiarki do nowego Bloggeroida
Brak komentarzy:
Prześlij komentarz