Bawię się GPT4All

Tak eksperymentuję z GPT4All (takim lokalnym LLM, podobnym do ChatGPT czy Barda, ale głupszym ;-)).

Głównie mu każę krótkie opowiadania pisać i zwykle prompty są większe niż odpowiedź.

Ale tak, widzę że temperatura jest ciekawym parametrem, bo zejście z 0.7 do 0.35 powoduje, że mu inwencja rośnie ;-) 
Jak zwykle zaczyna tak samo i dopiero dalej zaczyna robić różnice to tutaj czasem potrafi pójść w coś bardzo ciekawego, ale innym razem po prostu podsumowuje mój prompt "a więc chcesz bym napisał opowiadanie" albo coś w ten deseń ;-)

Tak samo zdjęcie mu kajdan w postaci zwiększenia puli tokenów które może brać pomaga (jak rozumiem ma na podstawie poprzednich tokenów jakaś grupę tych najbardziej prawdopodobnych i nie wybiera z całej puli, ale ma twardy limit ustawiony na jakąś liczbę tokenów, jak mu zwiększymy ją z 40 do 80 to jest znów bardziej pomysłowy). 

Tokeny są tajemnicą, bo kiedyś myślałem, że to może znaki, a może słowa, a to jest coś między... czasem jak pójdzie za bardzo w ciąg to zaczyna zapominać o spacjach co by sugerowało, że to jest właśnie coś między.

Z poważniejszych rzeczy mam wrażenie, że taki lokalny mode (a taki Wizard waży ~8 GB) jest za mały do czegoś sensownego, bo jego sugestie gdy np. próbuję go używać do dopracowywania moich ToDo są gorzej niż słabe, a te z ChatGPT bywają lepsze. Chociaż tutaj się będę musiał przyjrzeć.

A czemu każe mu pisać opowiadania? Bo tam jest łatwo robić coś co sobie dla siebie nazywam debugowaniem promptów, wiem mniej więcej jaki chcę efekt, a on mi idzie w drugą stronę, albo w ogóle w jeszcze inną, to sobie mogę prompty poprawiać.
Tak mi się udało poprawić też prompt którego używam z OpenAI API, więc chyba dobra droga :-)

Tak mnie kusi spróbować potrenować jakiś model, ale podejrzewam, że wszystkie moje CPU i GPU w domu potrzebowałyby paru tygodni na policzenie czegoś ;-)

Ha, spytam Barda i ChatGPT czy polecą jakieś dobre książki czy papiery w stylu najlepiej The Alghortim Design Manual albo Introduction to Alghortims dla LLMów ;-) może coś już znają.

Podobne posty^beta
Moc promptów
Search it later ;-)
Wojna promptów ;-)
Szukając parsera Java'y
GPT + Python = sprawdzanie czy 5 książka z Bobiverse już jest dostępna ;-)