Mam kryzys wiary w lokalne LLMy ;-)

Cierpię na kryzys lokalnych LLMów ;-) są niby fajne bo działają lokalnie i nie muszę płacić z dostęp do API takiego OpenAI....

Ale OpenAI jednak umiało jakieś sensowniejsze rzeczy odpowiadać ;-)

Czekając na nową książkę z Bobiverse miałem skrypt, który raz na dzień wchodził na stronę autora, pobierał treść i jeśli się zmieniła to przesyłał ją z promptem do LLMa z prośbą by ten odpowiedział w formie JSONa czy książka jest już dostępna i jaki będzie miała tytuł.

Gdy to wysyłałem do OpenAI to dostałem sensowne odpowiedzi, lokalne LLMy takie jak Mistral czy nawet Wizard z 30 miliardami parametrów nie były tak pewne...

Mam w głowie cosia, który będzie przeglądał moje Todo z reminders (i może Todoist) i jeśli oceni, że nie do końca wiadomo o co chodzi to podmieni je na dookreślenie o co chodzi.... i znów te lokalne LLMy tak sobie tu działają...

Stąd mam kryzys lokalnych LLMów ;-) 

Chociaż jest nadzieja, gemma3, chociaż gemma3 z 27b parametrów możniej dociska mojego Maca Mini z M4 Pro i 64 GB RAM niż taka LLama3 z 70b ;-)

Podobne posty^beta
Chyba zacznę notować po angielskiemu... coby pomóc AI ;-)
GPT + Python = sprawdzanie czy 5 książka z Bobiverse już jest dostępna ;-)
Journaling z LLM - lokalnie to też działa ;-)
Czy LLMy umieją wnioskować? Test :-)
0.15 USD w miesiąc ;-)