Tak sobie robię kurs z Deeplearning.AI o LLMach (ale taki "managerski" narazie) czyli Generative AI for Everyone i wychodzi, że dla swoich potrzeb gdybym chciał używać LLMów do pracy z moimi notatkami lokalnie to powinienem chyba notować po angielsku ;-)
Bo to jest tak, do LLMów takim pierwszym stopniem customizacji jest użycie RAG (Retrieval Augmented Generation), co oznacza, że dodajemy do modelu kawałek zwykłego kodu, który czyta sobie nasze pliki i gdy wpisujemy pytanie dla LLMa to szuka po naszych plikach rzeczy, które "pasują" (szuka różnie, to już szczegół implementacji, acz ważny ;-)) i wrzuca je do prompta, który wtedy jest wzbogacany o coś w stylu "w swojej odpowiedzi uwzględnij informacje poniżej" i tekst z lokalnych plików.
Lokalnie mam GPT4All i oni tam mają możliwość dodania Library czyli tak naprawdę folderu z tekstami, których GPT4All powinno używać.
Jednak same modele dla GPT4All są trenowane głównie na angielskim i gdyby notatki były głównie po angielsku to powinno to ułatwić GPT4All pracę ;-)
OK, inna sprawa, że GPT4All jest jednak taki sobie ;-) ale można liczyć, że wraz ze wzrostem mocy obliczeniowych takie lokalne rozwiązania będą bardziej sensowne i te modele też urosną, a wtedy takie notatki po angielsku mogą pomóc.
Podobne postybeta
Bawię się GPT4All
A może by odkurzyć AI? ;-)
Samochód jako zmniejszacz temperatury.... GC i jak to możliwe, że Young Generation może być zbyt duże, strzeż się finalize() i muzyczka :-) Czyli potok świadomości....
Odrobina miłości i serwery działają ;-)
LLMowa ściana ;-)
Brak komentarzy:
Prześlij komentarz