Bez człowieka ani rusz ;-)

Wszyscy, zresztą słusznie podniecają się raportami mówiącymi, że np. 97% wszystkich wdrożeń AI pada...

IMHO powód jest prosty, acz trudny do zrozumienia dla "nietechnicznych".

LLMy są genialne, potrafią robić cuda. Problemem jest to, że czasem robią głupoty... a jeszcze większym to, że nie mamy na razie narzędzi, które potrafiłyby stwierdzić "to rozwiązanie jest piękne i dobre" i "to rozwiązanie jest szalone i niemożliwe". Próbuje się to obchodzić ale nie działa to tak jak byśmy chcieli.

Gdy używamy LLMa w trybie chatu to prowadzimy z nim rozmowę, on może "kłamać" bo wszedł w obszar na którym się nie zna (w cudzysłowach bo on nie ma intencji kłamania, on odpowiada tak samo jak odpowiada gdy mówi sensowne rzeczy), ale po to jest human in the loop, by to wykryć i poprawić.

Jednak gdy coś gdzie używamy LLMa staje się częścią API to jest problem. Nawet jak raz na 100 query odpowie źle to trzeba obudować odpowiedzi czymś co sprawdza wiarygodność odpowiedzi. A to jest trudne. Albo niemożliwe ;-)

A powiedzmy szczerze 1% błędów to to jest marzenie wielu rozwiązań z LLMami ;-)

Stąd np. LLMy dla wielu programistów stały się takim niewkurzającym pair programming partnerem (bo wszystkim zwykle podoba się idea pair programmingu, ale masa ludzi jak zrobi 1-2 30 minutowe sesje w ciągu dnia to jest max, bo po prostu nie chcą być ciągle tak blisko i pisać z kimś kodu), z którym można pisać ciut szybciej, a na 100% mniej wkurzająco.

Ale już systemy agentowe chociaż potrafią coś robić to często potrzebują człowieka, który "sprawdza".
W przypadku kodu to jest postęp bo jednak programiści są drodzy i jak razem z agentami człowiek momentami będzie 10 razy szybszy, a czasem 9 razy wolniejszy to zwykle to się uśredni tak, że będzie "ciut szybszy", a nadzieja jest, że z czasem to będzie się przesuwać ku jeszcze szybszemu.

Jednak wiele firm próbuje używać podejścia bez człowieka w pętli i na tym padają te rozwiązania. A wprowadzenie człowieka zwykle mogłoby podnieść koszty tak wysoko, że nie warto się męczyć... 

Podobne posty^beta
LLMowa ściana ;-)
Mam kryzys wiary w lokalne LLMy ;-)
Jak VHDL obalił komunizm
Seks w ujęciu informatycznym ;-) - rozmnażanie ;-)
Czy LLMy umieją wnioskować? Test :-)