Gowa boli, gupie zatoki.
To ponarzekałem, acz mam ochotę bardziej ;-)
Za to z ciekawych rzeczy. W pracy nadal robię sobie system agentowy, który modyfikuje pliki z drogami w 3D, normalnie używam Haiku na Bedrocku z AWS, ale dziś przełączyłem się na używanie dla testów remote Ollama'y działającej na moim prywatnym komputerze (więc pracowy laptop podpinał się do mojej Ollamy).
Ciekawe jest to, że Haiku na Bedrocku jest między 15 a 70x szybsze od Ollamy ;-) Qwen3.5 był niezły bo np. coś mu zajmowało 150 sekund, ale Qwen3.8 potrzebował na to samo ponad 600 sekund ;-) ciekawe jest też to, że np. Gemma poległa i nie wołała odpowiednio narzędzi.
Ale to pokazuje, że proste Agenty spokojnie można budować na lokalnym sprzęcie, szczególnie jeśli używają w miarę dobrego dla używania narzędzi modelu i Qwen3.5 z MoE wydaje się takim być :-)
Ciągle jednak widzę w tym wszystkim jeden poważny problem. Na razie przestrzeń użycia czegoś takiego jest ograniczona.
To co ja teraz buduję w pracy to jest coś takiego, że wiem, że człowiek dostawszy zestaw narzędzi mógłby to zrobić. Mógłbym mu powiedzieć "ej dodaj tam przy każdym przejściu dla pieszych znaki przejścia dla pieszych" i używając narzędzi mógłby to zrobić, więc może to też zrobić Agent, bo to jest proste.
Ale gdy trzeba dokonać jakiejś oceny to już są problemy. Szczególnie jeśli chodzi o intencje.
Tak można napisać LLMowi co się chce napisać w odpowiedzi na maila i dać mu oryginał maila i ten to ubierze w odpowiednie słowa, ale już raczej nie da się zrobić tak by Agent przejął Twoją pocztę... A asysten/asystentka, tacy ludzcy mogą to zrobić.
W pewien sposób to jest bardzo frustrujace, bo wydaje się, że masę rzeczy można by tak zautomatyzować, ale jak się człowiek zaczyna do tego dotykać to się okazuje, że hmm.... jednak nie działa to tak fajnie.
Tu jest w ogóle takie coś dziwnego. Z jednej strony podejście gdzie mamy deterministyczne narzędzia + Agent działa świetnie... do momentu gdy nie działa, bo np. agent upiera się, że on wie lepiej co powinien zrobić od narzędzia i np. narzędzie wie, że akurat w tym przypadku robić należy X, ale jak tool zostanie zawołany z parametrem Y to zrobi Y, a Agent z uporem maniaka woła z Y.
Z drugiej strony LLMy są na tyle potężne, że te duże modele mogą wiele rzeczy zrobić nawet nie wołając narzędzi czy nawet ich nie pisząc, jeśli trzeba są w stanie wypluć to co miałoby zrobić narzędzie.... ale to też może być co działa, do momentu gdy nie działa ;-)
Podobne postybeta
Bob wykazuje inicjatywę ;-) i jakże piękny mógłby być Googlebook....
Zauroczył mnie Cladue Code ;-)
Agent by Agent ;-) czyli o tworzeniu agenta AI agentem AI ;-)
A jakby Boba nauczyć czytać maile?
O urokach uprzęży – czyli o tym, że okiełznana moc LLM-ów jest bardziej użyteczna niż nieokiełznana
Brak komentarzy:
Prześlij komentarz