Clickbait Detector z użyciem lokalnego LLMa - to działa... tylko po co? ;-)

Ha, w sobotę pisałem o tym, że Chrome ma wbudowane API do lokalnego LLMa... i postanowiłem go użyć w moim Clickbait Detectorze.

Najpierw sam to zrobiłem ręcznie, później popchnąłem na to Codex, który mi przepisał prawie cały kod ;-)

Ktoś chce zobaczyć to jest na GitHub'ie ;-) 

Działa to tak, że dla każdego linku (który ma odpowiednio długi tytuł) robi hit w lokalny LLM z promptem proszącym o ocenę czy to jest Clickbait.

Głównym efektem jest to, że mój laptop się robi gorący jak wchodzę na nową stronę ;p

Jak na razie wygląda, że chodzę po takich stronach gdzie nie mam zbyt wielu clickbaitów ;-) czasem się coś zdarzy na HackerNews, dziś znalazł na Engadget (na które normalnie nie chodzę, ale chciałem zobaczyć czy się jakiś znajdzie ;-))

Wygląda to tak:

Szczerze to, że laptop się robi gorący jest najbardziej widoczne, więc myślę, że odpuszczę ;-)

Podobne posty^beta
Drugi klasyfikator jako "sanity check"
Clickbait detector ;-) - czyli próbujemy użyć naiwnego klasyfikatora Bayesowskiego do rozpoznawania clickbaitów ;-)
Naiwny klasyfikator bayesowski nie jest jednak dobry do rozpoznawania clickbaitów ;-)
A może by odkurzyć AI? ;-)
Nie przepisujcie mi historii w repozytorium

Wybory w Krakowie, poparcie a frekwencja ;-)

OK, to w Krakowie mamy w niedzielę II turę przedterminowych wyborów Prezydenta Miasta.

I ciekawa sprawa, jak patrzy się na wyniki to wygląda to tak, że im wyższa była w okręgu frekwencja w referendum to tym bardziej rośnie w I turze poparcie dla Gibały, ale za to jak się porówna frekwencję w wyborach to rośnie Piątkowskiej....

Mówiąc inaczej Gibała ma bardzo dużo wyborców którzy chcieli bardzo odwołać poprzedniego Prezydenta miasta i oni są zdyscyplinowani i idą... ale jak w wyborach rośnie frekwencja to się okazuje, że rośnie Piątkowskiej co sugeruje (a może i nie), że więcej ludzi popiera status quo.

Wykresy wyglądają tak:

Dla Piątkowskiej:

Dla Gibały:

Wyprodukował je Codex ;-)

Można więc zgadywać, że wyższa frekwencja -> lepszy wynik Piątkowskiej, niższa frekwencja -> wyższy wynik Gibały.

Ale też to niewiele mówi o tym czy jest jakikolwiek poziom frekwencji gdzie Piątkowska wygrywa, dodatkowo jest jeszcze problem tego, że w rzeczywistych wyborach prawdopodobnie można zsumować dla Piątkowskiej jej głosy i głosy oddane na Gosek-Popiołek, a dla Gibały te na całą resztę...

Jak dobrze to liczę (albo liczy Codex ;-)) to jeśli frekwencja przebije 60.7% to Piątkowska ma szanse wygrać (zakładając, że wyborcy działają jak działali i wszyscy poza Gosek-Popiołek popierają Gibałę), jakby patrzeć na samych ich wyborców to ma szanse powyżej 49% frekwencji ;-)

Ja tam wiem, że bym nie chciał mieć prezydenta miasta Gibały, ale liczę się z tym, że będę takiego miał ;-) [głównie chodzi mi o to, że mi się zmiany w Krakowie od tych 20 lat podobają, robienia centrum miast przyjaźniejszym dla pieszych mi się podoba]

Podobne posty^beta
Jak można przegrać wybory gdy się je wygrywa?
Głosowanie przez Internet, chyba jednak jestem na "nie"
No i po wyborach... ehhh.... ale moja cisza wyborcza działa ;-)
Clickbait Detector z użyciem lokalnego LLMa - to działa... tylko po co? ;-)
A co gdyby głosy z wyborów samorządowych potraktować jako głosy w wyborach do Sejmu? ;-)

A tak na sobotę...

Z takich ciekawostek, w Chrome jest już LLM.... o tak go można użyć

const session = await LanguageModel.create();
const result = await session.prompt(  "Explain Dijkstra's algorithm in three sentences.");

I np. kiedyś zrobiłem sobie rozszerzenie do Chrome, które miało oceniać czy link jest clickbaitem czy nie, bazowało na prostym wyliczeniu czy coś jest clickbaitem na podstawie słów w tytule... tutaj teoretycznie można by użyć promptu ;-)

Aż pewnie spróbuję.

Też zauważyłem inną rzecz, totalnie nie związaną z tą ciekawostką.
Jak nie wiem jak się czuję, co myślę i tak dalej to piszę sobie 5 minutes Journal, czyli przez 5 minut piszę wszystko co mi przychodzi do głowy w odpowiedzi np. na pytanie "co czuję?" czy bardzo "co teraz czuję?".

Jakoś tak zacząłem to wrzucać do lokalnych modeli językowych (ważne - lokalnych) i ogólnie mnie chwaliły, wcześniej w prompcie im dawałem by sprawdziły jaki jest mój stan mentalny i tak dalej. No i zawsze mnie chwaliły, a dziś zaczęły mnie pocieszać i ogólnie nie do końca spodobało mi się to co mi napisała Gemma i Qwen (ale takie malutkie te modele, na moim Macbook Air M4 z 24 GB RAM mogę max jakieś ~9b parametrów wygodnie uruchamiać). 
Stąd uznałem, że co one głupie wiedzą, przecież to tylko modele językowe ;-)

(dopisane po chwili, dla sprawdzenia wrzuciłem to na większym komputerze też do Gemmy i Qwena ale takich po ~30b parametrów i te były o wiele bliższe tego co oczekiwałem - te mniejsze ztrigerowała jedna z rzeczy z wpisu)

Stąd wniosek - z modelami się trzeba niezgadzać. Wtedy gdy piszą coś z czym się człowiek nie zgadza jest prościej ;-)

Podobne posty^beta
Journaling w LLM, albo jak małpuję po LLMie ;-)
Nikt już nie dba o tekstowe przeglądarki
Zauroczył mnie Cladue Code ;-)
Szycie....
Podwójne standardy - Tybet a Arabia Saudyjska.

A takie narzekanie, nie wiem czy bardziej na Agenty czy na ból głowy....

Gowa boli, gupie zatoki.

To ponarzekałem, acz mam ochotę bardziej ;-)

Za to z ciekawych rzeczy. W pracy nadal robię sobie system agentowy, który modyfikuje pliki z drogami w 3D, normalnie używam Haiku na Bedrocku z AWS, ale dziś przełączyłem się na używanie dla testów remote Ollama'y działającej na moim prywatnym komputerze (więc pracowy laptop podpinał się do mojej Ollamy). 
Ciekawe jest to, że Haiku na Bedrocku jest między 15 a 70x szybsze od Ollamy ;-) Qwen3.5 był niezły bo np. coś mu zajmowało 150 sekund, ale Qwen3.8 potrzebował na to samo ponad 600 sekund ;-) ciekawe jest też to, że np. Gemma poległa i nie wołała odpowiednio narzędzi.

Ale to pokazuje, że proste Agenty spokojnie można budować na lokalnym sprzęcie, szczególnie jeśli używają w miarę dobrego dla używania narzędzi modelu i Qwen3.5 z MoE wydaje się takim być :-)

Ciągle jednak widzę w tym wszystkim jeden poważny problem. Na razie przestrzeń użycia czegoś takiego jest ograniczona.

To co ja teraz buduję w pracy to jest coś takiego, że wiem, że człowiek dostawszy zestaw narzędzi mógłby to zrobić. Mógłbym mu powiedzieć "ej dodaj tam przy każdym przejściu dla pieszych znaki przejścia dla pieszych" i używając narzędzi mógłby to zrobić, więc może to też zrobić Agent, bo to jest proste.
Ale gdy trzeba dokonać jakiejś oceny to już są problemy. Szczególnie jeśli chodzi o intencje.

Tak można napisać LLMowi co się chce napisać w odpowiedzi na maila i dać mu oryginał maila i ten to ubierze w odpowiednie słowa, ale już raczej nie da się zrobić tak by Agent przejął Twoją pocztę... A asysten/asystentka, tacy ludzcy mogą to zrobić.

W pewien sposób to jest bardzo frustrujace, bo wydaje się, że masę rzeczy można by tak zautomatyzować, ale jak się człowiek zaczyna do tego dotykać to się okazuje, że hmm.... jednak nie działa to tak fajnie.

Tu jest w ogóle takie coś dziwnego. Z jednej strony podejście gdzie mamy deterministyczne narzędzia + Agent działa świetnie... do momentu gdy nie działa, bo np. agent upiera się, że on wie lepiej co powinien zrobić od narzędzia i np. narzędzie wie, że akurat w tym przypadku robić należy X, ale jak tool zostanie zawołany z parametrem Y to zrobi Y, a Agent z uporem maniaka woła z Y.
Z drugiej strony LLMy są na tyle potężne, że te duże modele mogą wiele rzeczy zrobić nawet nie wołając narzędzi czy nawet ich nie pisząc, jeśli trzeba są w stanie wypluć to co miałoby zrobić narzędzie.... ale to też może być co działa, do momentu gdy nie działa ;-)

Podobne posty^beta
Bob wykazuje inicjatywę ;-) i jakże piękny mógłby być Googlebook....
Zauroczył mnie Cladue Code ;-)
Agent by Agent ;-) czyli o tworzeniu agenta AI agentem AI ;-)
A jakby Boba nauczyć czytać maile?
O urokach uprzęży – czyli o tym, że okiełznana moc LLM-ów jest bardziej użyteczna niż nieokiełznana