sobota, czerwca 08, 2024

Czy LLMy umieją wnioskować? Test :-)

Mam lokalnie kilka LLMów, i postanowiłem je sprawdzić ;-)
Dałem im taki prompt:
"a is child of b, c is also child of b, both a and c are also children of d. b is mother. who is d"

Odpowiedzią jest d to ojciec ;-)

I dla sprawdzenia spytałem ChatGPT z GPT-4o i odpowiedź to:

Gemini Ultra od Google odpowiedziało tak:

No to teraz lokalne LLMy ;-)

wizardlm-uncensored (7.9 GB) dał nawet diagram ;-) ale we flowchart, więc go trzeba sobie samemu wyrendenrować:draw this flowchart:

```css
graph LR
A[a] -- B[b]
B[b] -- C[c]
B[b] -- D[d]
D[d] -- A[a]
D[d] -- C[c]
```
A is a child of b and c is also a child of b. Both a and c are also children of d. Therefore, d
is the parent of a and c. Since b is mentioned as the mother, it means that d is the father.
Hence, D[d] is the father of A[a] and C[c].

I wniosek ma dobry, d jest ojcem a i c :-)

delphin-llama3 (4.7 GB):
Ten idzie w dziwne związki.... no bo jak słusznie sądzi, że B (matka) i D są parą, to też sugeruje, że mogą być rodzeństwem... tzn, tak to jest możliwe, ale raczej dużo mniej prawdopodobne.

Based on the given information, D could be either B's spouse or another relative (like a
sibling) with whom B has children. The relationship structure would look something like this:

A <- Child of B
C <- Child of B
B <- Mother

Since both A and C are also children of D, the possible relationships could be:

D <- Spouse of B
D <- Sibling of B

mistral (4.1 GB):
Mistral był na dobrej drodze, ale złupiał

 Based on the information provided, "d" represents the common parent or ancestor of both "a"
and "c." In the context you've given, where "b" is described as the mother of "a" and "c," it
implies that "d" is the mother of both "b" (as per "b is mother") and therefore also the mother
of "a" and "c." Thus, "d" can be referred to as the grandmother or ancestor of both "a" and "c."

llama2 (3.8 GB):
OK, to jest dziwne, rezultat dała dobry, ale wniosek pośredni ma dziwny. W sensie doszła do tego, że d to ojciec, ale uznało, że b jest matką d... a informacja jest tylko taka, że b jest matką, nie jest powiedziane czyją, chociaż z tego, że a i c to jej dzieci to można założyć z pewnością, że jest matką a i c, ale żeby d, który to d jest rodzicem dla a i c? ;-)

Given the information provided:

* A is a child of B
* C is also a child of B
* Both A and C are children of D
* B is the mother of D

We can conclude that D is the father of A and C.

llama2-uncensored (3.8 GB):
Tu jest dziwnie, bo to jest model, który został "zdecenzurowany" z poprzedniego modelu... więc można by się spodziewać, że odpowiedź będzie podobna... a jest inna i do tego bardzo lakoniczna ;-)

d is the grandparent of a and c.

Jest też błędna ;-)

wizard-vicuna-uncensored (3.8 GB):
To jest dziwne, to jest wizard, który w większym modelu odpowiedział dość sensownie, ale tutaj już nie....

b is the parent of a and c because they are her children.
a and c are both children of b, so they must have different parents.
d is the parent of a and c because he or she is their common parent. Therefore, b cannot be d.
The only way to determine who d is would be to know something about the relationship between a,
b, c, and d (e.g., whether d was born before a or c).

Mamy więc tak:
ModelCzy poprawnaLokalny modelKomentarz
GPT-4oTakNie
Gemini UltraTakNie
wizardlm-uncensored (7.9 GB)TakTakdał nawet diagram
delphin-llama3 (4.7 GB)CzęściowoTaksugeruje, że d jest partnerem b (poprawnie), albo rodzeństwem b (niepoprawnie) do tego odpowiedzią prawidłową jest ojciec
mistral (4.1 GB)NieTakDobrze zaczął, ale zwariował po drodze
llama2 (3.8 GB)Częściowo/TakTakodpowiedź na pytnaie dobra, ale dziwny wniosek pośredni
llama2-uncensored (3.8 GB)NieTak
wizard-vicuna-uncensored (3.8 GB)NieTak

Jeśli popatrzeć na wyniki to duże modele działają, z lokalnych tylko wizardlm-uncensored (7.8 GB) dał dobrą odpowiedź, reszta błądziła.

Wniosek jest taki, że lokalne modele to jednak tylko zabawki, ale i w nich liczy się rozmiar ;-) im większe tym lepsze ;-)


Podobne postybeta
Generał Jaruzelski wg. Kuklińskiego
Automatyczne tłumaczenie - Automatic translation
ChatGPT i Gemini (ogólnie LLMy) to są jednak nowe wyszukiwarki
0 prawo programowania - Shit hits all fans in the same time
Seks w ujęciu informatycznym ;-) - rozmnażanie ;-)

Brak komentarzy:

Prześlij komentarz