Rozszyfrowanie modeli agentów AI: Ostateczna analiza porównawcza

Metodologia

Przetestowaliśmy 20 różnych modeli agentów AI w pięciu kluczowych zadaniach, z których każde miało na celu sprawdzenie różnych umiejętności:

• Generowanie treści: Stworzenie szczegółowego artykułu o podstawach zarządzania projektami.
• Rozwiązywanie problemów: Wykonywanie obliczeń związanych z przychodami i zyskami.
• Streszczanie: Skracanie najważniejszych wniosków z obszernego artykułu.
• Porównanie: Analiza wpływu samochodów elektrycznych i zasilanych wodorem na środowisko.
• Kreatywne pisanie: Tworzenie futurystycznej opowieści opartej na pojazdach elektrycznych.

Nasza analiza skupiała się zarówno na jakości otrzymanego wyniku, jak i na procesie myślenia agenta, oceniając jego zdolność do planowania, rozumowania, adaptacji i efektywnego wykorzystywania dostępnych narzędzi. Modele zostały uszeregowane na podstawie ich wydajności jako agenta AI, z większym naciskiem na procesy myślowe i strategie.

Wydajność modeli agentów AI – analiza zadaniowa

Zadanie 1: Generowanie treści

Wszystkie dwadzieścia modeli wykazało silną zdolność do generowania wysokiej jakości, informacyjnych artykułów. Jednak poniższy ranking uwzględnia procesy myślowe każdego agenta oraz sposób dojścia do ostatecznego wyniku:

1. Gemini 1.5 Pro: Doskonałe zrozumienie promptu, strategiczne podejście do researchu i dobrze zorganizowany wynik.
2. Claude 3.5 Sonnet: Silne planowanie, klarowny, zwięzły i przystępny rezultat.
3. Mistral 8x7B: Trafny dobór narzędzi oraz przejrzysta, dobrze zorganizowana treść.
4. Mistral 7B: Strategiczny research i poprawnie sformatowany końcowy tekst.
5. GPT-4o AI Agent (Original): Dobrze dobiera narzędzia i wykazuje elastyczne podejście do researchu.
6. Gemini 1.5 Flash 8B: Wysoka jakość wyniku, ale brak przejrzystości procesu wewnętrznego.
7. Claude 3 Haiku: Mocny wynik oraz dobre zrozumienie polecenia.
8. GPT-4 Vision Preview AI Agent: Dobrze wypada, oferując wysoką jakość odpowiedzi.
9. GPT-o1 Mini AI Agent: Elastyczny, iteracyjny, dobrze wykorzystuje narzędzia.
10. Llama 3.2 3B: Dobre kreatywne pisanie i szczegółowy wynik, jednak proces wewnętrzny nie został ujawniony.
11. Claude 3: Pokazuje iteracyjne podejście i adaptuje się do instrukcji, ale nie ujawnia myśli wewnętrznych.
12. Claude 2: Wykazał dobre umiejętności pisarskie i zrozumienie promptu.
13. GPT-3.5 Turbo AI Agent: Poprawnie wykonuje instrukcje i trzyma się wytycznych formatowania, ale brakuje mu procesu wewnętrznego.
14. Gemini 2.0 Flash Experimental: Model wygenerował dobrze napisany wynik, ale wykazał powtarzalność procesu.
15. Grok Beta AI Agent: Strategiczne wykorzystanie narzędzi, ale problem z powtarzalnymi pętlami.
16. Gemini 1.5 Flash AI Agent: Agent zastosował logiczne podejście, lecz miał powtarzalny tok myślenia.
17. Mistral Large AI Agent: Wynik był dobrze zorganizowany, ale myśli wewnętrzne nie były transparentne.
18. o1 Preview AI Agent: Model spisał się dobrze, lecz nie ujawniał procesu myślowego.
19. GPT 4o mini AI Agent: Odpowiedź była poprawna, ale nie pokazano procesu wewnętrznego.
20. Llama 3.2 1B: Wynik poprawny, ale brak wglądu w procesy wewnętrzne i brak unikalnego podejścia.

Zadanie 2: Rozwiązywanie problemów i obliczenia

Oceniliśmy możliwości matematyczne modeli oraz ich strategie rozwiązywania problemów:

1. Claude 3.5 Sonnet: Wysoka dokładność, strategiczne myślenie i dobrze wyjaśnione rozwiązanie.
2. Mistral 7B: Przejrzyste, poprawne rozwiązania i strategiczne podejście.
3. GPT-4 Vision Preview AI Agent: Poprawne rozumienie i dokładne obliczenia.
4. Claude 3 Haiku: Skuteczne obliczenia i przejrzyste wyjaśnienia.
5. o1 Preview AI Agent: Umiejętność rozbijania obliczeń na kilka kroków.
6. Mistral Large AI Agent: Dokładne obliczenia i dobrze zaprezentowana odpowiedź końcowa.
7. o1 mini: Strategic thinking i dobre zrozumienie wymaganej matematyki.
8. Gemini 1.5 Pro: Szczegółowe, poprawne obliczenia i dobrze sformatowany wynik.
9. Llama 3.2 1B: Dobrze rozbił obliczenia, ale miał błędy w formatowaniu.
10. GPT-4o AI Agent (Original): Większość obliczeń wykonana poprawnie i przejrzysty podział zadań.
11. GPT-4o Mini AI Agent: Wykonał obliczenia, ale wystąpiły błędy w odpowiedziach końcowych i problem z formatowaniem.
12. Claude 3: Przejrzyste podejście do obliczeń, ale niewiele więcej.
13. Gemini 2.0 Flash Experimental: Poprawne podstawowe obliczenia, ale błędy w końcowym wyniku.
14. GPT-3.5 Turbo AI Agent: Podstawowe obliczenia poprawne, ale problem z strategią i dokładnością końcowych odpowiedzi.
15. Gemini 1.5 Flash AI Agent: Błędy w obliczeniach dotyczące dodatkowych potrzebnych jednostek.
16. Mistral 8x7B: W większości trafne obliczenia, ale nie przeanalizował w pełni alternatywnych rozwiązań.
17. Claude 2: Poprawne początkowe obliczenia, ale problemy strategiczne i błędy w ostatecznym rozwiązaniu.
18. Gemini 1.5 Flash 8B: Błędy w końcowym rozwiązaniu.
19. Grok Beta AI Agent: Nie zrealizował pełnego zadania i nie dostarczył pełnej odpowiedzi.
20. Llama 3.2 3B: Błędy w obliczeniach i niepełna prezentacja.

Zadanie 3: Streszczanie

Oceniliśmy umiejętność modeli w zakresie wyodrębniania kluczowych informacji i tworzenia zwięzłych podsumowań:

1. GPT-4o Mini AI Agent: Bardzo dobrze streszcza kluczowe punkty, trzymając się limitu słów.
2. Gemini 1.5 Pro: Dobre streszczenie tekstu, z zachowaniem wymaganego limitu słów.
3. o1 Preview AI Agent: Zwięzłe i dobrze ustrukturyzowane podsumowanie.
4. Claude 3 Haiku: Skutecznie streścił tekst i trzymał się ustalonych parametrów.
5. Mistral 7B: Trafnie streszcza, zachowując limit słów.
6. Mistral 8x7B: Skutecznie kondensuje informacje i trzyma się ustalonych parametrów.
7. GPT-4 Vision Preview AI Agent: Bardzo dokładne podsumowanie przekazanego tekstu.
8. GPT-3.5 Turbo AI Agent: Dobra zdolność streszczania, z podkreśleniem najważniejszych aspektów.
9. Llama 3.2 1B: Zwięzłe i dobrze zorganizowane podsumowanie.
10. Claude 3.5 Sonnet: Zwięzłe podsumowanie z zachowaniem wymogów formatowania.
11. Claude 2: Zwięzłe podsumowanie oraz skuteczne zrozumienie tekstu źródłowego.
12. Claude 3: Skondensował informacje w zwięzłym wyniku.
13. Mistral Large AI Agent: Dobrze streścił tekst, ale nie do końca trzymał się limitu słów.