OpenAI O3 Mini vs DeepSeek voor Agentisch Gebruik

Sinds 31 januari heeft OpenAI hun volgende generatie redeneermodellen gelanceerd met het O3 Mini Model. Over het algemeen lijkt het erop dat het OpenAI O3 Mini-model 15 keer goedkoper is bij ongeveer dezelfde nauwkeurigheid als het O1 Model, de vorige generatie redeneermodellen van OpenAI. Het nieuwe model, OpenAI O3 Mini, is nu beschikbaar in FlowHunt minder dan een dag na de lancering door OpenAI. In deze blog duiken we dieper in de modelmogelijkheden en vergelijken we deze met Deepseek.

Evaluatiecriteria voor OpenAI O3 Mini vs DeepSeek

In deze evaluatie heb ik een eenvoudige maar effectieve workflow gebruikt met chatinvoer, chatuitvoer en een AI-generator om een duidelijke en beknopte uitleg te geven van de hoofdvariant van de Ruy Lopez-opening in schaken. Door de prestaties van DeepSeek te vergelijken met O3 Mini kon ik beoordelen hoe elk systeem de taak uitvoerde om de belangrijkste zetten uiteen te zetten—zoals 1. e4 e5, 2. Nf3 Nc6, 3. Bb5 a6, 4. Ba4 Nf6, en 5. O-O Be7—en hun verdere ontwikkeling. Deze vergelijkende analyse toont niet alleen de capaciteiten van deze AI-tools bij het verwerken en overbrengen van complexe schaakstrategieën, maar benadrukt ook de waarde van een eenvoudige gespreksflow voor leesbaarheid en praktische evaluatie.

Dit is de flow:

DeepSeek-resultaten

Ik heb het model het volgende gevraagd:
“Geef me de eerste 10 zetten van de Ruy Lopez.”
De resultaten zijn als volgt. Dit is het denkproces van DeepSeek:

o3 mini vs deepseek Sessie opnieuw starten Even geduld geef me first 10 moves of ruy lopez
Oké, ik probeer de eerste 10 zetten van de Ruy Lopez-opening in schaken te achterhalen. Ik weet dat de Ruy Lopez een van de oudste en populairste openingen is, beginnend met de zetten 1.e4 e5. Daarna speelt Wit 2.Nf3, waarmee het paard wordt ontwikkeld en het centrum voorbereid. Vervolgens 2…Nc6, waarbij Zwart hun paard ontwikkelt en de e5-pion ondersteunt. Nu begint de echte Ruy Lopez met 3.Bb5, waarmee het paard op c6 wordt aangevallen. Ik denk dat dit de kenmerkende zet is van de opening. Dan reageert Zwart meestal met 3…a6 om de loper uit te dagen. Daarna speelt Wit 4.Ba4, waarmee de loper zich terugtrekt naar een veilig veld. Tot nu toe heb ik zes zetten: 1.e4 e5 2.Nf3 Nc6 3.Bb5 a6 4.Ba4. Nu is de volgende zet van Zwart vaak 4…Nf6, waarmee het paard wordt ontwikkeld en de pion op e4 wordt aangevallen. Vervolgens rokeert Wit kort met 5.0-0 om de koning veilig te stellen en de toren in het spel te brengen. Dat zijn acht zetten. Daarna kan Zwart 5…b5 spelen om de loper van Wit op a4 uit te dagen en ruimte te winnen op de damevleugel. Dan antwoordt Wit met 6.c3, ter ondersteuning van de d4-doorstoot en het voorbereiden van de ontwikkeling van andere stukken. Dus de tiende zet zou 6…d6 zijn, waarmee de e5-pion wordt versterkt en de ontwikkeling van de loper op donkere velden wordt voorbereid. Wacht, ik weet niet zeker of Zwart altijd 5…b5 speelt. Soms spelen ze 5…Be7 in plaats daarvan, maar ik denk dat 5…b5 gebruikelijker is in de Gesloten Ruy Lopez. Ook na 6.c3 kan Zwart kiezen tussen 6…d6 of 6…b5 opnieuw, maar 6…d6 lijkt standaard om e5 te ondersteunen. Ik moet de volgorde nog een keer controleren om te zien of ik geen zetten heb verwisseld. Laat ik het nog eens doornemen: e4 e5 Nf3 Nc6 Bb5 a6 Ba4 Nf6 0-0 b5 c3 d6 Ja, dat lijkt te kloppen. Dus de eerste tien zetten zijn zoals ik heb opgesomd. Ik denk dat dit een solide basis is, maar ik twijfel of er alternatieve varianten zijn die Zwart eerder kan spelen, zoals na 3.Bb5 misschien 3…g6 in plaats van 3…a6, maar ik denk dat 3…a6 de hoofdvariant is die leidt naar de Morphy-verdediging. Dus ik houd het hierbij voor de eerste tien zetten. Fundament voor zowel Wit als Zwart, waarbij Wit mikt op een sterk centrum en stukontwikkeling, terwijl Zwart de loper van Wit uitdaagt en zich voorbereidt op verdere ontwikkeling.

Eindresultaat:

De eerste tien zetten van de Ruy Lopez-opening, volgens de Morphy-verdediging, zijn als volgt:
e4 e5 Nf3 Nc6 Bb5 a6 Ba4 Nf6 0-0 b5 c3 d6
Deze reeks biedt een solide fundament voor zowel Wit als Zwart, waarbij Wit mikt op een sterk centrum en stukontwikkeling, terwijl Zwart de loper van Wit uitdaagt en zich voorbereidt op verdere ontwikkeling.

OpenAI O3 Mini-resultaten

O3 wint. Het antwoord van O3 Mini is begrijpelijker en correcter.

De Ruy Lopez (of Spaanse Spel) is een rijke opening met veel varianten. Een van de meest gebruikelijke manieren om een klassieke Gesloten Ruy Lopez te bereiken is met de volgende zetten:
e4 e5 Nf3 Nc6 Bb5 a6 Ba4 Nf6 O-O Be7 Re1 b5 Bb3 d6 c3 O-O h3 Nb8 d4

Hier volgt een korte uitleg van de ideeën achter deze zetten:

• 1. e4 e5 zet de klassieke strijd om het centrum op.
• 2. Nf3 ontwikkelt een paard en valt de e5-pion aan; Zwart verdedigt met Nc6.
• 3. Bb5 pen het paard op c6 (dat e5 verdedigt) en verhoogt de druk op het centrum; Zwart daagt uit met a6.
• 4. Ba4 trekt zich terug maar behoudt de penning; Zwart ontwikkelt een ander stuk met Nf6.
• 5. O-O beveiligt de koning van Wit; Zwart speelt Be7 ter voorbereiding op rokeren.
• 6. Re1 versterkt de centrale e4-pion; b5 van Zwart valt de loper aan en creëert ruimte op de damevleugel.
• 7. Bb3 behoudt de diagonaal van de loper; Zwart verstevigt het centrum met d6.
• 8. c3 bereidt de ondersteuning van een latere d4-doorbraak voor en maakt een eventuele terugtrekking van de loper mogelijk, terwijl Zwart rokeert met O-O.
• 9. h3 voorkomt dat een stuk (zoals een paard of loper) naar g4 gaat, waar het het centrum of de stukken van Wit kan lastigvallen; Zwart trekt het paard terug met Nb8 om het om te leiden.
• 10. d4 is de doorbraak van Wit in het centrum, bedoeld om de pionnenstructuur van Zwart uit te dagen.

Houd er rekening mee dat dit slechts één van de vele geldige zetvolgordes is in de Ruy Lopez. Varianten zoals de Open Ruy Lopez of andere lijnen in de Gesloten Ruy Lopez kunnen na zet 4 of later verschillen. Maar de bovenstaande reeks is een bekende route die veel spelers volgen in de klassieke schaaktheorie.

Evaluatie van DeepSeek en OpenAI O3 Mini op Agentisch Gedrag

We hebben de redeneermodellen geëvalueerd op een taak waarvoor 2-3 tools voor AI Agents nodig zijn. Dit is de taak:

Gegeven de bedrijfsnaam, zoek en vind de prijspagina van het product en stel verbeteringen voor.
Maak ook een screenshot van de prijspagina.
Verstuur vervolgens een e-mail naar mij met de resultaten.

De taak vereist verbinding met Google Search om de prijspagina op te halen, het crawlen van de prijspagina en het versturen van een gedetailleerd rapport per e-mail.

De taak is expres niet in detail beschreven om het redeneervermogen van de genoemde modellen te testen.

DeepSeek als AI Agent

Deepseek kon geen e-mail sturen. Over het algemeen blijkt uit onze ervaring dat Deepseek minder accuraat is in het aanroepen van tools vergeleken met OpenAI GPT4o of OpenAI O3 Mini-modellen. Dit is het rapport dat door DeepSeek is gegenereerd bij het analyseren van de prijspagina van FlowHunt. Hieronder volgt het denkproces van DeepSeek:

1. Oproep aan Google Tool:

2. URL Scrapen:

Het redeneren:

Onderwerp: FlowHunt Prijspagina Review en Suggesties

Beste [Uw Naam],

Hopelijk gaat het goed met u. Hieronder vindt u een samenvatting van de FlowHunt prijspagina, samen met enkele suggesties voor verbeteringen.

Overzicht van de prijzen:

FlowHunt biedt vier prijsniveaus:

Starter Plan (€10/maand):

• 10 Credits
• 5 Workflows per Workspace
• 1 Workspace
• 1 Teamlid per Workspace
• 5 Chatbots per Workspace
• 2 Websites per Workspace
• 5 Documenten per Workspace
• 50 FAQ’s per Workspace
• Toegang tot alle nieuwste OpenAI LLM’s, inclusief aangepaste fine-tuned modellen
• Alle integraties
• E-mailondersteuning

Pro Plan (€50/maand):

• 55 Credits (Inclusief 10% korting op credits)
• 20 Workflows per Workspace
• 5 Workspaces
• 10 Teamleden per Workspace
• 20 Chatbots per Workspace
• 10 Websites per Workspace
• 50 Documenten per Workspace
• 100 FAQ’s per Workspace
• Toegang tot alle nieuwste OpenAI LLM’s, inclusief aangepaste fine-tuned modellen
• Pro-ondersteuning
• API Key Toegang
• Basisanalyse (Binnenkort beschikbaar)
• Alle integraties

Premium Plan (€500/maand):

• 600 Credits (Inclusief 20% korting op credits)
• 50 Workflows per Workspace
• 10 Workspaces
• 100 Teamleden per Workspace
• 50 Chatbots per Workspace
• 30 Websites per Workspace
• 100 Documenten per Workspace
• 200 FAQ’s per Workspace
• Toegang tot alle nieuwste OpenAI LLM’s, inclusief aangepaste fine-tuned modellen
• Prioriteitsondersteuning
• API Key Toegang
• Geavanceerde analyse (Binnenkort beschikbaar)
• Initiële workflowconsultatie
• Initiële workflowtrainingsondersteuning
• Alle integraties

Enterprise Plan (Aangepaste prijs vanaf €1500/maand):

• Gecontracteerde tokens (Bring Your Own Key – BYOK)
• Onbeperkte workflows
• Onbeperkte workspaces
• Onbeperkte gebruikers
• Onbeperkte chatbots
• Onbeperkte schema’s
• Onbeperkte documenten
• Onbeperkte vragen en antwoorden
• Onbeperkte chatgeschiedenis
• Toegang tot alle nieuwste OpenAI LLM’s, inclusief aangepaste fine-tuned modellen
• Toegewijde prioriteitsondersteuning
• API Key Toegang
• Geavanceerde analyse (Binnenkort beschikbaar)
• Aanpasbare workflowmodules
• Optionele trainingsondersteuning
• Geavanceerde beveiliging en on-premises implementatie

Voorgestelde verbeteringen:

• Vergelijkingstabel voor functies: Maak een vergelijkingstabel waarin de functies van elk plan naast elkaar worden weergegeven. Dit maakt het voor gebruikers gemakkelijker om snel de verschillen tussen de plannen te zien.
• Klantgetuigenissen/Case studies: Door getuigenissen of case studies van bestaande klanten toe te voegen, wordt vertrouwen en geloofwaardigheid opgebouwd.
• Prijscalculator: Implementeer een interactieve prijscalculator waarmee gebruikers hun kosten kunnen schatten op basis van hun specifieke behoeften, vooral voor het Enterprise-plan.
• Gratis proefperiode benadrukken: Maak de gratis proefoptie prominenter op de pagina om gebruikers aan te moedigen de dienst eerst uit te proberen.
• Gedetailleerde documentatie/Installatiegidsen: Bied links naar gedetailleerde documentatie of installatiegidsen om gebruikers te helpen het meeste uit de functies van elk plan te halen.

OpenAI O3 Mini als AI Agent

Aan de andere kant wist het OpenAI O3 Mini-model met deze beknopte omschrijving het exacte proces te ontcijferen:

1. Google Zoeken

2. URL Scrapen

3. E-mail Verzenden

Dit is de e-mail die ik ontving:

Hallo,

Hieronder staan de resultaten van de beoordeling van FlowHunt’s prijspagina en enkele voorgestelde verbeteringen:

Prijspagina URL: https://www.flowhunt.io/pricing/

Screenshot: Er is een screenshot van de prijspagina gemaakt. (Zie de bijgevoegde screenshot in uw systeem.)

Samenvatting van de prijspagina:

De prijspagina toont duidelijk vier plannen: Starter (€10/maand), Pro (€50/maand), Premium (€500/maand) en Enterprise (vanaf €1500/maand). Elk plan vermeldt de credits, limieten voor workflows en teamleden, kernfuncties en extra ondersteuningsopties. De pagina bevat zowel een overzicht als een gedetailleerde vergelijking in tabelvorm, wat potentiële klanten helpt de functies van de plannen te vergelijken.

Voorgestelde verbeteringen:

• Interactieve prijscalculator: Overweeg een interactieve prijscalculator toe te voegen waarmee gebruikers parameters (zoals aantal workflows, teamleden) kunnen aanpassen om een dynamische schatting van hun maandelijkse kosten te zien.
• Visuele verbeteringen en UX-verbeteringen: Voeg aantrekkelijkere visuals toe (bijv. pictogrammen of infographics) om de functies van elk plan beter te onderscheiden. Voeg subtiele animaties toe bij het hoveren over verschillende plandetails om de gebruikersinteractie te verbeteren.
• Valutaconverter: Omdat de prijzen in euro’s zijn, voeg een valutaconverter toe om internationale gebruikers een betere gelokaliseerde ervaring te bieden.
• Duidelijkere Call-to-Action (CTA): Maak de CTA-knoppen prominenter en overweeg een secundaire CTA toe te voegen (bijv. “Meer informatie” over planvoordelen) voor gebruikers die meer duidelijkheid willen voordat ze zich aanmelden.
• Uitgebreidere FAQ-sectie: Breid de FAQ-sectie uit met meer gedetailleerde antwoorden over het creditsysteem, mogelijke overschrijdingen en veelvoorkomende klantscenario’s. Overweeg het gebruik van uitklapbare secties om de pagina overzichtelijk te houden en extra informatie te bieden wanneer nodig.
• Social proof en testimonials: Voeg klantgetuigenissen of succesverhalen toe bij de prijssectie om geloofwaardigheid op te bouwen.
• Mobiele optimalisatie: Zorg ervoor dat de prijstabel en alle interactieve elementen optimaal worden weergegeven op mobiele apparaten.
• Chatondersteuning integratie: Voeg een geïntegreerde live chat of chatbot toe op de prijspagina om direct vragen over prijzen of plandetails te kunnen beantwoorden.

Door deze verbeteringen te implementeren, kan FlowHunt een aantrekkelijkere en gebruiksvriendelijkere ervaring bieden, wat mogelijk leidt tot hogere conversieratio’s.

Met vriendelijke groet,
[Uw Naam]

(P.S. Deze e-mail bevat de resultaten en suggesties voor FlowHunt’s prijspagina, evenals informatie over de gemaakte screenshot.)