OpenAI O3 Mini vs DeepSeek para Uso Agente

Em 31 de janeiro, a OpenAI lançou a próxima geração de modelos de raciocínio com o O3 Mini Model. No geral, parece que o modelo OpenAI O3 Mini é 15 vezes mais barato com aproximadamente a mesma precisão do Modelo O1, a geração anterior de modelos de raciocínio da OpenAI. O novo modelo, OpenAI O3 Mini, já está disponível no FlowHunt menos de um dia após o lançamento da OpenAI. Neste blog, vamos nos aprofundar nas capacidades do modelo e compará-lo ao DeepSeek.

Métricas de Avaliação: OpenAI O3 Mini vs DeepSeek

Nesta avaliação, utilizei um fluxo de trabalho simples, porém eficaz, envolvendo entrada de chat, saída de chat e um gerador de IA para fornecer uma explicação clara e concisa da linha principal da abertura Ruy Lopez no xadrez. Ao comparar o desempenho do DeepSeek com o O3 Mini, consegui avaliar como cada sistema lidou com a tarefa de destacar os principais lances—como 1. e4 e5, 2. Nf3 Nc6, 3. Bb5 a6, 4. Ba4 Nf6 e 5. O-O Be7—e seus desdobramentos subsequentes. Esta análise comparativa não apenas demonstra as capacidades dessas ferramentas de IA em processar e transmitir estratégias complexas de xadrez, mas também destaca o valor de um fluxo conversacional simples para alcançar resultados legíveis e avaliações práticas.

Este é o fluxo:

Resultados do DeepSeek

Pedi ao modelo o seguinte:
“Dê-me os primeiros 10 lances da Ruy Lopez.”
O resultado é o seguinte. Este é o processo de pensamento do DeepSeek:

o3 mini vs deepseek Reiniciando sessão Por favor, aguarde dê-me os primeiros 10 lances da ruy lopez
Ok, estou tentando descobrir os primeiros 10 lances da abertura Ruy Lopez no xadrez. Lembro que a Ruy Lopez é uma das aberturas mais antigas e populares, começando com os lances 1.e4 e5. Em seguida, as Brancas jogam 2.Nf3, desenvolvendo o cavalo e preparando o controle do centro. Depois, 2…Nc6, onde as Pretas desenvolvem seu cavalo e apoiam o peão e5. Agora, a Ruy Lopez propriamente dita começa com 3.Bb5, que ataca o cavalo em c6. Acho que este é o lance-chave que define a abertura. Depois, as Pretas geralmente respondem com 3…a6 para desafiar o bispo. Em seguida, as Brancas jogam 4.Ba4, recuando o bispo para uma casa segura. Até agora, tenho seis lances: 1.e4 e5 2.Nf3 Nc6 3.Bb5 a6 4.Ba4. Agora, o próximo lance das Pretas costuma ser 4…Nf6, desenvolvendo o cavalo e atacando o peão em e4. Então, as Brancas rocam para o lado do rei com 5.0-0 para colocar o rei em segurança e trazer a torre para o jogo. São oito lances. Em seguida, as Pretas podem jogar 5…b5 para desafiar o bispo das Brancas em a4 e ganhar espaço no flanco da dama. Depois, as Brancas respondem com 6.c3, apoiando o avanço d4 e preparando o desenvolvimento de outras peças. Assim, o décimo lance seria 6…d6, solidificando o peão e5 e preparando o desenvolvimento do bispo de casas escuras. Espere, mas não tenho certeza se as Pretas jogam sempre 5…b5. Às vezes, podem jogar 5…Be7, mas acho que 5…b5 é mais comum na Ruy Lopez Fechada. Além disso, após 6.c3, as Pretas podem escolher entre 6…d6 ou 6…b5 novamente, mas 6…d6 parece mais padrão para sustentar e5. Devo conferir a ordem para garantir que não misturei nenhum lance. Vou passar de novo: e4 e5 Nf3 Nc6 Bb5 a6 Ba4 Nf6 0-0 b5 c3 d6 Sim, parece correto. Então, os primeiros dez lances são os que listei. Acho que é uma base sólida, mas fico um pouco inseguro se existem linhas alternativas que as Pretas podem adotar antes, como após 3.Bb5, talvez 3…g6 em vez de 3…a6, mas acho que 3…a6 é a linha principal que leva à Defesa Morphy. Portanto, vou manter isso para os primeiros dez lances. Base para ambos os lados, com as Brancas buscando um centro forte e desenvolvimento de peças, enquanto as Pretas desafiam o bispo das Brancas e se preparam para desenvolver mais.

Resultado final:

Os primeiros dez lances da abertura Ruy Lopez, seguindo a Defesa Morphy, são:
e4 e5 Nf3 Nc6 Bb5 a6 Ba4 Nf6 0-0 b5 c3 d6
Esta sequência estabelece uma base sólida para Brancas e Pretas, com as Brancas buscando um centro forte e desenvolvimento de peças, enquanto as Pretas desafiam o bispo das Brancas e se preparam para desenvolver mais.

Resultados do OpenAI O3 Mini

O3 vence. A resposta do O3 Mini é mais compreensível e correta.

A Ruy Lopez (ou Jogo Espanhol) é uma abertura rica com muitas variações. Um dos caminhos mais comuns para chegar à Ruy Lopez Fechada clássica é com os seguintes lances:
e4 e5 Nf3 Nc6 Bb5 a6 Ba4 Nf6 O-O Be7 Re1 b5 Bb3 d6 c3 O-O h3 Nb8 d4

Aqui está uma breve explicação das ideias por trás desses lances:

• 1. e4 e5 estabelece a batalha clássica pelo centro.
• 2. Nf3 desenvolve um cavalo e ataca o peão e5; as Pretas defendem com Nc6.
• 3. Bb5 prende o cavalo em c6 (que defende e5) e aumenta a pressão central; as Pretas desafiam com a6.
• 4. Ba4 recua mantendo o pino; as Pretas desenvolvem outra peça com Nf6.
• 5. O-O protege o rei das Brancas; as Pretas jogam Be7 para preparar o roque.
• 6. Re1 reforça o peão central em e4; o b5 das Pretas expulsa o bispo e ganha espaço no flanco da dama.
• 7. Bb3 preserva a diagonal do bispo; as Pretas sustentam o centro com d6.
• 8. c3 prepara para apoiar um futuro avanço d4 e também para uma possível retirada do bispo, se necessário, e as Pretas rocam com O-O.
• 9. h3 impede que qualquer peça (como cavalo ou bispo) vá para g4, onde poderia incomodar o centro ou as peças das Brancas; as Pretas recuam o cavalo com Nb8 para redesenhá-lo.
• 10. d4 é a ruptura das Brancas no centro, buscando desafiar a estrutura de peões das Pretas.

Lembre-se de que esta é apenas uma das várias ordens de lances válidas na Ruy Lopez. Variações como a Ruy Lopez Aberta ou outras linhas da Fechada podem diferir após o lance 4 ou mais tarde. Mas a sequência acima é um caminho conhecido que muitos jogadores seguem na teoria clássica do xadrez.

Avaliando DeepSeek e OpenAI O3 Mini em Comportamento Agente

Avaliamos os modelos de raciocínio em uma tarefa que exige o uso de 2-3 ferramentas para Agentes de IA. Eis a tarefa:

Dado o nome da empresa, pesquise e encontre a página de preços do produto e sugira melhorias.
Também faça uma captura de tela da página de preços.
Depois, envie um e-mail para mim com os resultados.

A tarefa exige conexão com o Google para localizar a página de preços, extração da página de preços e envio de um relatório detalhado por e-mail.

A descrição da tarefa foi propositalmente vaga para testar a capacidade de raciocínio dos modelos mencionados.

Usando DeepSeek como Agente de IA

O DeepSeek não conseguiu enviar e-mail. No geral, nossa experiência mostra que o DeepSeek não é tão preciso na chamada de ferramentas em comparação com o OpenAI GPT4o ou os Modelos OpenAI O3 Mini. Este é o relatório gerado pelo DeepSeek, analisando a página de preços do FlowHunt. Ao longo do processo, este é o raciocínio do DeepSeek:

1. Chamada de Ferramenta Google:

2. Extração de URL:

O raciocínio:

Assunto: Revisão da Página de Preços do FlowHunt e Sugestões

Olá [Seu Nome],

Espero que esta mensagem o encontre bem. Abaixo está um resumo da página de preços do FlowHunt, juntamente com algumas sugestões de melhorias.

Visão Geral dos Preços:

O FlowHunt oferece quatro planos de preços:

Plano Starter (€10/mês):

• 10 Créditos
• 5 Fluxos de Trabalho por Workspace
• 1 Workspace
• 1 Membro da Equipe por Workspace
• 5 Chatbots por Workspace
• 2 Sites por Workspace
• 5 Documentos por Workspace
• 50 FAQs por Workspace
• Acesso a Todos os Últimos LLMs da OpenAI, Incluindo Modelos Personalizados
• Todas as Integrações
• Suporte por E-mail

Plano Pro (€50/mês):

• 55 Créditos (Inclui 10% de Desconto em Créditos)
• 20 Fluxos de Trabalho por Workspace
• 5 Workspaces
• 10 Membros da Equipe por Workspace
• 20 Chatbots por Workspace
• 10 Sites por Workspace
• 50 Documentos por Workspace
• 100 FAQs por Workspace
• Acesso a Todos os Últimos LLMs da OpenAI, Incluindo Modelos Personalizados
• Suporte Profissional
• Acesso à Chave de API
• Análises Básicas (Em Breve)
• Todas as Integrações

Plano Premium (€500/mês):

• 600 Créditos (Inclui 20% de Desconto em Créditos)
• 50 Fluxos de Trabalho por Workspace
• 10 Workspaces
• 100 Membros da Equipe por Workspace
• 50 Chatbots por Workspace
• 30 Sites por Workspace
• 100 Documentos por Workspace
• 200 FAQs por Workspace
• Acesso a Todos os Últimos LLMs da OpenAI, Incluindo Modelos Personalizados
• Suporte Prioritário
• Acesso à Chave de API
• Análises Avançadas (Em Breve)
• Consultoria Inicial de Fluxos de Trabalho
• Suporte Inicial de Treinamento de Fluxos de Trabalho
• Todas as Integrações

Plano Enterprise (Preço Personalizado a partir de €1500/mês):

• Tokens Contratados (Traga Sua Própria Chave – BYOK)
• Fluxos de Trabalho Ilimitados
• Workspaces Ilimitados
• Usuários Ilimitados
• Chatbots Ilimitados
• Agendamentos Ilimitados
• Documentos Ilimitados
• Perguntas e Respostas Ilimitadas
• Histórico de Chat Ilimitado
• Acesso a Todos os Últimos LLMs da OpenAI, Incluindo Modelos Personalizados
• Suporte Prioritário Dedicado
• Acesso à Chave de API
• Análises Avançadas (Em Breve)
• Módulos de Fluxos de Trabalho Personalizáveis
• Suporte de Treinamento Opcional
• Segurança Avançada e Implantação no Local

Sugestões de Melhorias:

• Tabela Comparativa de Recursos: Crie uma tabela comparativa destacando as características de cada plano. Isso facilitaria para o usuário identificar rapidamente as diferenças.
• Depoimentos/Estudos de Caso: Adicionar depoimentos ou casos de clientes existentes pode aumentar a confiança e credibilidade.
• Calculadora de Preços: Implemente uma calculadora de preços interativa que permita ao usuário estimar custos conforme suas necessidades, especialmente para o plano Enterprise.
• Destaque para Teste Gratuito: Torne a opção de teste gratuito mais visível na página para incentivar o uso antes da assinatura.
• Documentação/Guias de Configuração Detalhados: Forneça links para documentação ou guias para ajudar o usuário a aproveitar ao máximo os recursos de cada plano.

Usando OpenAI O3 Mini como Agente de IA

Por outro lado, mesmo com uma descrição menos detalhada, o modelo OpenAI O3 Mini conseguiu decodificar exatamente o processo:

1. Pesquisa no Google

2. Extração de URL

3. Envio de E-mail

Este é o e-mail que recebi:

Olá,

Abaixo estão os resultados da análise da página de preços do FlowHunt e algumas sugestões de melhorias:

URL da Página de Preços: https://www.flowhunt.io/pricing/

Captura de Tela: Uma captura de tela da página de preços foi feita. (Consulte o anexo de captura de tela em seu sistema.)

Resumo da Página de Preços:

A página de preços exibe claramente quatro planos: Starter (€10/mês), Pro (€50/mês), Premium (€500/mês) e Enterprise (a partir de €1500/mês). Cada plano lista créditos, limites de fluxos de trabalho e equipe, recursos essenciais e opções de suporte adicionais. A página inclui uma visão geral e uma comparação detalhada em formato de tabela, facilitando a comparação de recursos entre os planos.

Sugestões de Melhorias:

• Calculadora Interativa de Preços: Considere adicionar uma calculadora interativa que permita ao usuário ajustar parâmetros (ex: quantidade de fluxos, membros da equipe) para visualizar uma estimativa dinâmica do custo mensal.
• Melhorias Visuais e de UX: Insira elementos visuais mais atrativos (ex: ícones ou infográficos) para diferenciar os planos. Adicione animações sutis ao passar o mouse sobre detalhes dos planos para maior interatividade.
• Conversor de Moeda: Como os preços estão em euros, inclua uma opção de conversor para atender usuários internacionais.
• CTA Mais Claro: Melhore os botões de chamada para ação tornando-os mais evidentes e, se possível, adicione um segundo CTA (ex: “Saiba Mais” sobre os benefícios do plano) para usuários que desejam mais detalhes antes de assinar.
• Seção de FAQ Aprimorada: Expanda a seção de perguntas frequentes com respostas mais detalhadas sobre créditos, possíveis excedentes e cenários comuns de clientes. Considere usar seções colapsáveis para manter a página organizada.
• Prova Social e Depoimentos: Inclua depoimentos de clientes ou histórias de sucesso próximos à seção de preços para aumentar a credibilidade.
• Otimização para Mobile: Garanta que a tabela de preços e elementos interativos funcionem bem em dispositivos móveis.
• Chat de Suporte Integrado: Adicione chat ao vivo ou chatbot na página de preços para responder instantaneamente a dúvidas sobre planos ou detalhes.

Ao implementar essas melhorias, o FlowHunt pode oferecer uma experiência mais envolvente e user-friendly, aumentando as taxas de conversão.

Atenciosamente,
[Seu Nome]

(P.S. Este e-mail inclui os resultados e sugestões para a página de preços do FlowHunt, bem como a informação sobre a captura de tela realizada.)