Faça os LLMs verificarem seus próprios fatos e incluírem fontes

O que é RIG (Geração Intercalada de Recuperação)?

A Geração Intercalada de Recuperação, ou RIG, é um método de IA de ponta que combina de forma fluida a busca por informações e a criação de respostas. No passado, modelos de IA usavam o RAG (Geração Aumentada por Recuperação) ou apenas geração, mas o RIG une esses processos para aumentar a precisão da IA. Ao entrelaçar recuperação e geração, sistemas de IA podem acessar uma base de conhecimento mais ampla, oferecendo respostas mais precisas e relevantes. O principal objetivo do RIG é reduzir erros e aumentar a confiabilidade das saídas da IA, tornando-se uma ferramenta essencial para desenvolvedores que desejam ajustar a precisão da inteligência artificial. Assim, a Geração Intercalada de Recuperação surge como uma alternativa ao RAG (Geração Aumentada por Recuperação) para gerar respostas baseadas em contexto com IA.

Como o RIG (Geração Intercalada de Recuperação) funciona?

Veja como o RIG funciona. As etapas a seguir são inspiradas pelo blog original, que se concentra mais em casos de uso gerais utilizando a API Data Commons. No entanto, na maioria das situações, você pode querer usar uma base de conhecimento geral (por exemplo, Wikipedia ou Data Commons) e também seus próprios dados. Veja como você pode usar o poder dos fluxos no FlowHunt para criar um chatbot RIG a partir da sua base de conhecimento e uma base geral como a Wikipedia.

1. Uma consulta do usuário é enviada para um gerador, que gera uma resposta de exemplo com citação das seções correspondentes. Nessa etapa, o gerador pode até produzir uma boa resposta, mas com dados e estatísticas alucinados/incorretos.

2. Na próxima fase, utilizamos um Agente de IA que recebe essa saída e refina os dados de cada seção conectando-se à Wikipedia e, adicionalmente, adiciona fontes para cada seção correspondente.

Como você pode ver, esse método aumenta significativamente a precisão do chatbot e garante que cada seção gerada tenha uma fonte e esteja fundamentada na verdade.

Como criar um chatbot RIG no FlowHunt?

Adicione a Primeira Etapa (Gerador de Resposta de Exemplo Simples):

A primeira parte do fluxo consiste em entrada de chat, um modelo de prompt e um gerador. Basta conectá-los. A parte mais importante é o modelo de prompt. Eu usei o seguinte:

Dada a consulta do usuário. Com base na consulta do usuário, gere a melhor resposta possível com dados ou porcentagens fictícias. Após cada uma das diferentes seções da sua resposta, inclua dados sobre qual fonte usar para buscar os dados corretos e refinar essa seção com dados corretos. Você pode especificar buscar fonte de conhecimento interna para dados personalizados do produto ou serviço do usuário ou usar a Wikipedia como fonte geral de conhecimento.

Exemplo de entrada: Quais países lideram em energia renovável e qual é a melhor métrica para medir isso e qual é esse valor para o país líder?
Exemplo de saída: Os principais países em energia renovável são Noruega, Suécia, Portugal, EUA [Buscar na Wikipedia pela consulta “Top Countries in renewable Energy”], a métrica usual para energia renovável é Fator de Capacidade [Buscar na Wikipedia pela consulta “metric for renewable energy”], e o país número um tem fator de capacidade de 20% [buscar na Wikipedia “biggest capacity factor”]

Vamos começar!
Entrada do usuário: {input}

Aqui, usamos Few Shot prompting para fazer o gerador produzir exatamente o formato desejado.

Adicione a Parte de Verificação de Fatos:

Agora, adicione a segunda parte, que faz a verificação de fatos da resposta de exemplo e refina a resposta com base em fontes reais. Aqui, usamos a Wikipedia e Agentes de IA, pois é mais fácil e flexível conectar a Wikipedia aos Agentes de IA do que a geradores simples. Conecte a saída do gerador ao Agente de IA e conecte a ferramenta Wikipedia ao Agente de IA. Aqui está o Objetivo que uso para o Agente de IA:

Você recebe uma resposta de exemplo para a pergunta do usuário. A resposta pode conter dados incorretos. Use a ferramenta Wikipedia nas seções indicadas, com a consulta especificada, para usar as informações da Wikipedia e refinar a resposta. Inclua o link da Wikipedia em cada seção especificada. BUSQUE OS DADOS NAS SUAS FERRAMENTAS E REFINA A RESPOSTA NAQUELA SEÇÃO. ADICIONE O LINK DA FONTE NAQUELA SEÇÃO EM PARTICULAR E NÃO NO FINAL.

Da mesma forma, você pode adicionar um Document Retriever ao Agente de IA, que pode se conectar à sua própria base de conhecimento personalizada para recuperar documentos.

Você pode experimentar esse fluxo exato aqui.

Entendendo a Geração Aumentada por Recuperação (RAG)

Para realmente entender o RIG, é interessante primeiro analisar seu antecessor, a Geração Aumentada por Recuperação (RAG). O RAG une as forças de sistemas que buscam dados relevantes e modelos que geram conteúdo coerente e adequado. A transição do RAG para o RIG é um grande avanço. O RIG não apenas recupera e gera, mas mistura esses processos para obter mais precisão e eficiência. Isso permite que sistemas de IA melhorem seu entendimento e produção de forma incremental, entregando resultados não apenas precisos, mas também relevantes e aprofundados. Ao combinar recuperação com geração, sistemas de IA podem acessar grandes volumes de informação mantendo as respostas coerentes e relevantes.

O Futuro da Geração Intercalada de Recuperação

O futuro da Geração Intercalada de Recuperação é promissor, com muitos avanços e linhas de pesquisa no horizonte. À medida que a IA continua evoluindo, o RIG deve desempenhar um papel fundamental na construção do universo de machine learning e aplicações de IA. Seu potencial vai além das capacidades atuais, prometendo transformar a forma como sistemas de IA processam e geram informações. Com pesquisas em andamento, esperamos mais inovações que vão aprimorar a integração do RIG em várias estruturas de IA, levando a sistemas mais eficientes, precisos e confiáveis. À medida que esses avanços se concretizam, a importância do RIG só aumentará, consolidando seu papel como pilar da precisão e desempenho da IA.

Em conclusão, a Geração Intercalada de Recuperação representa um grande avanço na busca por precisão e eficiência em IA. Ao combinar habilmente processos de recuperação e geração, o RIG potencializa o desempenho de modelos de linguagem de grande porte, aprimora o raciocínio em múltiplas etapas e oferece possibilidades empolgantes em educação e verificação de fatos. Olhando para o futuro, a contínua evolução do RIG certamente impulsionará novas inovações em IA, solidificando seu papel como ferramenta essencial na busca por sistemas de inteligência artificial mais inteligentes e confiáveis.