Few-Shot Learning

O que é Few-Shot Learning?

Few-Shot Learning é uma abordagem de aprendizado de máquina que permite que modelos façam previsões precisas usando apenas um pequeno número de exemplos rotulados. Diferentemente dos métodos tradicionais de aprendizado supervisionado, que exigem grandes quantidades de dados rotulados para o treinamento, Few-Shot Learning foca em treinar modelos para generalizar a partir de um conjunto de dados limitado. O objetivo é desenvolver algoritmos de aprendizado que possam aprender conceitos ou tarefas novos de forma eficiente a partir de apenas alguns exemplos, de maneira semelhante à capacidade de aprendizado humano.

No contexto do aprendizado de máquina, o termo “few-shot” refere-se ao número de exemplos de treinamento por classe. Por exemplo:

• One-Shot Learning: O modelo aprende apenas com um exemplo por classe.
• Few-Shot Learning: O modelo aprende a partir de um pequeno número (tipicamente de 2 a 5) de exemplos por classe.

Few-Shot Learning faz parte da categoria mais ampla de n-shot learning, onde n representa o número de exemplos de treinamento por classe. Está intimamente relacionado à meta-aprendizagem, também conhecida como “aprender a aprender”, na qual o modelo é treinado em uma variedade de tarefas e aprende a se adaptar rapidamente a novas tarefas com dados limitados.

Como o Few-Shot Learning é utilizado?

Few-Shot Learning é usado principalmente em situações em que obter um grande conjunto de dados rotulado é impraticável ou impossível. Isso pode acontecer devido a:

• Escassez de Dados: Eventos raros, imagens de novos produtos, intenções de usuário únicas ou condições médicas incomuns.
• Altos Custos de Anotação: Rotular dados exige conhecimento especializado ou um grande investimento de tempo.
• Preocupações com Privacidade: Compartilhamento ou coleta de dados é restrita devido a regulamentações de privacidade.

Para enfrentar esses desafios, Few-Shot Learning aproveita conhecimento prévio e estratégias de aprendizado que permitem que modelos façam previsões confiáveis a partir de dados mínimos.

Abordagens centrais em Few-Shot Learning

Diversas metodologias foram desenvolvidas para implementar Few-Shot Learning de forma eficaz:

1. Meta-Aprendizagem (Aprender a Aprender)
2. Transferência de Aprendizado
3. Aumento de Dados
4. Aprendizado Métrico

1. Meta-Aprendizagem (Aprender a Aprender)

Meta-Aprendizagem envolve treinar modelos em uma variedade de tarefas de tal forma que eles possam aprender rapidamente novas tarefas a partir de uma pequena quantidade de dados. O modelo adquire uma compreensão em nível meta de como aprender, permitindo adaptação rápida com poucos exemplos.

Conceitos-chave:

• Episódios: O treinamento é estruturado em episódios, cada um simulando uma tarefa de Few-Shot.
• Support Set: Um pequeno conjunto de dados rotulados que o modelo usa para aprender.
• Query Set: Um conjunto de dados sobre o qual o modelo faz previsões após aprender com o support set.

Algoritmos populares de Meta-Aprendizagem:

• Model-Agnostic Meta-Learning (MAML): Treina os parâmetros do modelo para que um pequeno número de atualizações de gradiente leve a uma boa generalização em novas tarefas.
• Prototypical Networks: Aprende um espaço métrico onde a classificação pode ser realizada ao calcular distâncias até as representações prototípicas de cada classe.
• Matching Networks: Usa mecanismos de atenção sobre um embedding aprendido do support set para fazer previsões.

Exemplo de aplicação:

Em processamento de linguagem natural (PLN), um chatbot pode precisar entender novas intenções de usuário que não estavam presentes durante o treinamento inicial. Utilizando meta-aprendizagem, o chatbot pode se adaptar rapidamente para reconhecer e responder a essas novas intenções após receber apenas alguns exemplos.

2. Transferência de Aprendizado

Transferência de Aprendizado aproveita o conhecimento adquirido em uma tarefa para melhorar o aprendizado em uma tarefa relacionada, porém diferente. Um modelo é primeiro pré-treinado em um grande conjunto de dados e depois ajustado (fine-tuned) para a tarefa Few-Shot alvo.

Processo:

• Pré-treinamento: Treine um modelo em um conjunto de dados grande e diversificado para aprender características gerais.
• Ajuste fino (Fine-Tuning): Adapte o modelo pré-treinado para a nova tarefa usando a quantidade limitada de dados disponível.

Vantagens:

• Reduz a necessidade de grandes quantidades de dados rotulados para a tarefa alvo.
• Aproveita as representações ricas aprendidas durante o pré-treinamento.

Exemplo de aplicação:

Em visão computacional, um modelo pré-treinado no ImageNet pode ser ajustado para classificar imagens médicas de uma doença rara usando apenas alguns exemplos rotulados disponíveis.

3. Aumento de Dados

Aumento de Dados envolve gerar dados de treinamento adicionais a partir do conjunto limitado de dados existente. Isso pode ajudar a evitar overfitting e melhorar a capacidade do modelo de generalizar.

Técnicas:

• Transformações de Imagem: Rotação, redimensionamento, inversão e recorte de imagens.
• Geração de Dados Sintéticos: Utilização de modelos generativos como GANs (Redes Geradoras Adversárias) para criar novas amostras de dados.
• Mixup e CutMix: Combinação de pares de exemplos para criar novos exemplos de treinamento.

Exemplo de aplicação:

Em reconhecimento de fala, aumentar algumas amostras de áudio com ruído de fundo, alterações de tom ou variações de velocidade pode criar um conjunto de treinamento mais robusto.

4. Aprendizado Métrico

Aprendizado Métrico foca em aprender uma função de distância que mede o quão semelhantes ou diferentes dois pontos de dados são. O modelo aprende a mapear dados em um espaço de embedding onde itens similares ficam próximos.

Abordagem:

• Redes Siamesas (Siamese Networks): Utilizam redes gêmeas com pesos compartilhados para calcular embeddings de pares de entrada e medir a distância entre eles.
• Triplet Loss: Garante que um âncora esteja mais próxima de um exemplo positivo do que de um negativo por uma certa margem.
• Aprendizado Contrastivo: Aprende embeddings contrastando pares similares e dissimilares.

Exemplo de aplicação:

Em reconhecimento facial, o aprendizado métrico permite que o modelo verifique se duas imagens são da mesma pessoa com base nos embeddings aprendidos.

Pesquisas sobre Few-Shot Learning

Few-Shot Learning é uma área em rápida evolução no aprendizado de máquina que enfrenta o desafio de treinar modelos com uma quantidade limitada de dados rotulados. Esta seção explora alguns artigos científicos chave que contribuem para o entendimento e desenvolvimento de metodologias de Few-Shot Learning.

Principais artigos científicos

1. Deep Optimal Transport: A Practical Algorithm for Photo-realistic Image Restoration

   • Autores: Theo Adrai, Guy Ohayon, Tomer Michaeli, Michael Elad
   • Resumo: Este artigo apresenta um algoritmo inovador de restauração de imagens que utiliza princípios de Few-Shot Learning. Usando um pequeno conjunto de imagens, o algoritmo melhora a qualidade perceptual ou o erro quadrático médio (MSE) de modelos pré-treinados sem treinamento adicional. O método baseia-se na teoria do transporte ótimo, que alinha a distribuição de saída com os dados de origem por meio de uma transformação linear no espaço latente de um autoencoder variacional. A pesquisa demonstra melhorias na qualidade perceptual e sugere um método de interpolação para equilibrar qualidade perceptual e MSE em imagens restauradas.
   • Leia mais

2. Minimax Deviation Strategies for Machine Learning and Recognition with Short Learning Samples

   • Autores: Michail Schlesinger, Evgeniy Vodolazskiy
   • Resumo: Este estudo aborda os desafios de amostras de aprendizado pequenas em aprendizado de máquina. Critica as limitações das estratégias de aprendizado de máxima verossimilhança e minimax, e introduz o conceito de aprendizado de desvio minimax. Essa nova abordagem visa superar as deficiências dos métodos existentes, oferecendo uma alternativa robusta para cenários de Few-Shot Learning.
   • Leia mais

3. Some Insights into Lifelong Reinforcement Learning Systems

   • Autor: Changjian Li
   • Resumo: Embora focado principalmente em sistemas de aprendizado contínuo (lifelong learning), este artigo fornece insights aplicáveis ao Few-Shot Learning ao destacar as deficiências dos paradigmas tradicionais de aprendizado por reforço. Sugere que sistemas de aprendizado contínuo, que aprendem continuamente por meio de interações, podem oferecer perspectivas valiosas para o desenvolvimento de modelos de Few-Shot Learning.
   • Leia mais

4. Dex: Incremental Learning for Complex Environments in Deep Reinforcement Learning

   • Autores: Nick Erickson, Qi Zhao
   • Resumo: O toolkit Dex é apresentado para treinar e avaliar métodos de aprendizado contínuo, com foco em aprendizado incremental. Essa abordagem pode ser vista como uma forma de Few-Shot Learning, onde a inicialização ótima dos pesos é derivada da resolução de ambientes mais simples. O artigo mostra como o aprendizado incremental pode superar significativamente os métodos tradicionais em cenários complexos de aprendizado por reforço.
   • Leia mais

5. Augmented Q Imitation Learning (AQIL)

   • Autores: Xiao Lei Zhang, Anish Agarwal
   • Resumo: Este artigo explora a interseção entre aprendizado por imitação e aprendizado por reforço, duas áreas intimamente relacionadas ao Few-Shot Learning. O AQIL combina esses paradigmas de aprendizado para criar uma estrutura robusta de aprendizado não supervisionado, oferecendo insights sobre como o Few-Shot Learning pode ser aprimorado por meio de mecanismos de imitação e feedback.
   • Leia mais