Componenti principali di Fastai

1. Libreria Fastai

La libreria Fastai è costruita sopra il framework PyTorch ed è pensata per rendere il deep learning più accessibile. Fornisce una API di alto livello che astrae molte delle complessità associate al deep learning, permettendo agli utenti di concentrarsi sui compiti applicativi piuttosto che su dettagli di programmazione intricati. Questa astrazione è ottenuta tramite un design a livelli dell’API, che fornisce sia componenti di alto che di basso livello per vari compiti di deep learning. Le funzionalità della libreria si estendono dalla visione e elaborazione testi fino ai dati tabellari e al collaborative filtering.

Fastai v2 rappresenta una riscrittura completa volta a migliorare velocità, flessibilità e facilità d’uso. È costruita su librerie fondamentali come fastcore e fastgpu, che supportano i componenti di alto livello di Fastai e sono utili per molti programmatori e data scientist.

2. API a livelli

L’API a livelli di Fastai è strutturata per rispondere a diverse esigenze degli utenti, dai principianti ai ricercatori avanzati. L’API di alto livello offre funzioni pronte all’uso per l’addestramento di modelli in vari ambiti, tra cui visione, testo, dati tabellari e collaborative filtering. Queste funzioni sono dotate di impostazioni predefinite intelligenti che semplificano il processo di costruzione dei modelli. L’API di medio livello fornisce metodi fondamentali per il deep learning e l’elaborazione dei dati, mentre quella di basso livello offre primitive ottimizzate e basi per lo sviluppo di modelli personalizzati.

Una caratteristica chiave dell’architettura a livelli di Fastai è la capacità di esprimere pattern comuni sottostanti a molte tecniche di deep learning ed elaborazione dati tramite astrazioni disaccoppiate. Ciò è possibile sfruttando il dinamismo di Python e la flessibilità di PyTorch, permettendo un equilibrio tra facilità d’uso, flessibilità e prestazioni.

3. Corso Practical Deep Learning for Coders

Fastai offre un corso MOOC gratuito dal titolo “Practical Deep Learning for Coders”. Questo corso fornisce esperienza pratica con il deep learning, richiedendo solo conoscenze di Python come prerequisito. Copre vari argomenti di deep learning come classificazione immagini, NLP e GANs, con un focus sulle applicazioni reali. Il corso è affiancato dal libro “Deep Learning for Coders with Fastai and PyTorch”, che approfondisce le applicazioni dell’IA senza richiedere un dottorato di ricerca.

Caratteristiche principali di Fastai

1. API di alto livello

L’API di alto livello di Fastai semplifica l’addestramento dei modelli di deep learning integrando architettura, dati e ottimizzazione in un sistema coeso. Seleziona automaticamente funzioni di perdita e algoritmi di ottimizzazione appropriati, riducendo la probabilità di errori da parte dell’utente. Questa API è particolarmente utile per principianti e per chi desidera applicare metodi di deep learning esistenti senza addentrarsi nelle complessità del codice sottostante.

2. Apprendimento trasferito (Transfer Learning)

Una delle caratteristiche distintive di Fastai è il supporto per l’apprendimento trasferito, che consente di addestrare i modelli in modo rapido ed efficiente sfruttando reti pre-addestrate. Fastai ottimizza questo processo tramite tecniche come batch-normalization, congelamento dei layer e learning rate discriminativi. Queste tecniche accelerano l’apprendimento e migliorano le prestazioni del modello su diversi compiti.

3. Data Block API

La data block API è un sistema flessibile per la definizione delle pipeline di elaborazione dati. Permette agli utenti di specificare fonti dati, trasformazioni e meccanismi di caricamento in modo modulare. Questa API è fondamentale per gestire set di dati complessi e garantire che i dati siano preparati correttamente per l’addestramento dei modelli. Fornisce un approccio coerente in vari ambiti, facilitando l’applicazione di tecniche di deep learning a diversi tipi di dati.

4. Sistema di callback bidirezionale

Fastai introduce un innovativo sistema di callback bidirezionale che offre agganci nel ciclo di addestramento, consentendo modifiche dinamiche a dati, modelli o ottimizzatori in qualsiasi momento durante l’addestramento. Questo sistema aumenta la flessibilità e la personalizzazione dei processi di training, permettendo di implementare approcci innovativi con uno sforzo di codifica minimo.

5. Open Source e guidata dalla comunità

Fastai è un progetto open source ospitato su GitHub, con licenza Apache 2.0. Beneficia di una vivace comunità di sviluppatori e ricercatori che contribuiscono al suo sviluppo e miglioramento continui. La natura open source della libreria garantisce agli utenti l’accesso a tecniche all’avanguardia e la possibilità di contribuire alla sua evoluzione. La comunità di Fastai è anche una fonte di apprendimento collaborativo e supporto per utenti in tutto il mondo.

Casi d’uso e applicazioni

Visione

Fastai semplifica lo sviluppo di modelli di computer vision con poche righe di codice. Ad esempio, un modello ImageNet può essere perfezionato su un dataset specifico, come l’Oxford IIT Pets, raggiungendo alte accuratezze con pochissimo codice. L’integrazione della libreria con PyTorch permette agli utenti di sfruttare architetture e tecniche all’avanguardia con facilità.

Testo

Fastai è dotata di strumenti per l’elaborazione del linguaggio naturale (NLP), permettendo attività come analisi del sentiment, classificazione testi e language modeling. L’integrazione con PyTorch consente l’utilizzo di architetture NLP moderne, facilitando lo sviluppo di modelli linguistici robusti in grado di comprendere e generare linguaggio umano.

Dati tabellari

Fastai fornisce componenti per l’elaborazione di dati tabellari, supportando compiti come regressione e classificazione. La sua data block API è particolarmente utile per trasformare e caricare dataset tabellari, assicurando che i dati siano processati in modo efficiente e accurato per l’addestramento dei modelli. Questa caratteristica è essenziale per applicazioni in analytics aziendale, sanità e finanza, dove i dati tabellari sono predominanti.

Collaborative Filtering

Il collaborative filtering è un altro ambito in cui Fastai eccelle, offrendo strumenti per costruire sistemi di raccomandazione. L’API di alto livello semplifica creazione e valutazione di modelli di collaborative filtering, facilitando lo sviluppo di raccomandazioni personalizzate per gli utenti in base a preferenze e comportamenti.

Deployment

Fastai supporta il deployment di modelli addestrati in ambienti di produzione, permettendo agli sviluppatori di integrare capacità di IA nelle applicazioni in modo fluido. L’attenzione della libreria alla praticità garantisce che le considerazioni sul deployment siano affrontate fin dall’inizio, consentendo soluzioni efficienti e scalabili per applicazioni reali.

Fastai nelle pubblicazioni scientifiche

Fastai è una libreria di deep learning progettata per fornire componenti di alto livello ai professionisti per ottenere risultati all’avanguardia rapidamente e facilmente nei domini standard del deep learning. Allo stesso tempo, offre componenti di basso livello ai ricercatori per sperimentare nuovi approcci senza sacrificare facilità d’uso, flessibilità o prestazioni. Questa doppia capacità è ottenuta tramite un’architettura attentamente strutturata che sfrutta il dinamismo di Python e la flessibilità di PyTorch. La libreria introduce diverse funzionalità innovative, tra cui un sistema di type dispatch per Python, una libreria di visione computerizzata ottimizzata per GPU, un ottimizzatore che semplifica gli algoritmi di ottimizzazione moderni e un sistema di callback bidirezionale. Fastai è stata utilizzata con successo per creare un corso completo di deep learning, ed è ampiamente impiegata in ricerca, industria e didattica. Per maggiori dettagli, puoi consultare il paper su arXiv.

• Esempio in agricoltura:
  Nel campo dell’agricoltura, Fastai è stata applicata con successo per costruire un modello di classificazione per il riconoscimento delle malattie delle piante utilizzando un dataset di immagini di foglie di melo. Utilizzando un modello ResNet34 pre-addestrato con Fastai, lo studio ha raggiunto un’accuratezza di classificazione del 93,765%. Questo dimostra la capacità della libreria di ridurre i tempi di training e migliorare le prestazioni dei modelli in applicazioni pratiche. Maggiori informazioni sono disponibili nello studio su arXiv.

• Esempio di compressione modelli:
  Inoltre, il sistema di callback di Fastai è stato sfruttato in altre librerie come FasterAI, che si concentra su tecniche di compressione delle reti neurali come la sparsificazione e la potatura. Ciò dimostra la versatilità di Fastai e la facilità di integrazione con altri strumenti per eseguire tecniche all’avanguardia in modo efficiente. I dettagli di questa implementazione sono disponibili nel paper di FasterAI su arXiv.

Esempi di utilizzo

Installazione

Per iniziare a utilizzare fastai, puoi installarla facilmente tramite conda o pip. Ecco come:

• Conda (raccomandato per Linux o Windows):
  conda install -c fastai fastai
• Pip (funziona su tutte le piattaforme):
  pip install fastai
• Google Colab:
  Usa fastai senza installazione sfruttando Google Colab, che supporta l’ambiente GPU per calcoli più rapidi.

Inoltre, gli utenti possono consultare la documentazione ufficiale di fastai e i forum della comunità per risolvere problemi comuni di installazione o cercare soluzioni per configurazioni specifiche. L’integrazione della libreria con i notebook Jupyter e Google Colab ne aumenta ulteriormente la fruibilità offrendo un ambiente interattivo per sperimentare e imparare.

API di alto livello

L’API di alto livello di fastai è progettata per la facilità d’uso e lo sviluppo rapido. Astrae gran parte della complessità, consentendo agli utenti di concentrarsi sulla costruzione e sull’addestramento dei modelli con poche righe di codice. Questa API è particolarmente utile per prototipare rapidamente modelli e iterare sulle idee senza addentrarsi nei dettagli di basso livello del framework PyTorch sottostante.

Esempi di utilizzo dell’API di alto livello

1. Classificazione immagini

from fastai.vision.all import * 
path = untar_data(URLs.PETS) 
dls = ImageDataLoaders.from_name_re(
    path=path, 
    fnames=get_image_files(path/"images"),
    pat=r'/([^/]+)_\d+.jpg$', 
    item_tfms=RandomResizedCrop(450, min_scale=0.75), 
    batch_tfms=[*aug_transforms(size=224, max_warp=0.), Normalize.from_stats(*imagenet_stats)]
)
learn = cnn_learner(dls, resnet34, metrics=error_rate)
learn.fit_one_cycle(4)

Questo esempio mostra come impostare e addestrare un classificatore di immagini sul dataset Oxford IIT Pets usando l’API di alto livello di fastai.

2. Analisi del sentiment sui testi

from fastai.text.all import *
path = untar_data(URLs.IMDB)
dls = TextDataLoaders.from_folder(path, valid='test')
learn = text_classifier_learner(dls, AWD_LSTM, drop_mult=0.5, metrics=accuracy)
learn.fine_tune(1)

Qui, fastai viene utilizzata per costruire un modello di analisi del sentiment sul dataset IMDB.

3. Dati tabellari

from fastai.tabular.all import *
path = untar_data(URLs.ADULT_SAMPLE)
dls = TabularDataLoaders.from_csv(
    path/'adult.csv', path=path, y_names="salary",
    cat_names=['workclass', 'education', 'marital-status', 'occupation', 'relationship', 'race'],
    cont_names=['age', 'fnlwgt', 'education-num'],
    procs=[Categorify, FillMissing, Normalize]
)
learn = tabular_learner(dls, metrics=accuracy)
learn.fit_one_cycle(3)

Questo esempio illustra l’uso di fastai per dati tabellari, in particolare il dataset Adult.

API di medio livello

L’API di medio livello in fastai offre maggiori possibilità di personalizzazione rispetto a quella di alto livello, consentendo agli utenti di modificare vari aspetti del processo di training senza dover intervenire sui dettagli di livello più basso. Fornisce un equilibrio tra facilità d’uso e flessibilità, rivolgendosi a chi ha bisogno di maggiore controllo sui modelli, apprezzando comunque la comodità dei componenti predefiniti.

Componenti dell’API di medio livello

• Learner: Un componente fondamentale che incapsula il modello, i dati e il ciclo di training. Può essere personalizzato con architetture, ottimizzatori e metriche differenti.
• Callbacks: Funzioni che permettono di estendere il ciclo di training con comportamenti personalizzati, come salvataggio di checkpoint, regolazione dei learning rate o logging delle metriche.

Esempio d’uso

learn = cnn_learner(dls, resnet18, metrics=accuracy, cbs=[SaveModelCallback(monitor='accuracy')])
learn.fine_tune(2)

In questo esempio, viene usato un callback per salvare il modello con la migliore accuratezza durante il training, mostrando la flessibilità dell’API di medio livello.

API di basso livello

Per utenti avanzati e ricercatori che necessitano di pieno controllo sui modelli, l’API di basso livello di fastai offre accesso alle funzionalità PyTorch sottostanti e a primitive ottimizzate. Questo livello è pensato per chi vuole spingersi oltre i limiti del deep learning progettando nuove architetture o implementando routine di training personalizzate.

Caratteristiche dell’API di basso livello

• Pipeline e Transforms: Sequenze di elaborazione dati personalizzabili secondo necessità specifiche.
• Tensori orientati agli oggetti: Estensioni ai tensori PyTorch che ne facilitano la manipolazione.
• Operazioni ottimizzate: Operazioni su tensori efficienti che sfruttano le capacità di PyTorch.

Esempio d’uso

from fastai.data.all import *
pipe = Pipeline([PILImage.create, Resize(128), ToTensor])
img = pipe('path/to/image.jpg')

Questo snippet mostra come creare una pipeline dati personalizzata usando l’API di basso livello di fastai, applicando una serie di trasformazioni a un’immagine.

Fastai nella pratica: esempi pubblicati

1. Fastai: una API a livelli per il Deep Learning
   Autori: Jeremy Howard, Sylvain Gugger
   Fastai è una libreria di deep learning progettata per facilitare il rapid prototyping e il deployment di modelli di deep learning. Lo fa fornendo componenti di alto livello per compiti standard, consentendo anche ai ricercatori di accedere a componenti di basso livello per soluzioni personalizzate. Questo articolo descrive l’architettura della libreria, che sfrutta il dinamismo di Python e la flessibilità di PyTorch per creare astrazioni disaccoppiate delle attività di deep learning. Le innovazioni di Fastai includono un sistema di type dispatch, una libreria di visione ottimizzata per GPU, un nuovo design degli ottimizzatori e un sistema di callback bidirezionale. La facilità d’uso e la capacità di produrre risultati all’avanguardia hanno reso la libreria popolare in ricerca, industria e didattica. Leggi di più

2. Segmentazione della microvascolarizzazione nel programma Human BioMolecular Atlas (HuBMAP)
   Autori: Youssef Sultan, Yongqiang Wang, James Scanlon, Lisa D’lima
   Questo studio utilizza Fastai per la segmentazione delle immagini nel programma HuBMAP, concentrandosi sulla segmentazione delle strutture microvascolari nei reni umani. La metodologia parte da un modello U-Net Fastai, esplorando architetture e modelli profondi alternativi per migliorare l’accuratezza della segmentazione. Questo lavoro evidenzia la capacità di Fastai di fungere da strumento fondamentale nell’imaging medico, offrendo spunti su tecniche avanzate di segmentazione e sul loro benchmarking rispetto ai modelli di base. Leggi di più

3. Egglog Python: una libreria Pythonic per E-graphs
   Autore: Saul Shanabrook
   Sebbene non sia direttamente su Fastai, questo articolo introduce i binding Python per la libreria egglog, evidenziando l’integrazione delle tecniche e-graph in Python. Questo approccio si allinea con la filosofia di Fastai di sfruttare i punti di forza di Python per favorire l’innovazione nel machine learning e nel calcolo scientifico. Illustra come le API Pythonic possano facilitare la collaborazione e l’innovazione tra domini, potenzialmente integrandosi con la versatilità di Fastai. [Leggi di più](https://arxiv.org/abs/2404