Entropia Incrociata
L'entropia incrociata è un concetto fondamentale sia nella teoria dell'informazione che nel machine learning, fungendo da metrica per misurare la divergenza tra due distribuzioni di probabilità. Nel machine learning, viene utilizzata come funzione di perdita per quantificare le discrepanze tra le uscite previste e le etichette reali, ottimizzando le prestazioni del modello, specialmente nei compiti di classificazione.