Confusiematrix

Een confusiematrix is een hulpmiddel dat wordt gebruikt in machine learning om de prestaties van een classificatiemodel te evalueren. Het is een specifieke tabelindeling waarmee de prestaties van een algoritme kunnen worden gevisualiseerd, meestal van een supervisorisch leermodel. In een confusiematrix vertegenwoordigt elke rij van de matrix de instanties van een werkelijke klasse, terwijl elke kolom de instanties van een voorspelde klasse weergeeft. Deze matrix is bijzonder nuttig om de ware positieven, ware negatieven, onjuiste positieven en onjuiste negatieven die door een model zijn voorspeld te begrijpen.

Een confusiematrix geeft een klassenwijze verdeling van de voorspellingsprestaties van een classificatiemodel. Deze georganiseerde mapping biedt een meer uitgebreide evaluatie en geeft inzicht in waar een model fouten maakt. In tegenstelling tot eenvoudige nauwkeurigheid, die misleidend kan zijn bij onevenwichtige datasets, geeft een confusiematrix een genuanceerder beeld van de modelprestaties.

Componenten van een Confusiematrix

1. True Positive (TP): Gevallen waarbij het model correct de positieve klasse voorspelde. Bijvoorbeeld, bij een test voor het opsporen van een ziekte is een true positive een geval waarin de test correct een patiënt met de ziekte identificeert.
2. True Negative (TN): Gevallen waarbij het model correct de negatieve klasse voorspelde. Bijvoorbeeld, de test identificeert een gezond persoon correct als niet ziek.
3. False Positive (FP): Gevallen waarbij het model onterecht de positieve klasse voorspelde. In het ziektevoorbeeld zou dit een gezond persoon zijn die onterecht als ziek wordt aangeduid (Type I-fout).
4. False Negative (FN): Gevallen waarbij het model onterecht de negatieve klasse voorspelde. In ons voorbeeld zou dit een zieke persoon zijn die onterecht als gezond wordt aangeduid (Type II-fout).

Belang van de Confusiematrix

Een confusiematrix geeft een vollediger beeld van de modelprestaties dan alleen nauwkeurigheid. Het helpt te identificeren of het model twee klassen verwart, wat met name belangrijk is bij onevenwichtige datasets waarbij de ene klasse de andere sterk overtreft. Het is essentieel voor het berekenen van andere belangrijke maatstaven zoals precisie, recall en de F1-score.

De confusiematrix maakt niet alleen de berekening van de nauwkeurigheid van een classifier mogelijk, zowel globaal als per klasse, maar helpt ook bij het berekenen van andere belangrijke maatstaven die ontwikkelaars vaak gebruiken om hun modellen te evalueren. Het kan ook helpen om de relatieve sterktes en zwaktes van verschillende classifiers te vergelijken.

Belangrijke Maatstaven afgeleid van de Confusiematrix

• Nauwkeurigheid (Accuracy): De verhouding van correct voorspelde instanties (zowel ware positieven als ware negatieven) ten opzichte van het totaal aantal instanties. Hoewel nauwkeurigheid een algemeen idee geeft van de prestaties van het model, kan het misleidend zijn bij onevenwichtige datasets.

• Precisie (Positive Predictive Value): De verhouding van het aantal ware positieve voorspellingen tot het totaal aantal voorspelde positieven. Precisie is cruciaal in situaties waarin de kosten van een onjuiste positieve voorspelling hoog zijn.

  $$ \text{Precisie} = \frac{TP}{TP + FP} $$

• Recall (Gevoeligheid of True Positive Rate): De verhouding van het aantal ware positieve voorspellingen tot het totaal aantal werkelijke positieven. Recall is belangrijk in situaties waarbij het missen van een positief geval kostbaar is.

  $$ \text{Recall} = \frac{TP}{TP + FN} $$

• F1-score: Het harmonisch gemiddelde van precisie en recall. Het biedt een balans tussen de twee maatstaven en is vooral nuttig wanneer zowel onjuiste positieven als onjuiste negatieven belangrijk zijn.

  $$ \text{F1-score} = 2 \times \frac{\text{Precisie} \times \text{Recall}}{\text{Precisie} + \text{Recall}} $$

• Specificiteit (True Negative Rate): De verhouding van het aantal ware negatieve voorspellingen tot het totaal aantal werkelijke negatieven. Specificiteit is nuttig wanneer de nadruk ligt op het correct identificeren van de negatieve klasse.

  $$ \text{Specificiteit} = \frac{TN}{TN + FP} $$

Toepassingen van de Confusiematrix

1. Medische Diagnose: In situaties zoals ziektevoorspelling, waar het cruciaal is om alle gevallen van de ziekte te identificeren (hoge recall), zelfs als dit betekent dat sommige gezonde personen als ziek worden aangeduid (lagere precisie).
2. Spamdetectie: Waar het belangrijk is om het aantal onjuiste positieven (niet-spam e-mails die onterecht als spam worden gemarkeerd) te minimaliseren.
3. Fraudedetectie: Bij financiële transacties, waar het missen van een frauduleuze transactie (false negative) kostbaarder kan zijn dan het onterecht markeren van een legitieme transactie als frauduleus (false positive).
4. Beeldherkenning: Bijvoorbeeld het herkennen van verschillende diersoorten op afbeeldingen, waarbij elke soort een andere klasse vertegenwoordigt.

Confusiematrix bij Multiklassenclassificatie

Bij multiklassenclassificatie wordt de confusiematrix uitgebreid naar een N x N-matrix, waarbij N het aantal klassen is. Elke cel in de matrix geeft het aantal gevallen weer waarbij de werkelijke klasse de rij is en de voorspelde klasse de kolom. Deze uitbreiding helpt bij het begrijpen van de misclassificatie tussen meerdere klassen.

Implementatie van de Confusiematrix in Python

Hulpmiddelen zoals scikit-learn van Python bieden functies zoals confusion_matrix() en classification_report() om eenvoudig confusiematrices te berekenen en te visualiseren. Hier is een voorbeeld van het aanmaken van een confusiematrix voor een binair classificatieprobleem:

from sklearn.metrics import confusion_matrix, classification_report

# Werkelijke en voorspelde waarden
actual = ['Dog', 'Dog', 'Cat', 'Dog', 'Cat']
predicted = ['Dog', 'Cat', 'Cat', 'Dog', 'Cat']

# Genereer de confusiematrix
cm = confusion_matrix(actual, predicted, labels=['Dog', 'Cat'])

# Toon de confusiematrix
print(cm)

# Genereer het classificatierapport
print(classification_report(actual, predicted))

Studies

1. Integratie van Edge-AI in het domein van Structurele Gezondheidsmonitoring
   In het onderzoek van Anoop Mishra et al. (2023) verkennen de auteurs de integratie van edge-AI in het domein van structurele gezondheidsmonitoring (SHM) voor real-time bruginspecties. De studie stelt een edge-AI-framework voor en ontwikkelt een deep learning-model dat compatibel is met edge-AI om real-time scheurclassificatie uit te voeren. De effectiviteit van dit model wordt geëvalueerd aan de hand van verschillende maatstaven, waaronder nauwkeurigheid en de confusiematrix, die helpen bij het beoordelen van real-time bevindingen en besluitvorming op fysieke locaties.
   Lees meer

2. CodeCipher: Leren om broncode te verbergen tegen LLMs
   In deze studie uit 2024 van Yalan Lin et al. behandelen de auteurs privacykwesties bij AI-ondersteunde programmeertaken. De auteurs presenteren CodeCipher, een methode die broncode verbergt terwijl de prestaties van AI-modellen behouden blijven. De studie introduceert een token-naar-token verwarringsstrategie, een innovatieve toepassing van het concept verwarring, hoewel niet direct een confusiematrix, om privacy te beschermen zonder de effectiviteit van AI-taken te verminderen.
   Lees meer

3. Kunnen CNN’s menselijke emoties nauwkeurig classificeren? Een deep-learning gezichtsuitdrukkingsherkenningsstudie
   In deze studie uit 2023 van Ashley Jisue Hong et al. onderzoeken de auteurs het vermogen van convolutionele neurale netwerken (CNN’s) om menselijke emoties te classificeren via gezichtsherkenning. De studie gebruikt confusiematrices om de nauwkeurigheid van CNN’s bij het classificeren van emoties als positief, neutraal of negatief te evalueren, waarmee inzichten worden verkregen in de modelprestaties die verder gaan dan basisnauwkeurigheidsmaatstaven. De confusiematrix speelt een cruciale rol bij het analyseren van foutclassificaties en het begrijpen van het gedrag van het model bij verschillende emotieklassen.
   Lees meer

Deze artikelen benadrukken de diverse toepassingen en het belang van confusiematrices in AI, van real-time besluitvorming in structurele gezondheidsmonitoring tot privacybescherming bij programmeren, en emotieclassificatie in gezichtsherkenning.