Bei einer Klassifizierung werden Objekte anhand von bestimmten Merkmalen durch einen Klassifikator in verschiedene Klassen eingeordnet. Der Klassifikator macht dabei im Allgemeinen Fehler, ordnet also in manchen Fällen ein Objekt einer falschen Klasse zu. Aus der relativen Häufigkeit dieser Fehler lassen sich quantitative Maße zur Beurteilung eines Klassifikators ableiten.
Häufig ist die Klassifikation binärer Natur, d. h., es gibt nur zwei mögliche Klassen. Die hier diskutierten Gütemaße beziehen sich ausschließlich auf diesen Fall. Solche binären Klassifikationen werden häufig in Form einer Ja/Nein-Frage formuliert: Leidet ein Patient an einer bestimmten Krankheit oder nicht? Ist ein Feuer ausgebrochen oder nicht? Nähert sich ein feindliches Flugzeug oder nicht? Bei Klassifikationen dieser Art gibt es zwei mögliche Arten von Fehlern: Ein Objekt wird der ersten Klasse zugeordnet, obwohl es der zweiten angehört, oder umgekehrt. Die hier beschriebenen Kennzahlen bieten dann eine Möglichkeit, die Zuverlässigkeit des zugehörigen Klassifikators (Diagnoseverfahren, Brandmelder, Fliegerradar) zu beurteilen.
Ja-Nein-Klassifikationen weisen Ähnlichkeiten zu statistischen Tests auf, bei denen zwischen einer Nullhypothese und einer Alternativhypothese entschieden wird.
Als Alternative zu den unten aufgeführten Klassifikationsmetriken, welche auf der Dichotomisierung der vorhergesagten Wahrscheinlichkeiten beruhen, können Scoring rules zur Bewertung eines Klassifikators herangezogen werden. Diese haben den Vorteil, dass die Wahrscheinlichkeitskalibrierung bewertet wird. Eine künstliche Dichotomisierung der Wahrscheinlichkeiten um Vorhersagen über Klassen zu erhalten, kann zu Verlust an Aussagekraft führen.https://www.fharrell.com/post/classification/
Wahrheitsmatrix: Richtige und falsche Klassifikationen
mini|Ein Test soll kranke und gesunde Menschen voneinander unterscheiden. Jeder Mensch wird durch einen Punkt dargestellt, der links (krank) bzw. rechts (gesund) der schwarzen Linie liegt. Alle hier durch Punkte repräsentierte Menschen wurden getestet.Die Punkte im Oval sind die von dem Test als krank klassifizierten Menschen. Richtig bewertete Fälle sind grün oder gelb, falsch bewertete rot oder grau unterlegt.
Um einen Klassifikator zu bewerten, muss man ihn in einer Reihe von Fällen anwenden, bei denen man zumindest im Nachhinein Kenntnis über die „wahre“ Klasse der jeweiligen Objekte hat. Ein Beispiel für so einen Fall ist ein medizinischer Labortest, mit dem festgestellt werden soll, ob eine Person eine bestimmte Krankheit hat. Später wird durch aufwändigere Untersuchungen festgestellt, ob die Person tatsächlich an dieser Krankheit leidet. Der Test stellt einen Klassifikator dar, der die Personen in die Kategorien „krank“ und „gesund“ einordnet. Da es sich um eine Ja/Nein-Frage handelt, sagt man auch, der Test fällt positiv (Einordnung „krank“) oder negativ (Einordnung „gesund“) aus. Um zu beurteilen, wie gut geeignet der Labortest für die Diagnose der Krankheit ist, wird nun bei jedem Patienten dessen tatsächlicher Gesundheitszustand mit dem Ergebnis des Tests verglichen. Dabei können vier mögliche Fälle auftreten: Richtig positiv: Der Patient ist krank, und der Test hat dies richtig angezeigt. Falsch negativ: Der Patient ist krank, aber der Test hat ihn fälschlicherweise als gesund eingestuft. Falsch positiv: Der Patient ist gesund, aber der Test hat ihn fälschlicherweise als krank eingestuft. Richtig negativ: Der Patient ist gesund, und der Test hat dies richtig angezeigt.
Im ersten und letzten Fall war die Diagnose also richtig, in den anderen beiden Fällen liegt ein Fehler vor. Die vier Fälle werden in verschiedenen Kontexten auch anders benannt. So sind auch die englischen Begriffe true positive, false positive, false negative und true negative gebräuchlich. Im Rahmen der Signalentdeckungstheorie werden richtig positive Fälle auch als hit, falsch negative Fälle als miss und richtig negative Fälle als correct rejection bezeichnet.
Es wird nun gezählt, wie häufig jede der vier möglichen Kombinationen von Testergebnis (ermittelte Klasse) und Gesundheitszustand (tatsächliche Klasse) vorgekommen ist. Diese Häufigkeiten werden in eine sogenannte Wahrheitsmatrix (auch Konfusionsmatrix genannt) eingetragen:
+ Wahrheitsmatrix (Konfusionsmatrix) Person ist krank() Person ist gesund() Test positiv() richtig positiv () falsch positiv () ∑: 100 % der positiven Tests Test negativ() falsch negativ () richtig negativ () ∑: 100 % der negativen Tests ∑: 100 % der kranken Personen ∑: 100 % der gesunden Personen
Anmerkungen: steht für „falsch“, steht für „richtig“; der Index steht für „positiv“, der Index steht für „negativ“. Also: steht für „richtig positiv“ (genauer: für die Anzahl an richtigerweise als positiv Eingestuften) usw.
Diese Matrix ist ein einfacher Spezialfall einer Kontingenztafel mit zwei binären nominalen Variablen – dem Urteil des Klassifikators und der tatsächlichen Klasse. Sie kann auch für Klassifikationen mit mehr als zwei Klassen eingesetzt werden, dann wird bei Klassen aus einer -Matrix eine -Matrix.
Statistische Gütekriterien der Klassifikation Durch Berechnung verschiedener relativer Häufigkeiten können aus den Werten der Wahrheitsmatrix nun Kenngrößen zur Beurteilung des Klassifikators berechnet werden. Diese können auch als Schätzungen der bedingten Wahrscheinlichkeit für das Eintreten des entsprechenden Ereignisses interpretiert werden. Die Maße unterscheiden sich hinsichtlich der Grundgesamtheit, auf die sich die relativen Häufigkeiten beziehen: So können etwa nur all die Fälle in Betracht gezogen werden, in denen die positive bzw. negative Kategorie tatsächlich vorliegt, oder man betrachtet die Menge aller Objekte, die als positiv bzw. negativ klassifiziert werden (Summe über die Einträge einer Zeile der Wahrheitsmatrix). Diese Wahl hat gravierende Auswirkungen auf die berechneten Werte, insbesondere dann, wenn eine der beiden Klassen insgesamt viel häufiger vorkommt als die andere.
Sensitivität und Falsch-negativ-Rate Sensitivität mini|Der Bereich mit Kreisen anstelle von Punkten repräsentiert die Sensitivität eines Tests. Links vom schwarzen Strich sind die kranken, rechts die gesunden Menschen abgebildet. Die Punkte im Oval repräsentieren die vom Test als krank eingestuften Personen.
Die Sensitivität (auch Richtig-positiv-Rate, Empfindlichkeit oder Trefferquote; englisch sensitivity, true positive rate, recall rate oder hit rate) gibt die Wahrscheinlichkeit an, mit der ein positives Objekt korrekt als positiv klassifiziert wird. Beispielsweise entspricht die Sensitivität bei einer medizinischen Diagnose dem Anteil an tatsächlich Kranken, bei denen die Krankheit auch erkannt wurde. Die Sensitivität eines Tests gibt an, mit welcher Wahrscheinlichkeit ein Infizierter auch tatsächlich erkannt wurde. Beispielsweise bedeutet eine Sensitivität eines Tests auf ein Virus von 98 %, dass (bei ausreichend großer Anzahl an durchgeführten Tests und unabhängig von den Testvorbedingungen) 98 % der Infizierten erkannt und 2 % der Infizierten nicht erkannt würden. 2 % (der Infizierten, welche getestet wurden, und nicht aller Getesteten) wären dann also falsch negativ.
Die Sensitivität entspricht der geschätzten bedingten Wahrscheinlichkeit
.
Im Kontext des statistischen Hypothesentests wird die Sensitivität des Tests als Trennschärfe des Tests bezeichnet, obwohl der Begriff Trennschärfe in diesem Kontext eine allgemeinere Verwendung hat, die im vorliegenden Kontext nicht anwendbar ist.
Falsch-negativ-Rate mini|Der Bereich mit Kreisen anstelle von Punkten repräsentiert die Falsch-negativ-Rate eines Tests. Links vom schwarzen Strich sind die kranken, rechts die gesunden Menschen abgebildet. Die Punkte im Oval repräsentieren die vom Test als krank eingestuften Personen.
Entsprechend gibt die Falsch-negativ-Rate (englisch false negative rate oder miss rate) den Anteil der fälschlich als negativ klassifizierten Objekte an der Gesamtheit der positiven Objekte an. Also im Beispiel die tatsächlich Kranken, die aber als gesund diagnostiziert werden.
Die Falsch-negativ-Rate entspricht der geschätzten bedingten Wahrscheinlichkeit
.
Zusammenhang Da sich beide Maße auf den Fall beziehen, dass in Wirklichkeit die positive Kategorie vorliegt (erste Spalte der Wahrheitsmatrix), addieren sich die Sensitivität und die Falsch-negativ-Rate zu 1 bzw. 100 %.
Spezifität und Falsch-positiv-Rate Spezifität mini|Der Bereich mit Kreisen anstelle von Punkten repräsentiert die Spezifität eines Tests. Links vom schwarzen Strich sind die kranken, rechts die gesunden Menschen abgebildet. Die Punkte im Oval repräsentieren die vom Test als krank eingestuften Personen.
Die Spezifität (auch Richtig-negativ-Rate oder kennzeichnende Eigenschaft; englisch: specificity, true negative rate oder correct rejection rate) gibt die Wahrscheinlichkeit an, mit der ein negatives Objekt korrekt als negativ klassifiziert wird. Beispielsweise entspricht die Spezifität bei einer medizinischen Diagnose dem Anteil an Gesunden, bei denen auch festgestellt wurde, dass keine Krankheit vorliegt. Die Spezifität eines Tests gibt an, mit welcher Wahrscheinlichkeit ein Nicht-Infizierter auch tatsächlich erkannt würde. Beispielsweise bedeutet eine Spezifität eines Tests auf ein Virus von 98 %, dass (bei ausreichend großer Anzahl an durchgeführten Tests und unabhängig von den Testvorbedingungen) 98 % der Nicht-Infizierten tatsächlich erkannt und 2 % der Nicht-Infizierten fälschlich als infiziert ausgewiesen würden. 2 % (der getesteten Nicht-Infizierten, nicht der Getesteten insgesamt) wären dann also falsch positiv.
Die Spezifität entspricht der geschätzten bedingten Wahrscheinlichkeit
.
Falsch-positiv-Rate mini|Der Bereich mit Kreisen anstelle von Punkten repräsentiert die Falsch-positiv-Rate eines Tests. Links vom schwarzen Strich sind die kranken, rechts die gesunden Menschen abgebildet. Die Punkte im Oval repräsentieren die vom Test als krank eingestuften Personen.
Entsprechend gibt die Falsch-positiv-Rate (auch Ausfallrate; englisch fallout oder false positive rate) den Anteil der fälschlich als positiv klassifizierten Objekte an, die in Wirklichkeit negativ sind. Im Beispiel würde dann ein tatsächlich Gesunder zu Unrecht als krank diagnostiziert. Es wird also die Wahrscheinlichkeit für einen Fehlalarm angegeben.
Die Falsch-positiv-Rate entspricht der geschätzten bedingten Wahrscheinlichkeit
.
Zusammenhang Da sich beide Maße auf den Fall beziehen, dass in Wirklichkeit die negative Kategorie vorliegt (zweite Spalte der Wahrheitsmatrix), addieren sich die Spezifität und die Falsch-positiv-Rate zu 1 bzw. 100 %.
Positiver und negativer Vorhersagewert Während Sensitivität und Spezifität eines medizinischen Tests epidemiologisch und gesundheitspolitisch relevante Kenngrößen sind (beispielsweise bei der Frage, ob ein Einsatz im Screening zur Früherkennung von Krankheiten sinnvoll ist), ist im konkreten Fall für Patient und Arzt der Vorhersagewert entscheidend. Nur er beantwortet einem positiv/negativ Getesteten die Frage, mit welcher Wahrscheinlichkeit er denn nun wirklich krank/gesund ist.
Positiver Vorhersagewert mini|Positiver Vorhersagewert
Der positive Vorhersagewert (auch Relevanz, Wirksamkeit, Genauigkeit, positiver prädiktiver Wert; englisch: precision oder positive predictive value; Abkürzung: PPV) gibt den Anteil der korrekt als positiv klassifizierten Ergebnisse an der Gesamtheit der als positiv klassifizierten Ergebnisse an (erste Zeile der Wahrheitsmatrix). Beispielsweise gibt der positive Vorhersagewert eines medizinischen Tests an, welcher Anteil der Personen mit positivem Testergebnis auch tatsächlich krank ist.
Der positive Vorhersagewert entspricht der geschätzten bedingten Wahrscheinlichkeit
.