Prädiktive Analyse: welche Methode zu welcher Frage passt

Eine prädiktive Analyse wird meist über ihr Geschäftsthema beschrieben: Abwanderung, Bedarf, Instandhaltung, Betrug, Kreditrisiko. Diese Bezeichnung sagt, worum es dem Unternehmen geht. Sie sagt nicht, was vorhergesagt wird, und zwei Projekte unter derselben Überschrift brauchen häufig unterschiedliche Verfahren, unterschiedliche Daten und eine unterschiedliche Bewertung. Dieser Artikel geht den umgekehrten Weg: von der Form der Frage zur passenden Methode, und zu der Bedingung, die darüber entscheidet, ob ein Modell jemals in einem operativen System ankommt.

Fünf Fragetypen

Hinter den Geschäftsthemen stehen wenige Fragetypen. Wer den Typ zuerst benennt, verkürzt die Methodendiskussion erheblich.

Die meisten fehlgeleiteten Projekte lassen sich auf eine Verwechslung in dieser Tabelle zurückführen. Am häufigsten wird eine Wann-Frage mit einem Ob-Verfahren beantwortet, am zweithäufigsten eine Wirkungsfrage mit einem Wahrscheinlichkeitsmodell.

Der Unterschied zwischen Vorhersage und Entscheidung

Der Standardaufbau bei Kundenabwanderung ist ein Klassifikationsmodell über Stamm- und Verhaltensdaten, trainiert auf den Kündigungen eines vergangenen Zeitraums, mit einer Abwanderungswahrscheinlichkeit je Kunde als Ergebnis. Das funktioniert methodisch meist einwandfrei. Die Bewertung sieht gut aus, das Modell geht in Betrieb und speist eine Bindungskampagne, die auf die höchsten Werte zielt.

Die Kampagne bleibt dann hinter ihrem Geschäftsfall zurück, und der Grund ist strukturell. Unter den Kunden mit der höchsten Wahrscheinlichkeit befindet sich eine große Gruppe, die unabhängig vom Angebot kündigt. Das für sie eingesetzte Budget bewirkt nichts. Gleichzeitig erhalten Kunden einen Rabatt, die ohnehin geblieben wären. In manchen Segmenten löst die Ansprache selbst eine Überlegung aus, die es sonst nicht gegeben hätte.

Die eigentliche Frage lautet nicht, wer kündigt, sondern bei wem der Eingriff das Ergebnis verändert. Das ist eine Uplift-Frage, und sie lässt sich aus einem vorhandenen Abwanderungsmodell nicht nachträglich beantworten. Sie verlangt eine Kontrollgruppe, die vor der ersten Kampagne festgelegt wird, damit behandelte und unbehandelte Fälle vergleichbar sind.

Praktisch heißt das: Der Versuchsaufbau gehört in die Konzeption, nicht in die Auswertung. Wir behandeln ihn in Projekten zur Predictive Analytics als Scoping-Frage, weil die benötigten Daten zum Zeitpunkt der Modellierung sonst nicht mehr entstehen können.

Ereigniszeitanalyse: die unterschätzte Familie

Die Ereigniszeitanalyse stammt aus der klinischen Forschung und ist in industriellen Anwendungen unterrepräsentiert, vor allem weil sie weniger bekannt ist, nicht weil sie schlechter passt.

Die passenden Situationen sind verbreitet. Eine Instandhaltung will wissen, wann ein Bauteil voraussichtlich ausfällt, nicht nur ob es in den nächsten dreißig Tagen ausfällt. Ein Abonnementgeschäft will die erwartete Restlaufzeit je Vertrag. Die Disposition will die Zeit bis zur Unterdeckung eines Artikels. In allen Fällen ist die natürliche Ausgabe eine Verteilung über die Zeit, und alle teilen dieselbe statistische Besonderheit: Zum Analysezeitpunkt ist das Ereignis bei vielen Objekten noch nicht eingetreten. Sie als negative Beispiele zu behandeln, ist falsch, denn sie können morgen ausfallen.

Diese Besonderheit heißt Zensierung, und ihr korrekter Umgang ist der Kern der Methodenfamilie. Ein binäres Modell über ein festes Zeitfenster löst das Problem, indem es die Zeitinformation verwirft und alles außerhalb des Fensters falsch beschriftet. Für eine Planungsfrage ist das ein realer Informationsverlust, denn Planung braucht ein Datum, keine Kennzeichnung.

Auch die Kommunikation gewinnt. Eine Ausfallkurve über die Restlebensdauer eines Bauteils ist für einen Instandhaltungsplaner unmittelbar verwendbar. Ein Wahrscheinlichkeitswert von 0,63 ist es nicht, solange niemand den Schwellenwert begründet hat.

Prognose: Horizont und Unsicherheit gehören zur Antwort

Die Zeitreihenprognose wird am häufigsten angefragt und am ungenauesten spezifiziert. Zwei Angaben fehlen regelmäßig, und beide bestimmen die Methode.

Der Horizont. Eine Prognose für die nächste Periode und eine für zwölf Perioden sind verschiedene Aufgaben. Kurze Horizonte werden vom aktuellen Zustand dominiert, lange von Trend, Saisonalität und externen Einflussgrößen. Ein Modell, das beides bedienen soll, bedient meist eines davon schlecht.

Die Unsicherheit. Eine Punktschätzung wird in der Planung wie ein sicherer Wert behandelt. So verschwindet der Sicherheitsbestand, und so brechen Kapazitätspläne. Prognoseintervalle sind keine spätere Verfeinerung, sondern das, was die Zahl brauchbar macht, weil die Entscheidung dahinter fast immer eine Frage der Abdeckung nach unten ist.

Die klassischen Verfahren sind hier nicht verdrängt worden. Exponentielle Glättung und ARIMA-Modelle bleiben bei vielen betrieblichen Zeitreihen konkurrenzfähig, besonders bei kurzer Historie. Gradient-Boosting auf verzögerten Merkmalen deckt mehrere verwandte Reihen mit externen Einflussgrößen gut ab. Neuronale Verfahren rechtfertigen ihren Aufwand, wenn viele korrelierte Reihen mit gemeinsamer Struktur und ausreichend Historie vorliegen.

Damit zur Vergleichsbasis: Jedes Prognoseprojekt sollte mit der Messung der trivialen Antwort beginnen, also dem Wert der Vorperiode oder dem Vorjahreswert derselben Periode. Ein bemerkenswerter Anteil produktiv gesetzter Modelle schlägt diese Basis nicht, und niemand hat nachgesehen.

Anomalieerkennung und das Etikettenproblem

Anomalieerkennung wird gewählt, wenn keine Beschriftungen vorliegen. Diese Wahl hat Folgen, die man vorab annehmen muss.

Ohne Beschriftungen gibt es keine messbare Genauigkeit. Das Modell markiert Fälle, die vom Normalbild abweichen. Ob das die Fälle sind, die das Unternehmen interessieren, ist eine getrennte, empirische Frage. Eine Transaktion kann statistisch ungewöhnlich und vollkommen legitim sein. Ein Messwert kann ein Ausreißer sein, weil der Sensor verschmutzt ist.

Zwei Dinge machen solche Projekte tragfähig. Erstens eine Rückmeldeschleife: Was die Prüfer über die markierten Fälle entscheiden, wird strukturiert erfasst. Nach einigen Monaten liegt ein beschrifteter Datenbestand vor, und aus dem Problem wird eine Klassifikationsaufgabe mit deutlich besserer Wirtschaftlichkeit. Zweitens eine Abstimmung des Meldeaufkommens auf die Kapazität der Empfänger. Ein Detektor mit vierhundert Meldungen pro Tag für ein Team von drei Personen ist kein Erkennungssystem, sondern eine Quelle ignorierter Benachrichtigungen. Die Schwellenwertdiskussion ist in diesem Fall eine Personaldiskussion.

Die Bewertung folgt dem Fragetyp

Zu jedem Fragetyp gehört eine eigene Bewertungslogik. Wird sie aus einem anderen Kontext übernommen, entsteht eine Kennzahl, die gut aussieht und nichts über den Nutzen aussagt.

Bei Klassifikation ist die Trefferquote irreführend, sobald die Klassen ungleich verteilt sind. Wenn zwei Prozent der Kunden kündigen, erreicht ein Modell, das grundsätzlich "bleibt" vorhersagt, 98 Prozent Genauigkeit. Aussagekräftig sind Kennzahlen, die auf die seltene Klasse abstellen, und darüber hinaus die Frage, in welcher Reihenfolge das Modell sortiert. In der Praxis wird selten die gesamte Kundschaft bearbeitet, sondern die oberen fünf oder zehn Prozent einer Rangliste. Genau dieser Ausschnitt gehört bewertet, nicht der Gesamtdurchschnitt.

Bei Prognosen entscheidet die Wahl des Fehlermaßes über das Verhalten des Modells. Ein absoluter Fehler behandelt eine Abweichung von zehn Stück bei einem Artikel mit Tagesbedarf 20 genauso wie bei einem mit Tagesbedarf 2 000. Ein relatives Maß dreht das um und wird bei kleinen Werten instabil. Entscheidend ist außerdem die Asymmetrie: In der Disposition ist eine Unterschätzung meist teurer als eine Überschätzung, weil sie zu Fehlmengen führt. Ein Modell, das auf ein symmetrisches Maß optimiert wurde, kennt diesen Unterschied nicht.

Bei der Ereigniszeitanalyse zählt, ob die vorhergesagte zeitliche Ordnung stimmt, also ob Objekte mit früherem tatsächlichem Ereignis auch früher eingestuft werden. Eine Trefferquote gibt es hier nicht sinnvoll.

Bei Uplift-Modellen ist die Bewertung nur über die Kontrollgruppe möglich. Ohne sie lässt sich der Effekt nicht messen, weil das Gegenereignis für dieselbe Person nicht beobachtbar ist.

Über alle Typen hinweg gilt eine Regel zur Aufteilung der Daten: Bei zeitbezogenen Fragestellungen wird nach Zeit getrennt, nicht zufällig. Eine zufällige Aufteilung lässt das Modell mit Wissen aus der Zukunft trainieren und erzeugt Werte, die im Betrieb nicht erreicht werden. Dieser Fehler ist verbreitet und schwer zu bemerken, weil das Ergebnis zunächst besonders gut aussieht.

Und die Bewertung sollte am Ende in Geld übersetzt werden. Ein Modell mit schlechteren statistischen Kennzahlen, das die teureren Fehler vermeidet, ist das bessere Modell. Diese Umrechnung setzt voraus, dass die Kosten eines falsch positiven und eines falsch negativen Falls beziffert sind, und diese beiden Zahlen sind eine Aufgabe für den Fachbereich, nicht für die Analyse.

Die Bedingung für den Produktivgang

Über alle fünf Fragetypen hinweg ist der Grund, warum ein funktionierendes Modell nicht in Betrieb geht, meist derselbe, und es ist nicht die Genauigkeit.

Es ist die Verfügbarkeit im Entscheidungsmoment. Ein Modell, das auf einer nächtlich beladenen Tabelle im Data Warehouse trainiert wurde, kann einen Kunden während eines Telefonats nicht bewerten. Ein Merkmal, das von einem Feld abhängt, welches ein Sachbearbeiter zwei Tage nach dem Vorgang ausfüllt, steht zum Vorhersagezeitpunkt nicht zur Verfügung. Ein Modell, das einen Verbund über drei Systeme braucht, von denen eines vier Sekunden antwortet, passt in keinen Bestellprozess.

Die Disziplin, die das verhindert, ist schnell beschrieben und wird oft übersprungen: Vor der Modellierung wird für jedes Kandidatenmerkmal notiert, woher es kommt, wie aktuell es ist und ob es genau in dem Moment existiert, in dem die Entscheidung fällt. Merkmale, die diesen Test nicht bestehen, fliegen aus dem Trainingsdatensatz, auch wenn sie prädiktiv sind. Sonst entsteht ein Pilot mit ausgezeichneten Kennzahlen und ohne Weg in den Betrieb.

Die zweite Bedingung ist der Ort der Ausgabe. Eine Vorhersage in einem Berichtswerkzeug hängt davon ab, dass jemand das Werkzeug öffnet, sich eine Meinung bildet und handelt. Eine Vorhersage, die als Arbeitsauftrag im Instandhaltungssystem, als Aufgabe im CRM oder als Kennzeichen in der Freigabeliste ankommt, wird bearbeitet, weil sie in einem bestehenden Prozess auftaucht. Die Integrationsarbeit dorthin ist kein Nachgang, sondern der Teil, der über die Wirkung entscheidet.

Rückwärts von der Entscheidung

Eine Methodenwahl aus dem Fragetyp, eine Merkmalsliste begrenzt durch die Verfügbarkeit im Entscheidungsmoment, und eine Ausgabe, die in einem operativen System landet: Diese drei Punkte erklären den größten Teil des Unterschieds zwischen prädiktiver Arbeit, die genutzt wird, und prädiktiver Arbeit, die präsentiert wird.

Die Reihenfolge ist entscheidend. Ausgangspunkt ist die Entscheidung, die sich ändern soll, daraus folgt der Fragetyp, daraus die Methode. Wer beim Verfahren oder beim zufällig vorhandenen Datenbestand beginnt, erhält Modelle auf Fragen, die niemand gestellt hat. In unseren Projekten zur Datenanalyse liegt der Schwerpunkt der ersten Wochen deshalb auf dieser Einordnung, weil eine Korrektur dort günstiger ist als nach dem Bau eines Modells.