KI-Berater auswählen: die Fragen, die den Unterschied machen

Wer einen KI-Berater auswählen muss, steht vor einem Markt, in dem sich die Angebote auf dem Papier kaum unterscheiden. Alle nennen dieselben Technologien, alle zeigen Referenzen, alle bieten einen Piloten an. Die Unterschiede werden erst sichtbar, wenn man Fragen stellt, die auf den Zustand nach der Abnahme zielen. Dieser Artikel enthält fünf solcher Fragen, die Antworten, die tragen, und die Antworten, die ein Warnsignal sind.

Warum die üblichen Kriterien wenig trennen

Die gängigen Auswahlkriterien sind Referenzen, Zertifizierungen und Teamgröße. Alle drei haben denselben Mangel: Sie beschreiben, was ein Anbieter vorweisen kann, nicht, wie er arbeitet.

Referenzen sind schwer zu prüfen. Ein genanntes Projekt sagt nichts darüber, welchen Anteil der Anbieter daran hatte, ob das Ergebnis heute noch läuft und wie hoch der Betriebsaufwand ist. Zertifizierungen eines Cloud-Anbieters belegen Produktkenntnis, nicht Urteilsvermögen darüber, wann dieses Produkt die falsche Wahl ist. Teamgröße sagt etwas über Kapazität und nichts über die Seniorität der Personen, die tatsächlich im Projekt sitzen.

Der praktische Ersatz ist, nicht nach der Vergangenheit zu fragen, sondern nach dem Zustand, den das Projekt hinterlässt. Die folgenden fünf Fragen zielen alle auf diesen Zustand.

Frage 1: Wer betreibt das Ergebnis nach der Abnahme

Die meisten KI-Projekte scheitern nicht im Projekt, sondern danach. Der Pilot funktioniert, die Abnahme wird erteilt, das Projektteam zieht ab, und einige Monate später nutzt das Ergebnis niemand mehr. Der Grund ist fast immer, dass niemand für den laufenden Betrieb ausgestattet war.

Ein Modell im Betrieb erzeugt Arbeit, die im Pilot nicht anfällt: Überwachung der Eingabedaten, Nachtraining bei Veränderung der Datenlage, Behandlung von Fällen, die das Modell nicht entscheiden kann, und Dokumentation für Prüfungen. Diese Arbeit ist dauerhaft und liegt nach der Abnahme im Unternehmen.

Was eine belastbare Antwort enthält:

• Eine Aussage zum Betriebsaufwand in Personentagen pro Monat, getrennt nach Überwachung, Nachtraining und Fallbearbeitung.
• Eine Übergabe, die vor der Abnahme beginnt. Wenn das interne Team erst nach der letzten Iteration einsteigt, ist die Übergabe eine Schulung, keine Übernahme.
• Eine Aussage dazu, was passiert, wenn die Datenlage sich ändert. Modelle altern, weil die Wirklichkeit sich ändert. Wer dazu nichts sagt, hat die zweite Hälfte der Lebensdauer nicht bedacht.

Wir haben die technische Seite dieses Übergangs im Artikel KI im Unternehmen in Produktion bringen beschrieben. Für die Auswahl reicht die Beobachtung, dass ein Anbieter, der zum Betrieb nichts Konkretes sagt, das Projekt bis zur Abnahme gedacht hat und nicht weiter.

Frage 2: Wie kommt das Modell an die Daten

Das ist die Frage, die am schnellsten trennt, und sie wird in Angeboten am häufigsten übergangen.

In fast jedem Unternehmen liegen die Daten, die ein KI-Vorhaben braucht, in Systemen, die nicht dafür gebaut wurden, sie herauszugeben. Ein ERP hält Stamm- und Bewegungsdaten in einer Struktur, die für Transaktionen optimiert ist. Ein Dokumentenarchiv gibt Dateien heraus, aber keine strukturierten Merkmale. Ein Fachsystem hat eine Schnittstelle, die für nächtliche Batchläufe ausgelegt ist und nicht für Abfragen im Sekundentakt.

Der Aufwand, diese Daten verfügbar zu machen, ist in der Mehrzahl der Projekte größer als der Aufwand für das Modell selbst. Ein Anbieter, der das nicht kalkuliert hat, wird es entweder später nachfordern oder den Piloten auf einem Datenexport aufbauen, der sich im Betrieb nicht wiederholen lässt.

Konkret lohnt es, nach dem ERP-Zugang zu fragen. In DACH-Landschaften ist das überwiegend SAP, und der Weg dorthin ist selten trivial: gewachsene RFC-Aufrufe, IDoc-Strecken, direkte Tabellenzugriffe, daneben neuere OData-Dienste. Welcher dieser Wege für das Vorhaben tragfähig ist, welche Last er verträgt und wer ihn pflegt, ist eine Frage, die vor dem Piloten beantwortet sein sollte. Wir behandeln die Entwicklung von SAP-Schnittstellen aus diesem Grund als eigenen Arbeitsstrang und nicht als Vorarbeit, die sich im Projektverlauf klärt.

Eine gute Antwort benennt den konkreten Zugriffsweg, seine Grenzen und den Aufwand. Eine schwache Antwort lautet, dass man die Daten im Rahmen des Piloten gemeinsam erschließen wird.

Frage 3: Was passiert, wenn das Modell falsch liegt

Jedes Modell liegt in einem Teil der Fälle falsch. Das ist keine Qualitätsfrage, sondern eine Eigenschaft der Methode. Die relevante Frage ist, was ein Fehler im Prozess auslöst.

Drei Punkte gehören in die Antwort:

• Die Fehlerarten sind unterschieden. Ein Modell, das einen Vorgang fälschlich als unkritisch einstuft, richtet anderen Schaden an als eines, das einen unkritischen Vorgang zur Prüfung schickt. Wer beide Richtungen mit einer Genauigkeitszahl zusammenfasst, verdeckt genau die Information, die für die Prozessgestaltung nötig ist.
• Es gibt einen definierten Weg für unsichere Fälle. Ein Modell sollte sagen können, dass es sich nicht festlegt. Der Anteil dieser Fälle und ihr Weg zur menschlichen Bearbeitung gehören in die Prozessplanung, nicht in eine spätere Ausbaustufe.
• Fehler sind nachvollziehbar. Bei einer Reklamation muss rekonstruierbar sein, auf welcher Datenlage und mit welcher Modellversion eine Entscheidung entstanden ist. Ohne diese Nachvollziehbarkeit ist ein Modell in regulierten Abläufen nicht einsetzbar.

Frage 4: Welcher Teil des Angebots ist Lizenz, welcher Arbeit

KI-Angebote mischen drei Kostenarten, die sich über die Zeit sehr unterschiedlich entwickeln: einmalige Projektarbeit, laufende Lizenzen und verbrauchsabhängige Kosten für Modellaufrufe oder Rechenleistung.

Ein Angebot, das diese drei nicht getrennt ausweist, ist im ersten Jahr vergleichbar und im dritten nicht mehr. Verbrauchsabhängige Kosten steigen mit der Nutzung, und eine erfolgreiche Anwendung wird mehr genutzt als eine erfolglose. Es kommt vor, dass ein Vorhaben genau deshalb eingestellt wird, weil sein Betrieb bei voller Nutzung teurer ist als der Nutzen.

Sinnvoll ist, sich eine Hochrechnung für den Vollausbau geben zu lassen: Kosten bei der zehnfachen Menge des Piloten, aufgeschlüsselt nach den drei Arten. Diese Rechnung ist unbequem und beantwortbar. Wenn sie nicht beantwortet wird, ist das die Antwort.

Frage 5: Woran wird Erfolg gemessen, und wer misst

Der häufigste Fehler in der Erfolgsmessung ist, dass der Anbieter die Kennzahl vorschlägt, selbst erhebt und im Abschlussbericht ausweist. Das ist keine Messung, sondern eine Darstellung.

Tragfähig ist eine Kennzahl, die drei Bedingungen erfüllt: Sie ist vor Projektbeginn festgelegt, sie wird intern erhoben, und sie misst eine Größe aus dem Geschäft statt aus dem Modell. Die Genauigkeit eines Modells ist eine Modellgröße. Die Bearbeitungszeit eines Vorgangs, der Anteil der Fälle, der ohne manuellen Eingriff durchläuft, oder die Zahl der Nacharbeiten sind Geschäftsgrößen.

Dazu gehört ein Ausgangswert. Ohne Messung des Zustands vor dem Projekt ist jede Verbesserung eine Behauptung. Diese Messung kostet wenig und wird trotzdem in der Mehrzahl der Fälle übersprungen, weil sie den Start verzögert.

Was ein tragfähiges Angebot enthält

Neben den Antworten auf die fünf Fragen lässt sich ein Angebot an seiner Struktur beurteilen. Drei Bestandteile trennen ein durchdachtes Angebot von einer Absichtserklärung.

Der erste ist ein benannter Abbruchpunkt. Ein Vorhaben, das nach der ersten Phase nicht trägt, sollte beendet werden können, ohne dass die bis dahin geleistete Arbeit wertlos wird. Dafür braucht es eine definierte Zwischenstufe mit einem Ergebnis, das für sich steht: eine belastbare Aussage über die Datenlage, ein bewertetes Verfahren, eine Aufwandsschätzung für den Vollausbau. Ein Angebot, das nur den vollständigen Weg kennt, verlagert das gesamte Risiko auf den Auftraggeber.

Der zweite ist die namentliche Besetzung. Angebote werden häufig von Senioren präsentiert und von Junioren umgesetzt. Die Frage, welche Personen mit welchem Anteil im Projekt arbeiten und ob sie während der Laufzeit wechseln können, gehört in den Vertrag, nicht in das Vorgespräch. Bei Vorhaben, deren Wert an der Beurteilung der Datenlage hängt, ist die Seniorität der ersten Wochen entscheidend für alles Weitere.

Der dritte ist die Regelung zu Ergebnissen und Rechten. Wem gehört das trainierte Modell, wem die aufbereiteten Trainingsdaten, und was passiert mit beidem bei Vertragsende. Diese Frage wird selten gestellt und ist bei einem Wechsel des Anbieters die teuerste. Wenn die Aufbereitung der Daten den Hauptaufwand darstellt und ihr Ergebnis beim Anbieter verbleibt, ist ein Wechsel praktisch ausgeschlossen.

Wie sich die Antworten prüfen lassen

Die fünf Fragen sind wenig wert, wenn ihre Antworten nicht überprüfbar sind. Zwei Verfahren haben sich bewährt.

Das erste ist ein bezahlter Vorlauf über wenige Wochen, dessen Ergebnis ausschließlich eine Bestandsaufnahme ist: welche Daten liegen vor, in welcher Qualität, über welchen Zugriffsweg erreichbar, mit welchem Aufwand nutzbar. Dieser Vorlauf ist billig im Verhältnis zum Projekt, er liefert ein Ergebnis, das auch bei einem Anbieterwechsel nutzbar bleibt, und er zeigt in der Zusammenarbeit mehr über die Arbeitsweise als jede Referenz.

Das zweite ist ein Gespräch mit einem Referenzkunden ohne Beteiligung des Anbieters, mit einer einzigen Frage: Was läuft heute noch, und wer betreibt es. Die Antwort auf diese Frage trennt Projekte, die abgeschlossen wurden, von Projekten, die im Einsatz sind. Der Unterschied ist erheblich und aus einer Referenzliste nicht ablesbar.

Antworten, die ein Warnsignal sind

Drei Muster treten wiederholt auf und sagen mehr als jede Referenzliste.

Wenn ein Anbieter mit einer Technologie in das erste Gespräch geht statt mit einer Frage, hat er die Antwort vor dem Problem. Die Wahl zwischen einem klassischen Verfahren, einem Sprachmodell und einem regelbasierten Ansatz ist eine Folge der Aufgabenstellung, und diese Aufgabenstellung kennt im ersten Gespräch noch niemand vollständig.

Wenn ein Pilot kostenlos angeboten wird, ist er in der Regel so geschnitten, dass er gelingt. Ein Pilot, der auf einem bereinigten Datenauszug läuft und dessen Ergebnis nicht in einen Prozess eingebunden ist, beweist, dass die Methode existiert. Das war nicht die offene Frage.

Und wenn im Angebot kein Fall genannt ist, in dem der Anbieter von einem Vorhaben abgeraten hat, fehlt eine Information über sein Urteilsvermögen. Ein nennenswerter Teil der Anfragen, die uns erreichen, lässt sich mit einer Regel, einer Auswertung oder einer Prozessänderung besser lösen als mit einem Modell. Wer das nie feststellt, prüft es nicht.

In eigener Sache

Wir sind selbst Anbieter in diesem Markt, und die Fragen oben richten sich auch an uns. Unsere Antworten stehen in der Beschreibung unserer KI-Beratung für den Mittelstand und in unserem Vorgehen zur KI und Machine Learning im Unternehmen.

Wer vor der Auswahl steht, findet den vorgelagerten Schritt, also die Frage, welches Vorhaben überhaupt zuerst angegangen werden sollte, in unserem Artikel zur KI-Strategie im Mittelstand.