Canon: Benchmark für individuelle Dokumentklassifikation
Ein individueller Open-Source-Klassifikator, getestet auf Canons Dokumentdatensätzen und verglichen mit Azure AI Document Intelligence.
94,7 %gegenüber 84,2 % auf einem von drei getesteten Datensätzen
Kunde
Canon
Bereich
KI · Dokumentenverarbeitung
Leistungen
Technik
Ausgangslage
Canon wollte die individuelle Dokumentklassifikation auf eigenen Daten untersuchen und mit einem Standarddienst vergleichen. Der Schwerpunkt lag auf der Klassifikation: der Zuordnung eines Dokuments zu einer Kategorie.
Der Ansatz von DNA Solutions
DNA Solutions entwickelte und bewertete ein Open-Source-Klassifikationsmodell mit Textmerkmalen und einer linearen SVM. Training und Inferenz wurden in Python bereitgestellt. Der individuelle Klassifikator ist von OCR-, API- und Hosting-Diensten zu unterscheiden, die ein vollständiges Dokumentverarbeitungssystem nutzen kann.
Ergebnisse auf den drei getesteten Datensätzen
- 94,73 % Genauigkeit für den individuellen Klassifikator gegenüber 84,21 % für Azure AI Document Intelligence auf einem Datensatz.
- 87,5 % gegenüber 85,71 % auf einem zweiten Datensatz.
- 100 % für beide Ansätze auf dem dritten Datensatz.
Was der Benchmark zeigt
Der individuelle Klassifikator erzielte auf zwei der drei getesteten Datensätze ein höheres Ergebnis und auf dem dritten einen Gleichstand. Die hervorgehobenen 94,7 % sind ein gerundetes Ergebnis für einen Datensatz und kein Durchschnitt über alle drei.
Diese Messungen beschreiben die getesteten Dokumente und die verwendete Konfiguration. Sie belegen weder die Genauigkeit auf neuen Dokumentbeständen noch ein garantiertes Produktionsergebnis. Eine Entscheidung für den Einsatz erfordert Tests mit repräsentativen Dokumenten, eine Fehleranalyse, Integrationstests und eine Prüfung des Betriebs.
Klassifikation, Infrastruktur und Compliance
Ein Open-Source-Klassifikationsmodell ermöglicht Kontrolle über diese Komponente. Die gesamte Pipeline wird dadurch nicht unabhängig von OCR-Diensten Dritter oder Cloud-Infrastruktur. Hosting, Datenübertragungen, Aufbewahrung, Zugriffskontrollen und geltende Compliance-Pflichten müssen für den geplanten Einsatz gesondert geprüft werden.