Genauigkeits-Benchmarks
Was wir messen, wie wir es messen und was die Ergebnisse zeigen, auch dort, wo DocSolved schwächer ist. Diese Seite fasst die Messungen zusammen, statt die Rohzahlen erneut zu veröffentlichen.
DocSolved-OCR
Die OCR-Schicht von DocSolved liest Geschäftsdokumente: gedruckte Rechnungen, Belege, gescannte Unterlagen und Kamerafotos von Papier. Kamerafotos sind der schwierige Fall: blasser Text auf glänzenden Seiten, perspektivische Verzerrung und diakritische Zeichen lokaler Schriften.
- Sauber gedruckte Seiten: In unseren Tests wurde jedes Wort auf einer gedruckten Rechnung, einem gedruckten Beleg und einer dicht beschriebenen Textseite gelesen.
- Kamerafotos: Die aktuelle OCR-Konfiguration liest deutlich mehr Wörter als unsere vorherige, polnische diakritische Zeichen eingeschlossen.
- Kamerafotos bleiben der schwächste Fall: Auf dem Foto, mit dem wir testen, hat die OCR-Schicht keine der Zahlen gelesen, etwa Beträge und Datumsangaben. Ein Wert aus einem Foto kann dann ohne zugeordnete Fundstelle bleiben; prüfen Sie ihn deshalb am Dokument.
- Das Begradigen einer fotografierten Seite vor der Erkennung (Vorverarbeitung von Kameradokumenten) hat Fotos in unseren Tests weiter verbessert, bereits flache Seiten aber verschlechtert; deshalb wird es nie auf PDF-Seiten angewendet.
Felder aus strukturierten E-Rechnungen durchlaufen gar kein OCR; sie stammen aus den Quelldaten.
KI-Algorithmen von DocSolved
Über OCR hinaus wendet DocSolved Algorithmen der Dokumentenanalyse an, die Rohtext in strukturierte, nachprüfbare Felder verwandeln.
- Trennen mehrerer Rechnungen. Enthält ein einzelnes PDF mehrere Rechnungen hintereinander, erkennt DocSolved die Seitengrenzen anhand der eingebetteten Textebene, noch vor jedem OCR- oder Modellaufruf, und bietet sie zur Überprüfung an, statt sie stillschweigend anzuwenden. Auf einem synthetischen Testdatensatz mit bekannten Grenzen fand es in sauberem Text jede Grenze und lag bei einigen falsch, sobald OCR-typisches Rauschen hinzukam; deshalb schlägt es vor, statt selbst zu trennen.
- Feldextraktion. Werte werden mit dem Umfang zurückgegeben, den der Abgleich herstellen konnte: Ein extrahiertes Feld kann einen Konfidenzwert, den zugeordneten Quelltext, einen Zuordnungsstatus und eine Position auf der Seite tragen, wenn der Wert verankert ist.
- Erst vorschlagen, dann bestätigen. Seitengrenzen und Folgeaufgaben werden als Vorschläge angeboten und wirken erst, wenn ein Mensch sie bestätigt.
DocSolved im Vergleich
Die Messungen auf dieser Seite vergleichen DocSolved mit seinen eigenen früheren Konfigurationen. Einen direkten Vergleich mit anderen OCR- oder Dokumentverarbeitungsprodukten haben wir nicht veröffentlicht.
Am zuverlässigsten vergleichen Sie mit Ihren eigenen Dokumenten: Die Live-Demos brauchen kein Konto, und Sie können kostenlos und ohne Karte starten. Wenn Sie Hilfe bei einem direkten Vergleichstest möchten, schreiben Sie an [email protected].
Methodologische Hinweise
OCR wird danach bewertet, wie viele Wörter eines bekannten Textes es liest (Recall) und wie viele der ausgegebenen Wörter stimmen (Präzision): gegen eine menschliche Transkription bei einem Kamerafoto eines echten polnischen Dokuments und gegen den Quelltext bei gedruckten Beispielseiten auf Englisch. Die Trennungserkennung wird auf einem synthetischen Satz von PDFs mit mehreren Rechnungen und bekannten Grenzen bewertet.
Die Stichproben sind klein, ein Dokument pro OCR-Fall; verstehen Sie die Ergebnisse daher als Anhaltspunkt und nicht als Zusage für Ihre Dokumente. Kein Dritter hat sie geprüft. Sie stammen aus internen, versionierten Auswertungsdaten; diese Seite fasst sie zusammen, statt die Rohzahlen erneut zu veröffentlichen.
Noch nicht gemessen: die Extraktionsgenauigkeit auf Feldebene (ob der richtige Wert im richtigen Feld landet), die Verarbeitungszeit von Anfang bis Ende und die OCR-Genauigkeit für andere Sprachen als Polnisch und Englisch.
Fragen zur Methodik oder zu den Ergebnissen: [email protected]