Benchmarki dokładności

OCR w DocSolved

Warstwa OCR w DocSolved odczytuje dokumenty firmowe: drukowane faktury, paragony, zeskanowane dokumenty i zdjęcia papierowych dokumentów. Zdjęcia z aparatu to trudny przypadek: blady tekst na błyszczących stronach, zniekształcenie perspektywy i znaki diakrytyczne lokalnych alfabetów.

• Czyste wydruki: w naszych testach odczytano każde słowo na drukowanej fakturze, drukowanym paragonie i gęsto zapisanej stronie tekstu.
• Zdjęcia z aparatu: obecna konfiguracja OCR odczytuje wyraźnie więcej słów niż nasza poprzednia, łącznie z polskimi znakami diakrytycznymi.
• Zdjęcia z aparatu pozostają najsłabszym przypadkiem: na zdjęciu, na którym testujemy, warstwa OCR nie odczytała żadnej liczby, np. kwot i dat. Wartość ze zdjęcia może wtedy nie mieć dopasowanego miejsca w źródle, więc sprawdź ją względem dokumentu.
• Prostowanie sfotografowanej strony przed rozpoznawaniem (wstępne przetwarzanie zdjęć dokumentów) w naszych testach dodatkowo poprawiło wyniki na zdjęciach, ale pogorszyło je na już płaskich stronach, dlatego nigdy nie jest stosowane do stron PDF.

Pola ze strukturalnych e-faktur w ogóle nie przechodzą przez OCR; pochodzą z danych źródłowych.

Algorytmy AI w DocSolved

Poza OCR DocSolved stosuje algorytmy analizy dokumentów, które zamieniają surowy tekst w ustrukturyzowane, weryfikowalne pola.

• Dzielenie wielu faktur. Gdy jeden PDF zawiera kilka faktur jedna po drugiej, DocSolved wykrywa granice stron na podstawie osadzonej warstwy tekstowej, jeszcze przed jakimkolwiek wywołaniem OCR lub modelu, i proponuje je użytkownikowi do weryfikacji zamiast stosować je bez potwierdzenia. Na syntetycznym zbiorze testowym ze znanymi granicami wykrył każdą granicę w czystym tekście, a po dodaniu szumu typowego dla OCR pomylił się w kilku przypadkach, dlatego sugeruje podział zamiast go wykonywać.
• Ekstrakcja pól. Wartości są zwracane w zakresie, jaki udało się ustalić dopasowaniu: wyodrębnione pole może nieść ocenę pewności, dopasowany tekst źródłowy, status dopasowania oraz położenie na stronie, gdy wartość da się zakotwiczyć.
• Najpierw sugestia, potem potwierdzenie. Granice podziału i działania do podjęcia są proponowane jako sugestie i obowiązują dopiero wtedy, gdy człowiek je potwierdzi.

DocSolved w porównaniu

Pomiary na tej stronie porównują DocSolved z jego własnymi wcześniejszymi konfiguracjami. Nie opublikowaliśmy bezpośredniego porównania z innymi produktami do OCR ani do przetwarzania dokumentów.

Najbardziej wiarygodne porównanie to test na własnych dokumentach: interaktywne dema nie wymagają konta, a zacząć możesz za darmo i bez karty. Jeśli chcesz pomocy w przygotowaniu testu porównawczego, napisz na [email protected].

Uwagi metodologiczne

OCR oceniamy według tego, ile słów znanego tekstu odczytuje (kompletność) i ile odczytanych słów jest poprawnych (precyzja): względem ręcznej transkrypcji w przypadku zdjęcia prawdziwego polskiego dokumentu oraz względem tekstu źródłowego w przypadku przykładowych drukowanych stron po angielsku. Wykrywanie podziału oceniamy na syntetycznym zbiorze PDF-ów z wieloma fakturami i znanymi granicami.

Próbki są małe, jeden dokument na przypadek OCR, więc traktuj wyniki jako orientacyjne, a nie jako obietnicę dla twoich dokumentów. Nie zweryfikowała ich żadna strona trzecia. Pochodzą z wewnętrznych, wersjonowanych artefaktów ewaluacyjnych; ta strona je podsumowuje zamiast ponownie publikować surowe liczby.

Jeszcze niezmierzone: dokładność ekstrakcji na poziomie pól (czy właściwa wartość trafia do właściwego pola), całkowity czas przetwarzania oraz dokładność OCR dla języków innych niż polski i angielski.

Pytania dotyczące metodologii lub wyników: [email protected]