Ekstrakcja danych certyfikatu testu walcowni za pomocą AI: Metody i kompromisy

Szybka odpowiedź

Certyfikat testu walcowni zawiera pełną tożsamość materiału grzania stali, rury lub blachy: numer grzania, skład chemiczny, wyniki testów mechanicznych, standard, według którego materiał był testowany, i oświadczenie certyfikacyjne walcowni. Wprowadzenie tych danych do systemu ERP lub systemu jakości bez ręcznego ponownego wprowadzania to główny problem, który rozwiązuje ekstrakcja MTC za pomocą AI.

Ten przewodnik omawia trzy główne metody ekstrakcji, gdzie każda działa dobrze, i co faktycznie wymaga parser MTC na poziomie produkcji.

---

Metoda 1: Dopasowanie szablonów oparte na regułach

Parsery oparte na regułach używają wstępnie zdefiniowanych map współrzędnych lub wzorców regex powiązanych z określonymi układami walcowni. Jeśli wiesz, że Walcownia X zawsze umieszcza procent węgla przy współrzędnych (412, 318) na pierwszej stronie, możesz go wyekstrahować deterministycznie.

Gdy działa dobrze:

• Relacje z jednym dostawcą ze stabilnymi formatami dokumentów
• Wysokotonażowe przepływy certyfikatów o identycznym formacie
• Środowiska, w których wymagana jest 100% deterministyczna ekstrakcja i zmiany układu są rzadkie

Ograniczenia:

• Każda nowa walcownia lub nowa wersja szablonu wymaga nowego zestawu reguł
• Każda zmiana układu powoduje cichą niepowodzenie ekstrakcji (brak sygnału zaufania)
• Obciążenie utrzymania skaluje się liniowo z liczbą dostawców
• Całkowicie zawodzi w przypadku dokumentów skanowanych

Dla organizacji otrzymujących MTC z dziesięciu lub mniej walcowni ze stabilnymi formatami, ekstrakcja oparta na regułach jest rozsądnym wyborem niskich kosztów. Dla organizacji z dziesiątkami dostawców obciążenie utrzymania staje się zakazane.

---

Metoda 2: OCR plus przetwarzanie późne

Tradycyjny OCR konwertuje obrazy dokumentów na tekst, a następnie skrypty przetwarzania późnego stosują rozpoznawanie jednostek nazwanych w celu znalezienia wartości pól. To podejście jest bardziej elastyczne niż analiza oparta na regułach, ponieważ obsługuje zmieniające się układy za pośrednictwem NLP zamiast wyszukiwania współrzędnych.

Rurociąg zwykle wygląda następująco:

1. Renderuj PDF na obraz
2. OCR (Tesseract, AWS Textract, Azure Form Recognizer)
3. Normalizacja tekstu
4. Rozpoznawanie jednostek nazwanych w celu zidentyfikowania etykiet pól
5. Logika kojarzenia wartości w celu powiązania etykiet z wartościami
6. Mapowanie schematu

Charakterystyka dokładności:

• Pola tekstu wolnego (nazwa walcowni, odniesienie standardowe): 90–95%
• Proste pary klucz-wartość: 88–94%
• Tabele składu chemicznego: 75–88% (OCR często traci strukturę tabeli)
• Tabele wielokolumnowych właściwości mechanicznych: 70–85%

Podstawową słabością jest to, że OCR działa na znakach i traci kontekst przestrzenny. Tabela składu chemicznego z ośmioma elementami w wierszu wymaga od procesora późnego odbudowy skojarzeń kolumn z surowego tekstu — jest to delikatna operacja, która znacznie pogarsza się przy niestandardowych układach.

---

Metoda 3: Ekstrakcja oparta na widzeniu LLM

Duże modele językowe z możliwościami widzenia (modele widzenia-języka lub VLM) przetwarzają renderowaną stronę jako obraz lub hybrydową reprezentację obraz+tekst. W przeciwieństwie do rurociągów OCR, model wizualnie rozumie strukturę tabeli — widzi, że kolumna liczb spada pod nagłówkiem „C%" i wnioskuje o relacji bez wymagania, aby warstwa OCR ją zachowała.

Jak ekstrakcja działa w praktyce:

1. Strona PDF jest renderowana na obraz w wysokiej rozdzielczości
2. VLM otrzymuje obraz ze strukturyzowaną wiadomością określającą schemat docelowy (heat_number, elementy chemiczne, właściwości mechaniczne, obowiązujący standard itp.)
3. Model zwraca obiekt JSON z wyekstrahowanymi wartościami i wynikami zaufania na pole
4. Pola o niskim zaufaniu są flagowane do przeglądu człowieka
5. Potwierdzone wartości są zapisywane w bazie danych wraz z odwołaniem dokumentu źródłowego

Charakterystyka dokładności (natywny PDF):

• Pola tabeli składu chemicznego: 93–97%
• Pola właściwości mechanicznych: 94–98%
• Numer grzania/partii: 96–99%
• Odniesienia standardowe i serii: 95–98%

Charakterystyka dokładności (skanowany MTC, dobra jakość):

• Pola tabeli składu chemicznego: 89–94%
• Pola właściwości mechanicznych: 90–95%

Platformy takie jak TestCert implementują to podejście ze schematem świadomym standardów, dzięki czemu wyekstrahowane wartości składu są natychmiast porównywane z przechowywanymi limitami ASTM lub EN zamiast wymagać oddzielnego kroku sprawdzania.

---

Obsługa trudnych przypadków

Certyfikaty wielogrzejące

Niektóre centra serwisowe stali wydają jeden PDF obejmujący wiele grzań. Ekstraktor musi podzielić dokument na sekcje według grzania przed zastosowaniem schematu ekstrakcji. Wymaga to wstępnego kroku segmentacji, który identyfikuje granice grzania — zazwyczaj na podstawie liczby grzań lub separatorów wierszy tabeli.

Dodatkowe dane testowe

MTC dla materiałów zbiorników ciśnieniowych często zawierają badania dodatkowe (Charpy impact, rekordy PWHT, wyniki badań korozji) na dodatkowych stronach. Niezawodny ekstraktor mapuje je na rozszerzalny schemat danych dodatkowych zamiast je odrzucać.

Certyfikaty wielojęzyczne

Certyfikaty EN 10204 z europejskich walcowni często trafiają w języku niemieckim, francuskim lub włoskim. Ekstraktory oparte na LLM obsługują je bez oddzielnych modeli języków — model podstawowy rozumie semantykę pola między językami — chociaż dokładność w rzadszych językach nieznacznie się pogarsza.

Adnotacje pisane ręcznie

Każda wartość napisana ręcznie na drukowanym MTC (powszechna dla pieczątek inspektora lub poprawek terenowych) powinna być kierowana do przeglądu człowieka. Bieżące modele niezawodnie obsługują tekst wpisany i drukowany maszynowo; pismo ręczne to znany punkt degradacji.

---

Co wymaga parser MTC na poziomie produkcji

Poza możliwością ekstrakcji surowej, wdrożenie w produkcji wymaga:

• Ocena zaufania na pole — nie jeden wynik na poziomie dokumentu
• Kierowanie odrzuceń — dokumenty poniżej progu jakości wstrzymane do pełnego ręcznego wprowadzenia, a nie ekstrakcji częściowej
• Ścieżka audytu — kto wyekstrahował, kiedy, co zostało oznaczone, co zostało poprawione
• Niezmienna pamięć masowa dokumentu źródłowego — oryginalny PDF przechowywany wraz z ustrukturyzowanym rekordem
• Integracja sprawdzania standardów — wyekstrahowane wartości sprawdzane pod kątem granic w momencie ekstrakcji, a nie niżej
• Wyjście Webhook lub API — wyekstrahowane rekordy wysłane do ERP/MES bez ręcznych kroków eksportu

---

Częste pytania

---

Powiązane przewodniki

• Ekstrakcja certyfikatu testu za pomocą AI: Jak to działa
• OCR vs ekstrakcja za pomocą AI dla dokumentów technicznych