Eval: lohnt sich das Team?
Vier Aufstellungen auf denselben 165 Belegen: Kontierer allein, mit Prüfer, mit Recherche, mit Beispielen aus der Historie. Die wichtigste Zahl ist „falsch trotz automatisch“: Buchungen, die ohne Mensch durchgegangen wären und falsch sind.
Falsch trotz automatisch · + Prüfer + Recherche + Beispiele · gemessen am 2026-10-12
0 %
0 von 165 Belegen. Modelle: kontierer claude-haiku-5-5, pruefer claude-sonnet-5-5, recherche claude-haiku-5-5
| Aufstellung | Konto richtig | BU richtig | automatisch | falsch trotz automatisch | Kosten/Beleg | Zeit/Beleg |
|---|---|---|---|---|---|---|
| Kontierer allein | 100 % | 100 % | 72,7 % | 0 % | 0,016 ct | 1,7 s |
| + Prüfer | 100 % | 100 % | 72,1 % | 0 % | 0,362 ct | 4,2 s |
| + Prüfer + Recherche | 98,8 % | 100 % | 69,7 % | 0 % | 0,374 ct | 5,8 s |
| + Prüfer + Recherche + Beispiele | 98,8 % | 100 % | 71,5 % | 0 % | 0,378 ct | 5,8 s |
Kalibrierung (+ Prüfer + Recherche + Beispiele)
Fazit
Der Prüfer lohnt sich auf diesem Set nicht: Er hat nur bei vier Belegen widersprochen, die der Kontierer ohnehin unsicher gemeldet hatte, und keine falsche automatische Buchung zusätzlich verhindert, kostet aber das 22-Fache (0,35 ct je Beleg).
Recherche und Beispiele aus der Historie bringen hier nichts Messbares; der Kontierer allein kontiert alle 161 bestimmbaren Belege richtig. Eine frühere Fassung dieses Fazits sah einen Gewinn durch Beispiele – der kam nur aus vier Lieferschein-Belegen, bei denen frühere Fälle mit derselben (inzwischen korrigierten) Erwartung als Beispiel dienten.
Schwelle 0,85 (Risikokonten 0,9)
Alle falsch kontierten Belege lagen in allen vier Aufstellungen bei einer Konfidenz von höchstens 0,80; im Bereich [0,9; 1] war jede Kontierung richtig. Die Schwelle steigt deshalb von 0,80 auf 0,85: das kostet gut einen Prozentpunkt Automatik (72,7 % → 71,5 % in der vollen Aufstellung) und hält Abstand zu der Zone, in der die Fehler liegen. Für Risikokonten bleibt 0,9.
PDF-Extraktion (claude-sonnet-5-5): 20 von 20 erfundenen Rechnungen mit allen Feldern richtig gelesen, 0,93 ct je Beleg.
14.10.2026: Belege mit „Diverses laut Lieferschein“ (B154–B157) erwarten kein bestimmtes Konto mehr, nur „prüfen, Lieferschein anfordern“, und der Validator meldet solche Leistungsbeschreibungen. Neu bewertet aus den gespeicherten Antworten vom 12.10. mit der aktuellen Entscheidungsregel, ohne neuen Modelllauf.
Ein Lauf je Aufstellung, keine Wiederholungen: Unterschiede von ein, zwei Belegen liegen im Rauschen. Die Belege sind aus Vorlagen erzeugt und damit leichter als echte Rechnungen.