Textanalyse und AI – Was geht und was geht (noch) nicht?
22. März 2022
Die Analyse von Texten und Verträgen mittels AI-Algorithmen ist in der LegalTech-Branche ein kontrovers diskutiertes Thema. Helmut Ablinger, Gesellschafter und Co-Founder von JAASPER, liefert einen Statusbericht über die Use Cases der Textanalyse.
Anbieter von Textanalyse-Tools versprechen teilweise das Blaue vom Himmel, Nutzer*innen mit überzogener Erwartungshaltung verteufeln die Tools oftmals als unbrauchbar. Doch es lohnt sich ein differenzierter Blick. Folglich eine Auflistung der gängigsten Use Cases inklusive einer Einschätzung der aktuellen Qualitätsniveaus.
Use Case 1: Dokumente sortieren
Einen Pool an unbekannten Dokumenten zu strukturieren und vordefinierten Kategorien zuzuordnen, (z.B. AGB, Mietvertrag, Gesetzestext, OGH-Urteil) funktioniert bereits sehr gut. Dazu wird ein Algorithmus mit Texten der jeweiligen Kategorie vorab trainiert, wobei pro Kategorie mindestens zwischen 100 und 1000 Datensätze notwendig sind. Das Training selbst geht recht schnell vonstatten, sodass der Sortieralgorithmus innerhalb weniger Stunden einsetzbar ist.
Ein unbekanntes (neues) Dokument wird dann vom Algorithmus aufgrund der Erfahrungswerte gemäß Wahrscheinlichkeit in eine der Kategorien eingeordnet. Dieser Ansatz wird z.B. von großen Unternehmen im Customer Service erfolgreich eingesetzt, damit Kundenanfragen automatisiert an die richtige Abteilunggelangen. In der rechtlichen Domäne liegt die Hauptanwendung in den Bereichen Knowledge Management & Due Diligence.
Auch das Sortieren anhand eines konkret ausgewählten Kriteriums (z.B. Trennung von befristeten & unbefristeten Arbeits- oder Mietverträgen) bringen die Algorithmen ziemlich gut hin.
Fazit: Funktioniert bereits sehr gut.
Use Case 2: Wichtige Daten erkennen/extrahieren
Firmennamen, Adressen, Telefonnummern, E-Mail Adressen und Personennamen in einem Text zu erkennen, funktioniert bereits ebenso sehr gut. Dabei werden Algorithmen mit echten Texten, aber auch mit Listen (z.B. Adress- oder Namenslisten), trainiert. Konkreter Anwendungsfall ist z.B. die Pseudonymisierung, wenn aufgrund gesetzlicher Vorschriften persönliche Daten nicht weitergegeben oder veröffentlicht werden dürfen. Der Algorithmus identifiziert dabei die relevanten Daten in einem Text und ersetzt diese durch Dummy-Daten. Dies funktioniert ebenfalls sehr gut.
Schwierigkeiten gibt es jedoch bei der Zuordnung der gefundenen Daten. Beispielsweise gibt es in einem Immobilienkaufvertrag sehr viele Adressdaten; welche Adresse jetzt den Vertragsparteien als Wohn- oder Firmenadresse, welche dem Kaufobjekt und welche dem Kanzleistandort von Anwält*innen/Notar*innen zuzuordnen ist, ist teilweise sehr schwer zu definieren. Ähnlich schwierig ist die Zuordnung von Geldbeträgen (z.B. Netto-/Bruttomiete, Steuer, Betriebskosten, Gerätemiete in einem Mietvertrag). Herausfordernd sind auch exotische Firmen- und Personennamen.
Ähnlich schwierig ist die automatische Erkennung von Vertragsdaten, wie z.B. ein konkretes Vertragsende. Die Vertragslaufzeit kann mannigfaltig definiert sein, unbefristet oder befristet (in Tagen/Monaten/Jahren). Die Frage ist jedoch, was der entsprechende Referenzwert ist; ab wann beginnt der Vertrag zu laufen? Ab einem gewissen Datum, ab dem Datum der (letzten) Unterschrift oder erst bei Eintreten eines gewissen Ereignisses, welches oftmals durch die Analyse des Vertrages selbst nicht eruierbar ist(z.B. Wartungsvertrag beginnt zu laufen, wenn dieMaschine geliefert & aufgebaut wurde)?
Die automatisierte Übertragung von Daten in eine Vertragsdatenbank ist daher zum aktuellen Zeitpunkt ohne jeglichen manuellen (Kontroll-)Aufwand nicht zur Gänze umsetzbar.
Fazit: Funktioniert gut, liefert bereits Mehrwert.
Use Case 3: Vertragsinhalte erkennen
Im Fachjargon spricht man hier von „SentenceClassification“, d.h. jeder einzelne Satz eines Textes wird einer vordefinierten Kategorie zugeordnet. Dazu wird der Text vorab in einzelne Sätze/Abschnitte geschnitten. Anschließend ordnet der Algorithmus wiederum basierend auf Erfahrungswerten die Sätze ein (Kategorien sind z.B. Vertragslaufzeit, Kündigungsfrist, Vertragsstrafe, Gerichtsstand).
Die Trefferquoten der Algorithmen variieren hier teilweise recht stark. Eine einfache Gerichtsstandsklausel wird auch mit wenigen Trainingsdaten (ab ca. 100 Sätzen) sehr zuverlässig gefunden (Trefferquote 99-100%). Kategorien, die heterogener formuliert sind oder sich mit anderen Kategorien inhaltlich überschneiden (z.B. Gewährleistung, Haftung, Schadenersatz, Ersatzleistung), weisen v.a. bei wenigen Trainingsdaten niedrigere Trefferquoten auf.
Wichtig ist hierbei das Bewusstsein dafür, welche Auswirkungen Fehler haben. Eine übersehene Vertragsstrafe (=false negative) ist schlecht. Eine Vertragsstrafe, die gar nicht da ist, aber vom System angezeigt wird (=false positive), ist ebenfalls suboptimal, weil umsonst Alarm geschlagen wird. False positives und negatives befinden sich in einem Abhängigkeitsverhältnis zueinander; optimiert man das Eine, wird das Andere schlechter.
Abhängig vom Use Case muss daher entschieden werden, ob man eher mit false negative oder positive Treffern leben kann (die Algorithmen werden dann entsprechend konfiguriert). Für die Erstanalyse von juristischen Texten erreicht man in der Regel aber eine zufriedenstellende Qualität.
Zum Beispiel kann geprüft werden, ob Ausschreibungsunterlagen alle notwendigen Inhalte inkludieren, bevor sie veröffentlicht werden. Oder es werdenSoftwarelizenzverträge auf deren Inhalte abgeklopft. Abweichungen von einem vorab definierten Standard (z.B. Kündigungsfrist fehlt, obwohl vorab als notwendig eingestuft) werden dann mittels RedFlag markiert.
Fazit: Funktioniert gut, aber noch Luft nach oben.
Use Case 4: Bewertung von Inhalten
Die Champions League der Textanalyse liegt in der Bewertung der gefundenen Inhalte. Ist ein neues Gesetz verfassungskonform und entspricht dem EU-Recht? Ist die gefundene Haftungsklausel bei einem Verbrauchergeschäft zulässig? Diese Bewertungsaufgaben sind ehrlich gesagt noch die größte Schwachstelle der Textanalyse.
Die Schwierigkeit liegt dabei oftmals gar nicht im Bereich der Textanalyse selbst. Für die Bewertung einer Vertragsklausel bedarf es z.B. neben dem konkreten Vertragsdokument auch noch anderer Informationen. Falls diese Informationen überhaupt vorhanden sind, kommen sie meist aus verschiedensten Quellen und in unterschiedlichen Formaten. Zur Bewertung der Textinhalte müssen jetzt diese Informationen alle gebündelt und auf einen Nenner gebracht werden, bevor sie in ihrer Kombination analysiert werden.
Ein Beispiel hierfür sind Textpassagen zur Datenverarbeitung in Drittstaaten und ihren Datenschutzerklärungen. Gemäß Use Case 3 können diese Klauseln bereits gut erkannt werden. Ob z.B. die Verarbeitung von Daten durch Google in den USA zulässig ist, hängt aber einerseits von der gesetzlichen Lage ab (und die ist recht dynamisch), andererseits aber auch wie diese Gesetzeslage interpretiert wird und welches Risiko der Datenverantwortliche eingehen möchte. Was genau Google mit diesen Daten macht, ist ebenfalls relevant. Zuletzt spielt auch die Praxis eine Rolle – Gibt es Strafen für rechtswidriges Verhalten und falls ja, wie hoch sind diese?
Erst nach Abwägung all dieser Faktoren kann schlussendlich eine Bewertung der Klausel abgegeben werden. Aufgrund der Komplexität sind die Algorithmen aber im Moment in den meisten Fällen hier nicht imstande, einen konkreten Mehrwert zu bieten.
Fazit: Derzeit noch die größte Herausforderung im Bereich Textanalyse.
Summa summarum:
Die Analyse von Texten ist auf einem ähnlichen Niveauwie das autonome Fahren. Mittels Spurassistent und Abstandssensoren können Fahrzeuge auf der Autobahn bereits relativ selbstständig unterwegs sein. Für das Navigieren im Großstadtdschungel müssen aber viel mehr Informationen verarbeitet werden – und genau hier hakt es noch. Bei der Textanalyse funktionieren die einfachen Use Cases (Sortieren, Daten &Inhalte erkennen) ebenfalls bereits gut. Kontextbasierte Bewertungen, die die Verarbeitung von vielen Daten voraussetzen, lassen aber noch zu wünschen übrig.