Warum ein Modell für alle Sprachen bei Kundenfeedback die falsche Idee ist
Wir haben zuerst den naheliegenden Weg genommen: ein großes mehrsprachiges Modell, nachtrainiert. In den Benchmarks schnitt es gut ab, an echten Nachrichten enttäuschte es. Hier steht, was es reihenweise übersehen hat.
By Howzer Team, Forschung · research ·
Am Anfang lag ein großes mehrsprachiges Modell nahe, nachtrainiert auf Feedback. Deutsch und Englisch wären ab Werk abgedeckt, jede weitere Sprache gäbe es gratis dazu. Wir haben es gebaut. Die Benchmark-Zahlen waren in Ordnung, das Verhalten an echten Nachrichten war es nicht.
Ein Modell kann in einem akademischen Benchmark 92 Prozent erreichen und trotzdem nicht unterscheiden, ob ein deutscher Kunde genervt ist oder außer sich.
Vier Dinge, die es beharrlich falsch gemacht hat
- Deutsch packt ganze Gedanken in ein einziges Wort. Vertragskündigungsbestätigung ist die Bestätigung einer Vertragskündigung, und ein geteiltes Modell zerlegt das in Bruchstücke, die für sich genommen nichts bedeuten.
- Deutsche Beschwerden sind oft nicht als Beschwerde formuliert. Ich hätte schon erwartet, dass der Termin hält, ist eine Beschwerde, und ein mehrsprachiges Modell liest sie als neutral.
- Ob jemand siezt oder duzt, sagt etwas über die Beziehung aus und damit darüber, wie die Nachricht beantwortet gehört. Ein über viele Sprachen trainiertes Modell hat keinen Anlass, darauf zu achten.
- Im Englischen liegt es genau andersherum. The last straw oder could not care less ergeben wörtlich gelesen nichts, und wörtlich liest genau das Modell, für das Redewendungen im Trainingsmaterial eine Randnotiz waren.
Was wir stattdessen machen
Ein Modell pro Sprache, jedes auf Kundenfeedback trainiert statt auf Lexikonartikeln und Nachrichtentexten, und jedes für sich kalibriert. Denn der Punkt, ab dem eine deutsche Nachricht bedenklich wird, ist nicht der Punkt, ab dem eine englische es wird.
- Für alle Sprachen dasselbe
- Auf Allerweltstexten trainiert
- Überall dieselben Schwellenwerte
- Eine Wortzerlegung, die zu keiner Sprache genau passt
- Je Sprache ein eigenes
- Auf echtem Kundenfeedback trainiert
- Schwellenwerte je Sprache kalibriert
- Eine Wortzerlegung, die die Sprache kennt
Beide liefern dieselbe Ausgabe, deshalb arbeitet alles Nachgelagerte unverändert weiter: Ursachenanalyse, Antwortvorschläge, Weiterleitung, gleichgültig aus welcher Sprache es kam. Der einzige Unterschied ist, dass jedes Modell seine eigene Sprache besser beherrscht, als ein einzelnes je beide beherrschen würde. Jede Sprache, die später dazukommt, bekommt dieselbe Behandlung.