E-Commerce · Europäische Union

Wyzwanie

Die automatische Moderation der Gruppe war auf Deutsch und Englisch abgestimmt, und polnische, tschechische, ukrainische und ungarische Inhalte gingen mit einer deutlich höheren Fehlerquote in beide Richtungen durch. Die Gruppe hatte kein verlässliches Mass des Problems, weil auch ihre Stichprobenziehung deutschsprachig war.

Co zrobiliśmy

Wir haben einen Managed Service aufgebaut, der menschliche Moderation und Annotation in sechs Sprachen aus Katowice und remote verbindet. Zuerst die Messung: wir haben bestehende Entscheidungen bemustert, um die reale Fehlerquote pro Sprache zu ermitteln, und anschliessend die Klassifikatoren auf den unzureichend bedienten Sprachen nachtrainiert. Das Wohlbefinden der Moderatoren wurde explizit gestaltet.

Wyniki

• Falsche Sperren in Polnisch und Ukrainisch um 73 Prozent niedriger in drei Quartalen
• Verbotene Inhalte, die die Moderation passieren, deutlich niedriger in allen Sprachen ausser Deutsch
• Widersprüche in den unzureichend bedienten Sprachen um mehr als die Hälfte gesunken
• Die Gruppe gewann ein sprachbezogenes Qualitätsmaß, das sie nie hatte

Dlaczego zadziałało

Die Gruppe wusste, dass sie ein Moderationsproblem hatte, sah aber seine Form nicht, weil ihre Messung dieselbe Lücke hatte wie die Modelle. Die Messung zuerst, in jeder Sprache, brachte den Rest zum Funktionieren.