Handel i e-commerce · Unia Europejska

Wyzwanie

Automatyczna moderacja grupy była strojona pod niemiecki i angielski, a treści polskie, czeskie, ukraińskie i węgierskie przechodziły z wyraźnie wyższym wskaźnikiem błędów w obu kierunkach. Grupa nie miała wiarygodnej miary problemu, bo jej próbkowanie też było niemieckojęzyczne.

Co zrobiliśmy

Zbudowaliśmy usługę zarządzaną łączącą moderację ludzką i anotację w sześciu językach z Katowic i zdalnie. Najpierw pomiar: opróbkowaliśmy istniejące decyzje, by ustalić realny wskaźnik błędu na język, a następnie retrenowaliśmy klasyfikatory na językach niedostatecznie obsługiwanych. Dobrostan moderatorów zaprojektowano jawnie.

Wyniki

• Fałszywe blokady w języku polskim i ukraińskim niższe o 73 procent w trzy kwartały
• Treści zabronione przechodzące moderację wyraźnie niższe we wszystkich językach poza niemieckim
• Odwołania w niedostatecznie obsługiwanych językach niższe o ponad połowę
• Grupa zyskała pomiar jakości na język, którego nigdy nie miała

Dlaczego zadziałało

Grupa wiedziała, że ma problem moderacji, ale nie widziała jego kształtu, bo jej pomiar miał tę samą lukę co modele. Pomiar najpierw, w każdym języku, sprawił, że reszta zadziałała.