Siedem przypadków, trzy rodzaje i oboczności spółgłoskowe. Fleksja polszczyzny rozbija tokenizację projektowaną dla angielskiego. Co to znaczy dla wdrożeń AI.
Poproś ogólny model językowy o napisanie formalnego pisma po polsku, a coś pójdzie nie tak w sposób trudny do nazwania, jeśli nie mówisz po polsku, i niemożliwy do przeoczenia, jeśli mówisz. Końcówki przypadków się rozjeżdżają, aspekt jest błędny, rejestr osuwa się w rozmowny. Tekst jest na tyle płynny, że przejdzie ocenę osoby nieznającej języka, i na tyle błędny, że żaden Polak by go nie wysłał.
Przyczyna jest strukturalna. Polski odmienia rzeczowniki, przymiotniki i liczebniki przez siedem przypadków w dwóch liczbach, a czasowniki przez osobę, liczbę, czas, tryb i aspekt. Do tego dochodzą oboczności tematu, swobodny szyk niosący informację i rozróżnienie aspektu, które nie mapuje się na angielski czas. Tokenizacja trenowana głównie na angielskim rozbija odmienione formy niezgodnie z granicami morfemów.
W realnym wdrożeniu wyszukiwanie zawodzi na fleksji: zapytanie o fakturę a dokument z formą faktury lub fakturze mogą się nie dopasować. Klasyfikacja intencji spada na parafrazie. A błędy generacji są niewidoczne dla osób nieznających języka, co jest najgroźniejsze: recenzent, który nie mówi po polsku natywnie, przepuści tekst, który klient natychmiast odrzuci.
Co działa: analiza morfologiczna i lematyzacja przed indeksowaniem i dopasowaniem intencji; tokenizacja odpowiednia dla języka lub świadomość jej narzutu; zbiory ewaluacyjne pisane po polsku, a nie tłumaczone; ocena przez native speakerów z taksonomią błędów językowych; oraz grounding na wyszukiwaniu zamiast swobodnej generacji dla wszystkiego, co istotne.
Najczęstsze pytania
- Dlaczego modele AI radzą sobie gorzej z polskim niż z angielskim?
- Polski jest wysoce fleksyjny, z siedmioma przypadkami, trzema rodzajami, gramatycznym aspektem i obocznościami spółgłoskowymi, więc jedno słowo generuje wiele form. Tokenizacja podsłów trenowana na angielskim rozbija te formy niekorzystnie, a danych treningowych po polsku jest znacznie mniej.
- Co idzie nie tak we wdrożeniu chatbota po polsku?
- Wyszukiwanie zawodzi, gdy odmienione zapytanie nie pasuje do inaczej odmienionych dokumentów. Klasyfikacja intencji spada, bo to samo pytanie w różnych przypadkach czyta się jak różne pytania. A błędy przypadka, aspektu i rejestru są niewidoczne dla recenzentów nieznających polskiego natywnie.
- Czy osoba nieznająca polskiego oceni jakość wyników AI po polsku?
- Nie w sposób wiarygodny. Płynny, ale gramatycznie błędny polski czyta się jako akceptowalny dla nienatywnego recenzenta i jako oczywiście błędny dla native speakera. Ocena wyników po polsku wymaga ewaluatorów na poziomie natywnym.