Сім відмінків, три роди й приголосні чергування. Флексія польської розбиває токенізацію, спроєктовану для англійської. Що це означає для впроваджень AI.
Попросіть універсальну мовну модель написати формальний лист польською, і щось піде не так у спосіб, який важко назвати, якщо ви не говорите польською, і неможливо не помітити, якщо говорите. Відмінкові закінчення розходяться, вид помилковий, регістр сповзає в розмовний. Текст достатньо плавний, щоб пройти оцінку особи, яка не знає мови, і достатньо помилковий, щоб жоден поляк його не надіслав.
Причина структурна. Польська відмінює іменники, прикметники й числівники за сімома відмінками у двох числах, а дієслова за особою, числом, часом, способом і видом. До цього додаються чергування основи, вільний порядок слів, що несе інформацію, і розрізнення виду, яке не мапується на англійський час. Токенізація, натренована переважно на англійській, розбиває відмінені форми всупереч межам морфем.
У реальному впровадженні пошук зазнає невдачі на флексії: запит про faktura і документ із формою faktury чи fakturze можуть не збігтися. Класифікація наміру падає на перефразуванні. А помилки генерації невидимі для осіб, які не знають мови, що найнебезпечніше: рецензент, який не володіє польською як рідною, пропустить текст, який клієнт негайно відхилить.
Що працює: морфологічний аналіз і лематизація перед індексуванням і зіставленням намірів; токенізація, відповідна для мови, або усвідомлення її накладних витрат; оцінювальні набори, написані польською, а не перекладені; оцінювання носіями мови з таксономією мовних помилок; а також grounding на пошуку замість вільної генерації для всього, що має значення.
Najczęstsze pytania
- Чому моделі AI справляються з польською гірше, ніж з англійською?
- Польська сильно флективна, із сімома відмінками, трьома родами, граматичним видом і приголосними чергуваннями, тож одне слово породжує багато форм. Токенізація підслів, натренована на англійській, розбиває ці форми несприятливо, а тренувальних даних польською значно менше.
- Що йде не так у впровадженні чат-бота польською?
- Пошук зазнає невдачі, коли відмінений запит не збігається з інакше відміненими документами. Класифікація наміру падає, бо те саме питання в різних відмінках читається як різні питання. А помилки відмінка, виду й регістру невидимі для рецензентів, які не володіють польською як рідною.
- Чи оцінить особа, яка не знає польської, якість результатів AI польською?
- Не надійно. Плавна, але граматично помилкова польська читається як прийнятна для ненативного рецензента і як очевидно помилкова для носія мови. Оцінювання результатів польською вимагає оцінювачів рівня носія.