ИИ демонстрира успехи в изследването на рядки и малопредставени езици

Блокиращите езикови модели намаляват езиковия разрыв

Нови версии на изкуствения интелект (ИИ) показват значителен напредък при работа с редки и малкоизвестни езици, което значително намалява глобалния „езиков разрив“. Това потвърждава проучване на компанията RWS, публикувано в TechRadar.

1. Какво показаха изследванията
- Google Gemini Pro получи оценка за качество над 4,5 от 5 точки по познаването на езика киньяруанда – на който говорят около 12 милиона души в Руанда, Уганда и Демократическата република Конго.

- Авторите обясняват успеха с това, че съвременните модели се основават не само на огромни набори данни за конкретния език, но и използват общи статистически закономерности на всички езици (механизмът на межезиков пренос).

- Подобренията в токенизаторите – системите за разделяне на текста на „токени“ – също допринасят за по-точна работа с редки езици.

2. Ефект „дрейф на бенчмарка“
Експерти откриват, че при преминаване от една версия на модела към следващата неговите възможности могат неочаквано да се променят:

- Последната версия на OpenAI GPT уступа по някои задачи за генериране на съдържание на по-старите модели, въпреки че предшествениците бяха по-ефективни.

- Ефективността на токенизатора може да се различава до 3,5‑пъти между поколенията; това означава, че резултатите от предишните тестове не винаги са приложими за новите версии.

3. Какво се променя в приоритетите на разработчиците
- Преди лабораториите по ИИ поставяли производителността на английски и няколко ключови езика в центъра на вниманието.

- Съвременните модели вече успешно се справят с тези задачи, затова вниманието се пренася към по-широка аудитория: поддръжката на редки езици става все по-важна.

- Въпреки това оценка 4,5/5 не гарантира реално ниво на владеене на езика; многоезичната поддръжка все още не се счита за критична.

4. Заключение
ИИ продължава да разрушава бариери между културите и езици. Въпреки че „покритието“ на редки езици все още не е ставало задължително изискване, тенденцията към по-широко покритие на аудиторията вече се вижда и, както очакват експертите, ще се усилва през следващите години.