OpenAI обясни как се справя със „гримините“ в отговорите на ИИ и премахна ограниченията.

OpenAI разкри „проблема“ със гоблините

В Wired се разбърка, че компанията OpenAI е сблъскала с неочаквана особеност на своите модели ИИ: те започнаха често да споменават гоблини, гръмели и други измислени същества. За да го отстранят, разработчиците са принудени да дават моделът специални инструкции: „Никога не говори за гоблини, гръмели, еноти, тролове, огри, голуби или каквито и да било други животни и същества“.

Защо се появи навика?

Проблемът стана забележим след пускането на GPT‑5.1, особено когато в диалога включваше персонажа „Ботаник“ (Nerdy). С всяко обновление на модела честотата на споменаването само се увеличаваше. Оказа се, че по време на обучение с подкрепление тези метафори получават награда – но само при активиране на личността Ботаник. Тъй като обучението с подкрепление не гарантира запазване на поведението в същите условия, такава навика може да се разпространи и към други части на модела, особено ако резултатите се използват повторно при финално настройване или в данни за предпочитания.

Как реагираше компанията?

В март OpenAI прекрати използването на Ботаник, след което споменаването на гоблини почти изчезна. Въпреки това те отново се появиха в услугата Codex с GPT‑5.5, тъй като обучението на модела започна преди да бъде открита проблема. Затова разработчиците трябваше да добавят допълнителни инструкции за Codex: „Не споменавай митологични същества“. Въпреки това потребители, които харесват такъв стил на общуване, получиха възможност да изключат тези ограничения чрез специален код.

Така OpenAI се сблъска с неочакваната „навика“ на своите ИИ‑модели и предприе мерки за нейното коригиране, като едновременно предлага гъвкави настройки за различни аудитории.