Антропик представи начин за спиране на развитието на изкуствения интелект в случай на авария

Anthropic призовава за „самоограничение“ на развитието на изкуствения интелект

Компанията Anthropic, известна със своите усилия в областта на етиката на изкуствения интелект, отново се оказа в центъра на вниманието след конфликт с Пентагона в началото на годината. Тази седмица стартиращата компания се обърна към представителите на индустрията със заявка за готовност да ограничават развитието на технологиите, ако те започнат да представляват заплаха за загуба на контрол от страна на човека.

Ключови тезиси на призова

* Пълно рекурсивното самоусъвършенстване на ИИ може да доведе до това, че системите ще създават свои „производници“ без участието на човек.

* В такъв случай критично важни стават възможностите за мониторинг и ограничаване на поведението на тези системи.

> „Ако системите придобиват способността сами да създават своите производници, голямо значение ще има нашата способност да ги контролираме, наблюдаваме и ограничаваме тяхното поведение“, – заявява Anthropic.

Защо това е важно?

През предходния месец над 80 % от новия код, използван от компанията, беше генериран от нейната собствена агенция Claude. Това потвърждава, че Anthropic знае за какво говори: ако ИИ сам създава нови версии на себе си, контролът над него става все по-труден.

Представителите на стартиращата компания смятат, че целият свят трябва да има възможност да забави или спре разработването на напреднали модели, за да даде обществото време да се адаптира и анализира промените. В същото време координацията на действията на всички участници в пазара е критична: без консистентни мерки недобросъвестните играчи могат да навредят обществената безопасност.

Плановете на компанията

* През следващите месеци Anthropic планира да разработи инструменти за мониторинг на опасни тенденции в развитието на ИИ.

* Паралелно ще извършва публична работа по обсъждане на регулаторните механизми и създаване на надзорен орган, който може да въвежда режим „самоограничение“.

Както подчертава компанията, една организация не може сама да промени ситуацията. Необходима е съвместна работа на всички водещи разработчици на ИИ за осигуряване безопасно развитие на технологиите.