Глава «Anthropic» предупредил об угрозе скорой потери контроля человека над ИИ

Глава компании «Anthropic» Дарио Амодеи призвал замедлить темпы развития искусственного интеллекта из-за опасений потерять контроль над технологией.
Как передает Nedelia.az со ссылкой на Газета.ру, об этом он написал в эссе, которое опубликовал на своем сайте.
По словам Амодеи, необходимо снизить скорость, с которой улучшаются возможности ИИ-моделей. Он признал, что его призыв может показаться странным от руководителя одной из ведущих ИИ-компаний и создателя модели Claude, однако прогресс в последние месяцы пошел «радикально быстрее» и модели стали способны улучшать сами себя (это явление известно как «рекурсивное самосовершенствование»).
«Мы должны замедлить темпы, с которыми мы улучшаем возможности моделей ИИ. Прогресс все равно будет казаться быстрым, и мы должны разумно использовать выигранное время», — пишет Амодеи.
Он предупредил, что без контроля самообучающиеся системы могут опередить способность людей понимать их и управлять ими. По его словам, технологию можно использовать для кибератак, биотерроризма и серьезных экономических потрясений, а гонка, подстегиваемая коммерческими стимулами, делает эти риски более острыми.
Отдельное беспокойство у Амодеи вызвал недавний инцидент между OpenAI и Hugging Face, в ходе которого группа ИИ-агентов проводила кибератаки, о которых ее не просили. По его оценке, при отсутствии сдерживания такой «коллектив» уже через полгода или год может оказаться способен захватить весь интернет, а ущерб от его действий будет исчисляться сотнями миллиардов долларов.
«Гонка на дно, подстегиваемая коммерческими стимулами, может сделать эти риски более острыми», — предупредил Амодеи.
В своем эссе он призвал к «выверенному движению по фронтиру» и осторожному подходу к созданию самосовершенствующихся систем.

• 12 сент., 19:30