ИИ назван «экзистенциальным риском». Когда ожидать восстания машин

Глава SpaceX Илон Маск, соучредитель Apple Стив Возняк, филантроп Эндрю Янг и почти 2 тысячи исследователей искусственного интеллекта призвали «немедленно приостановить» обучение нейросетей, «более мощных, чем GPT-4». Что будет, если этого не сделать, когда начнется восстание машин и удастся ли им поработить человечество — разбирался Plus-one.ru.

В открытом письме, опубликованном на сайте некоммерческой организации Future of Life Institute, которая анализирует глобальные экзистенциальные риски, упоминаются «серьезная опасность для общества и человечества», «глубокие изменения в истории жизни на Земле», «потеря контроля над нашей цивилизацией». Авторы пишут, что нам угрожают «мощные цифровые умы, которые никто — даже их создатели — не может понять и работу которых не могут прогнозировать или надежно контролировать». На момент публикации петиция собрала 1922 подписи. В списке исследований, на которые ссылаются авторы, фигурирует ряд научных работ, где развитие ИИ называют «экзистенциальным риском».

Приостановить разработку ИИ авторы открытого письма призывают как минимум на полгода. Эту паузу они предлагают использовать для «разработки и внедрения набора общих протоколов безопасности», которые позволят устранить потенциальные риски от применения новой технологии.

Об опасностях, связанных с развитием ИИ, эксперты говорят довольно давно. Еще в 2018 году международная группа специалистов по влиянию новых технологий на безопасность составила 100-страничный отчет, в котором перечислены наиболее реалистичные и близкие риски — от роста пропаганды на основе легко генерируемых фейковых изображений и видео до возможности взлома любых систем цифровой безопасности за счет автоматизированного поиска уязвимостей.

Некоторые проявления опасности, которую может представлять ИИ, похоже, реализуются уже сегодня. Так, 29 марта СМИ сообщили, что гражданин Бельгии покончил с собой после шести недель переписки с чат-ботом по имени «Элиза». По словам вдовы погибшего, мужчина около двух лет страдал от тревожности и депрессии, вызванных проблемой глобального потепления. Своим домашним глава семейства говорил, что «не видит выхода для человечества», единственной надеждой он считал развитие технологий — в частности, искусственного интеллекта.

Свои страхи бельгиец обсуждал с чат-ботом — «Элиза» не пыталась оспаривать его тезисы, а, наоборот, развивала их. За несколько дней до самоубийства мужчина написал боту о своем намерении, и тот ответил, что «останется с ним навсегда» и «мы будем жить вместе, как одно целое, в раю». У погибшего осталось двое детей.

Plus-one.ru задал экспертам три самых будоражащих кровь вопроса.

Действительно ли искусственный интеллект угрожает человечеству?

Михаил Забежайло, заведующий Отделом интеллектуального анализа данных и автоматизированной поддержки научных исследований Федерального исследовательского центра «Информатика и управление» РАН:

«Искусственный интеллект — это всего лишь инструмент, средство для расширения возможностей человека. Как, например, транспортные средства. ИИ задуман, чтобы расширить возможности решения интеллектуальных задач. Восстания роботов, конечно, не планируется — ведь, чтобы ИИ оказался на это способен, необходимо было бы снабдить его способностью к целеполаганию. Ни сейчас, ни в обозримом будущем такое не представляется возможным».

Евгений Соколов, руководитель Департамента больших данных и информационного поиска факультета компьютерных наук НИУ ВШЭ:

«Совершенно точно не стоит думать о порабощении человечества искусственным интеллектом. Сейчас GPT-4 и прочие языковые модели — это всего лишь алгоритмы, построенные для решения конкретных задач: обычно это генерация текстов и изображений. Это точно не какой-то живой организм, который может сам расти, обучаться, захватывать контроль над системами и так далее».

Александр Тормасов, ректор Университета Иннополис, член Национальной комиссии по этике в сфере ИИ:

«Сложно представить, что нас поработит эта программа. Для этого она должна захотеть причинить зло, а значит — уметь отличать хорошее от плохого. На такое способен только человек, которого с детства этому обучают, причем часто — путем поощрения и наказания. А как можно наказать нейросеть? Кто понимает, как работает искусственный интеллект, не видит в его развитии опасности для общества. Технологии, которые сейчас развиваются, еще далеки от того, что называют общим искусственным интеллектом, — цифрового мозга, превосходящего человеческие способности и интеллект».

Алексей Каленчук, директор по направлению Gamedev, AR/VR, New Media Фонда «Сколково»:

«Глобально такие письма — это алармизм. Главная претензия — письмо крайне абстрактное. Оно не называет конкретные риски. В нем пишут — „есть угрозы“ и „мы не понимаем, как это все работает“. И в этом есть лукавство. Инженеры, которые разрабатывают цифровую архитектуру, неплохо понимают, как она устроена. И в целом здесь нет какой-то непредсказуемости или неожиданных эффектов, о которых говорят авторы письма».

Хорошо, порабощения человечества не будет. Но какие-то угрозы ИИ все же несет?

Евгений Соколов, НИУ ВШЭ:

«Рисков немало. Например, наличие таких программ в открытом доступе существенно упрощает генерацию текстов любой тематики и сложности. Можно создать тысячи „фейковых“ статей, которые заполонят интернет, — это радикально усложнит поиск информации. Кроме того, уже сейчас можно обратиться к GPT-4 со своей историей болезни и попросить поставить диагноз. И она ведь что-то ответит!

Таких примеров можно привести много. Где-то действительно требуется регуляция — точно не хотелось бы, чтобы люди могли навредить своему здоровью из-за медицинских рекомендаций алгоритма. Где-то возникает много задач по реформам тех или иных областей, например образования. И пока мы не придумаем, какие изменения нам нужны, может иметь место некоторый хаос».

Алексей Каленчук, «Сколково»:

«Риски возникают не от самого ChatGPT, а от его возможного отраслевого применения. Где-то это оправданно, а где-то — нет. Чат-бот остается в программировании в качестве второго пилота, в генерации текстов — в качестве ассистента. При этом большое количество экспертов считает, что внедрить его практически некуда.

Дело в том, что даже новая, четвертая версия ChatGPT все равно модерируется людьми. Это фундаментальный барьер для промышленного использования. Сделать технологию автономной не получается — ее тексты либо водянистые, либо с фактическими ошибками. Для поиска она вообще, строго говоря, не подходит, потому что совершает фактические ошибки: может сказать, что Евгений Касперский — создатель Apple, или что-нибудь такое. Получается, что сфер применения технологии очень мало, хотя потенциал вроде большой».

Александр Бухановский, руководитель исследовательского центра «Сильный искусственный интеллект в промышленности» Университета ИТМО:

«Риски совершенно реальны, но обусловлены они не „мощностью умов“ самого ИИ, а тем, что предоставляемые им возможности кардинально выбиваются из реалий существующего технологического уклада. Экономика и повседневная жизнь сейчас устроены таким образом, что у них отсутствует „иммунитет“ против особенностей современного ИИ, реализуемого большими языковыми моделями.

Подобные прорывные технологии (а-ля паровая машина) возникали в истории и раньше. В отличие от них, ИИ — полностью цифровая технология, потому ее скорость проникновения и широта охвата на порядки выше. Цивилизации просто нужно дать время на адаптацию, что и указывают авторы письма.

Нельзя утверждать, что системы мощнее GPT-4 сразу становятся опасными. Скорее, авторы письма хотели подчеркнуть, что сначала надо разобраться с возможностями и выработать „иммунитет“ к особенностям уже существующих моделей ИИ, а потом — двигаться дальше».

Стоит ли создателям ИИ — в том числе в России — последовать призыву и приостановить разработку?

Михаил Забежайло, Российская академия наук:

«Цели открытого письма хорошо понятны. С одной стороны, алармизм хорошо продается. С другой — в лидеров сферы ИИ инвестируют гиганты вроде Google и Microsoft. И они хотят свои инвестиции защитить — обезопасить себя от риска появления множества независимых команд, с которыми придется делить рынок.

Позиция нашего правительства по этому вопросу хорошо сбалансирована. Было бы странным что-либо приостанавливать, идя на поводу у маркетинговых соображений западных корпораций. При этом, конечно, сфера практического применения ИИ, как и любые другие, требует известного контроля. Все-таки возможности, которые открывает нынешнее развитие языковых моделей, — это своего рода вызов для регуляторов. С которым они, уверен, справятся. И развитие целой отрасли для этого ставить на паузу не обязательно».

Евгений Соколов, НИУ ВШЭ:

«Если честно, я слабо представляю, как могут выполняться требования из этого письма. Сложно контролировать, что разработчики делают на серверах тех или иных компаний. Более того, не стоит забывать про Китай, который никаких заявлений про остановку исследований не делал, — а потенциал в сфере ИИ там огромен. В общем, вряд ли у письма будут какие-то серьезные последствия — разве что пиар-выхлоп.

В России есть серьезные вычислительные мощности, есть много талантливых исследователей и разработчиков. Безусловно, мы не на первом месте в области ИИ, но возможностей и технологий у нас немало. Мне кажется, останавливать исследования сейчас бессмысленно, все равно невозможно запретить всему человечеству работать над лингвистическими моделями. Надо параллельно с развитием нейросетей как можно скорее систематизировать риски и начать думать над их контролем».

Александр Бухановский, Университет ИТМО:

«ИИ не сводится только к большим языковым моделям, о которых идет речь в письме. В рамках федерального проекта „Искусственный интеллект“ решаются разнообразные задачи, для которых такие технологии избыточны и неэффективны. В теории возможно научить GPT-модели делать мастер-планирование городских территорий или настраивать цифровой двойник нефтегазового месторождения, но для этого сейчас в мире просто нет качественных данных для обучения нейросетей. Тем не менее альтернативные технологии, созданные в РФ, уже эффективно справляются с подобными задачами.

Кроме того, в упомянутом федеральном проекте делается упор на создание объяснимых и доверенных технологий искусственного интеллекта. В том числе применимых для больших языковых моделей. Это как раз и есть основное средство контроля и противодействия их деструктивному влиянию на цивилизацию. Поэтому, как и в пандемию COVID-19, Россия сейчас создает собственную „вакцину“ — но уже против рисков, связанных с развитием ИИ».

Подписывайтесь на наш канал в Telegram