Проект «Будущее за углом»: человечество, возможно, стоит на пороге создания искусственного интеллекта. Что такое глубинное обучение

Стюарт Рассел

Что такое искусственный интеллект?

ИИ - это исследование того, как сделать машины действующими разумно. Грубо говоря, компьютер разумен в тех пределах, в которых он делает правильные вещи, а не неправильные. Правильным действием считается такое, которое позволяет с наибольшей вероятностью достичь цели. Или, выражаясь техническим языком, действие, которое максимизирует ожидаемую полезность. Создание искусственного интеллекта (ИИ) включает в себя решение проблем машинного обучения, рассуждения, планирования, восприятия, понимания языков, а также робототехники.

Распространённые заблуждения

ИИ - это конкретная технология. Например, в 1980-е и 1990-е годы часто приходилось видеть статьи, в которых ИИ приравнивался к экспертным системам (основанным на наборах правил); в 2010-х годах ИИ приравнивали к нейронным сетям (в основном, многослойным сверточным). Это примерно как подменять изучение физических законов - проектированием паровых машин. Исследования ИИ относятся к общей проблеме создания интеллекта в машинах; ИИ - не какой-то особый технический продукт, возникший в результате исследования данной проблемы.

ИИ - это особый класс технических подходов. Например, часто приходится видеть авторов статей, считающих, что ИИ должен быть основан на логическом или символьном подходе и противопоставляют этому, например, нейронные сети или генетическое программирование. ИИ - это не подход, это проблема. Любой подход к решению проблемы считается вкладом в развитие ИИ.

ИИ - это особое сообщество исследователей. Данное утверждение связано с предыдущим заблуждением. Некоторые авторы используют термин «вычислительный интеллект», упоминая некое якобы обособленное сообщество исследователей, использующих нейронные сети, нечеткую логику, генетические алгоритмы. Такой подход крайне неудачен, поскольку побуждает исследователей опираться только на те методы, которые приняты в их сообществе, а не на те, которые имеют смысл для поставленной задачи.

ИИ - это просто алгоритм. Строго говоря, такое мнение не является заблуждением, поскольку системы ИИ, как и компьютеры для любых других применений, построены на основе алгоритмов (которыми в широком смысле можно считать программы). Однако род задач, решаемых с помощью ИИ, имеют тенденцию сильно отличаться от традиционных алгоритмических задач, таких как сортировка списков чисел или извлечение квадратных корней.

Каким образом ИИ будет приносить пользу обществу?

Всё, из чего состоит цивилизация, является продуктом нашего разума. ИИ позволяет расширить наши интеллектуальные возможности различными способами, подобно тому, как подъемные краны позволяют нам передвигать сотни тонн груза, самолеты позволяют нам перемещаться на со скоростью в несколько сотен километров в час, а телескопы позволяют нам наблюдать объекты на расстоянии в триллионы миль. Системы ИИ, спроектированные должным образом, позволят реализовывать человеческие ценности в гораздо большем масштабе.

Распространенные заблуждения

ИИ обязательно приведет к бесчеловечности. Во многих антиутопичных сценариях описывается, как злодеи используют ИИ для того, чтобы контролировать общество различными способами: слежкой, роботами-полицейскими, автоматизированным «правосудием» или командно-административной экономикой. Хотя такие варианты будущего несомненно возможны, большинство людей не будет поддерживать их. С другой стороны, ИИ предоставляет людям лучший доступ к знаниям и индивидуальному обучению; устраняет языковые барьеры; ликвидирует бессмысленную и однообразную тяжелую работу, низводящую людей до положения… эээ… роботов.

ИИ обязательно усилит социальное неравенство. Вполне возможно, что всё бо́льшая и бо́льшая автоматизация труда приведет к тому, что прибыли и богатства будут концентрироваться в руках все меньшего и меньшего числа людей. Однако у нас есть выбор в том, как именно использовать ИИ. Например, ИИ может способствовать взаимовыгодному сотрудничеству, связывать производителей с потребителями, что позволит большему количеству отдельных людей и мелких групп напрямую участвовать в экономике вместо того, чтобы зависеть от крупных корпораций-работодателей.

Что такое машинное обучение?

Это раздел ИИ, который изучает способы, которые позволят компьютерам повышать эффективность своих действий с помощью накопленного опыта.

Распространенные заблуждения

Машинное обучение - это новая область, которая большей частью заменила ИИ. По-видимому, данное заблуждение - неожиданный побочный эффект недавнего роста интереса к машинному обучению, в результате которого в на курсы машинного обучения поступают студенты, не имевшие раньше дела с ИИ. Машинное обучение всегда было центральной темой ИИ: Тьюринг в статье 1950 г. утверждал, что обучение - это наиболее вероятный путь к ИИ, а самый успешный ранний ИИ, шахматная программа Артура Самуэля, был создан с использованием машинного обучения.

Машины не могут учиться, они делают только то, что программисты приказали им делать. Программист может приказать машине учиться! Самуэль был отвратительным шахматистом, но его программа быстро научилась играть намного лучше его. В наши дни многие важные системы ИИ построены методом машинного обучения на основе больших объемов данных.

Что такое нейронная сеть?

Нейронная сеть - вид вычислительной системы, которая имитирует свойства нейронов в живых организмах. Нейронная сеть построена из множества отдельных элементов, каждый из которых получает входной сигнал от одних элементов и посылает выходной сигнал другим элементам. (Эти элементы необязательно должны существовать физически, они могут быть компонентами компьютерной программы.) Выходной сигнал искусственного нейрона обычно вычисляется, исходя из взвешенной суммы входящих сигналов, причем она подвергается некой простой нелинейной трансформации. Ключевым тут является то, что вес каждой из межнейронных связей может быть откорректирован на основе полученного опыта.

Распространенные заблуждения

Нейронная сеть - это новый вид компьютеров. Практически все нейронные сети моделируются на обычных компьютерах, предназначенных для общих целей. Мы можем построить специализированные компьютеры (их иногда называют нейроморфическими) для более эффективного моделирования нейронных сетей. До сих пор нейроморфические компьютеры не продемонстрировали достаточных преимуществ, чтобы оправдать их более высокую стоимость и затраты времени на конструирование.

Нейронные сети действуют так же, как и мозг. Реальные нейроны - это гораздо более сложные образования, чем те простые элементы, которые используются в искусственных нейронных сетях. В природе существует много различных типов нейронов и связи между нейронами могут с течением времени меняться; помимо коммуникации между нейронами, мозг задействует и другие механизмы для корректировки поведения; и так далее.

Что такое глубинное обучение?

Глубинное обучение - отдельный вид машинного обучения, при котором обучаются нейронные сети, состоящие из многих слоев. Глубинное обучение стало очень популярным за последние годы и привело к существенному прогрессу в решении таких задач, как распознавание речи и визуальных объектов.

Распространенные заблуждения

Глубинное обучение - это новая область, которая в значительной мере вытеснит машинное обучение. Сообщество исследователей нейронных сетей занимается глубинным обучением уже больше двадцати лет. Недавние успехи достигнуты за счет относительно малого усовершенствования алгоритмов и моделей, а также за счет доступности объемных наборов данных и гораздо более мощных наборов компьютеров.

Что такое сильный и слабый ИИ?

Термины «сильный ИИ» и «слабый ИИ» были введены философом Джоном Сёрлом в отношении к двум различным гипотезам, выдвинутым, по его мнению, исследователями ИИ. Согласно гипотезе слабого ИИ, машины можно запрограммировать таким образом, что они будут вести себя как имеющие интеллект человеческого уровня. Согласно гипотезе сильного ИИ, подобные машины можно считать имеющими сознание и описывать их как действительно думающих и рассуждающих, используя эти слова в том же смысле, который применяется к людям.

Распространенные заблуждения

«Сильный ИИ» означает исследования ИИ, целью которых служит универсальный ИИ человеческого уровня. Это допустимая интерпретация термина «сильный ИИ», хотя это не то, что он означал при своем появлении в 1980 г. Аналогично, «слабый ИИ» используют для описания ИИ, нацеленного на специфические, узкие задачи, такие как распознавание речи или создание рекомендательных систем. (Также известен как «инструментальный ИИ».) Конечно, ни у кого нет авторского права на эти термины, однако использование существующих технических терминов для обозначения чего-то совсем другого легко приводит к путанице.

Что такое УИИ, ИСИ и сверхразум?

УИИ означает “универсальный ИИ”. Этот термин использутеся для отсылки к амбициозной задаче по созданию универсальных разумных систем, диапазон задач которых как минимум сопоставим с диапазоном задач, за которые могут браться люди.
ИСИ означает “искусственный сверхразум”, это ИИ, существенно превосходящий человеческий интеллект. Точнее говоря, сверхразумная система - такая, которая превосходит людей по способности выдавать высококачественные решения, которые учитывают больше факторов и дальше заглядывают в будущее.

Распространенные заблуждения

Ведущих исследователей ИИ не заботит УИИ. Конечно, в таких областях, как распознавание речи, есть исследователи, которые работают большей частью над специфическими задачами в своей области. Также некоторые исследователи преимущественно занимаются поисками коммерческих применений для существующих технологий. Тем не менее, у меня сложилось впечатление, что большинство исследователей ИИ в таких областях, как машинное обучение, аргументация и планирование, вносят свой вклад в решение задачи получения УИИ.

Люди обладают “универсальным” интеллектом. Данное утверждение обычно считают настолько очевидным, что не указывают его явно, но оно подразумевается практически во всех дискуссиях об УИИ. Его обычно обосновывают тем, что люди способны выполнять широкий спектр задач и работ. Но, разумеется, нет такой человеческой профессии, которую человек не мог бы выполнять, поэтому нет ничего удивительного в том, что люди могут быть заняты в широком диапазоне существующих человеческих профессий. Трудно придумать такое определение широты разума, которое бы не зависело от людских когнитивных искажений и ошибок, например, антропоцентризма. Так что мы остаёмся с утверждением, что люди разумны “универсально” в том смысле, что могут делать все вещи, которые люди могут делать. Когда-нибудь удастся приемлемым образом сформулировать, что люди могут многое, а до тех пор вопрос остается открытым.

Что такое закон Мура?

Термин «закон Мура» основывется на фактах и на предсказаниях экспоненциального роста плотности и/или производительности электронных схем. В современной трактовке, отходящей от оригинального заявления Мура, этот закон можно сформулировать так: скорость вычислений, которую можно получить за определённую сумму, удваивается каждые N месяцев, где N примерно равно 18.

Распространенные заблуждения

Закон Мура - это физический закон. На самом деле, этот закон представляет собой сумму эмпирических наблюдений за технологическим прогрессом; нет ничего, что делало бы его выполнение обязательным, и, конечно, он не будет оставаться справедливым бесконечно долго. Тактовая частота процессоров уже сейчас вышла на плато, и соотношение цена/производительность в последнее время улучшается за счет увеличения числа ядер (процессоров) на одном чипе.

Быстродействие машин возрастает с такой скоростью, что создание более эффективных алгоритмов - пустая трата времени. На деле же несложные улучшения в алгоритмах часто оказываются намного более значимыми, чем усовершенствования аппаратной части.

Позволяет ли закон Мура предсказать появление сверхразума?

Нет. Есть много вещей, которые системы ИИ не могут делать, например, понимать сложные тексты на естественных языках. Прибавка скорости в подобных случаях означает просто более быстрое получение неправильного ответа. Для создания сверхразума нужны крупные концептуальные прорывы, которые трудно предсказать. Появление более быстрых машин мало чем может помочь.

Распространенные заблуждения

Наращивание мощи машин означает увеличение их интеллекта. Эта тема очень часто поднимается в дискуссиях о будущем ИИ, однако она берет свое происхождение из путаницы между понятием «мощный» применительно к человеческому интеллекту и намного более простым понятием «мощный» при описании компьютеров, т. е. числа операций в секунду.

Что такое машинный IQ?

Не существует такой вещи, как машинный IQ. До той степени, до которой интеллектуальные возможности личности сильно зависят друг от друга при выполнении множества задач, можно говорить о том, что люди имеют IQ, хотя многие исследователи оспаривают полезность любой одномерной шкалы. С другой стороны, возможности машины могут никак не соотноситься между собой: машина может победить чемпиона мира по шахматам и при этом совершенно не уметь играть в шашки или любую другую настольную игру. Машина, лучше всех справившаяся с контрольной работой, может оказаться неспособной ответить на простой вопрос о том, как ее зовут.

Распространенные заблуждения

Машинный IQ возрастает согласно закону Мура. Поскольку такой вещи, как машинный IQ, не существует, он не может возрастать. Закон Мура относится к только к «сырой» производительности компьютера и никак не связан с существованием алгоритмов, способных решить ту или иную конкретную задачу.

Что такое взрывное развитие ИИ?

Термин «взрывное развитие интеллекта» был введен И.Д. Гудом в 1965 г. в эссе «Размышления о первой ультраинтеллектуальной машине». В эссе описывалась возможность того, что достаточно интеллектуальная машина окажется способной реконструировать свою аппаратную и программную часть с тем, чтобы создать еще более интеллектуальную машину. Процесс будет повторяться, пока «интеллект человека не останется далеко позади».

Распространенные заблуждения

Как только машины достигнут интеллекта человеческого уровня, взрывное развитие ИИ станет неизбежным. С другой стороны, логически возможно, что проблема проектирования поколения N + 1 слишком сложна для любой машины поколения N. Также вероятно, что построенные нами машины будут превосходить людей в одних важных аспектах, но отставать от них в других. Они могут превзойти людей в решении важных проблем, таких как проблема нищеты, лечение рака и т.п., оставаясь при этом неспособными предложить что-то новаторское в области исследований ИИ.

Когда системы ИИ станут более разумными, чем люди?

На этот вопрос ответить трудно и тому есть несколько причин. Во-первых, слово «станут» подразумевает, что это вопрос прогнозирования, подобно предсказанию погоды, в то время как на самом деле он содержит элемент выбора: названное событие вряд ли когда-нибудь случится, если человечество решит не преследовать данную цель. Во-вторых, фраза «более разумные» подразумевает простую линейную шкалу интеллекта, которой в реальности не существует. Машины уже намного лучше людей выполняют некоторые задачи, и намного хуже - другие. В-третьих, если допустить существование какого-нибудь приемлемого понятия универсального интеллекта, который можно создать у машин, тогда вопрос приобретает смысл, но на него все равно очень сложно ответить. Получение интеллекта такого уровня потребовало бы значительных прорывов в исследовании ИИ, а их чрезвычайно трудно предсказать. Тем не менее, большинство исследователей ИИ полагают, что системы ИИ превзойдут по разумности людей уже в этом столетии.

Распространенные заблуждения

Этого никогда не случится. Делать прогнозы о научных прорывах - на редкость неблагодарное занятие. Так, 11 сентября 1933 г. лорд Резерфорд, пожалуй, самый известный ядерный физик своего времени, сказал большой аудитории на ежегодном съезде Британской ассоциации содействия развития науки, что «Каждый, кто надеется, что преобразования атомных ядер станут источником энергии, исповедует вздор». (Он говорил аналогичные вещи во многих других случаях, используя множество формулировок, все из которых по существу означали, что высвобождение ядерной энергии невозможно.) На следующее утро Лео Силард открыл индуцированную нейтронами цепную ядерную реакцию, и вскоре после этого запатентовал ядерный реактор.

Что могут системы ИИ сейчас?

Диапазон задач, которых машины делают заметные успехи, намного шире, чем несколько лет назад. Он включает игру в настольные игры, включая карты, ответы на простые вопросы, извлечение фактов из газетных статей, сборку сложных объектов, перевод текста с одного языка на другой, распознавание речи, распознавание разнообразных видов объектов на изображения, а также управление автомобилем в большинстве обычных ситуаций дорожного движения. Существует также множество менее очевидных задач, выполняемых системами ИИ, в том числе выявление мошеннических транзакций по кредитным картам, оценка заявок на кредит и торги на сложных электронных аукционах. Многие функции поисковой системы на деле выполняются простыми формами ИИ.

Распространенные заблуждения

Такая задача, как, например, игра в шахматы, одинакова что для человека, что для машины. Это неверно; машину приходится «вести за ручку» в гораздо большей степени. Люди учатся шахматам, слушая или читая правила, наблюдая и играя. Типичная шахматная программа лишена такой возможности. Правила непосредственно закладываются в машину в форме алгоритма, который генерирует все разрешенные ходы для заданной позиции. Машина не «знает» правила в том смысле, в каком их знает человек. Однако некоторые недавние работы по обучению с подкреплением представляют собой исключение: так, система DeepMind для игры в видеоигры обучается каждой игре с нуля. В действительности неизвестно, в чем состоит ее обучение, но представляется маловероятным, что она учит правила каждой игры.

Машины выполняют задачи так же, как и человек. Часто мы не знаем, как люди делают те или иные вещи, однако крайне маловероятно, чтобы их действия совпадали с операциями типичной программы ИИ. Например, программы для игры в шахматы учитывают возможные будущие последовательности ходов, начиная с текущего позиции на доске, и сравнивают их последствия, в то время как люди часто опознают возможное преимущество, которое можно получить, а потом ищут ходы, позволяющие его достичь.
Если машина может выполнить задачу Х, то она сможет выполнить все задачи, доступные человеку, который способен решить задачу Х. См. вопрос о машинном IQ. В настоящее время машины не имеют универсального интеллекта в том смысле, что и человек, поэтому их способности часто очень узки.

Как ИИ повлияет на человечество в ближайшем будущем?

Очень вероятно, что в обозримом будущем появятся некоторые крупные новшества. Так, уже активно разрабатывается и тестируется автомобиль с системой автоматического управления. По меньшей мере одна компания обещала первые доставки грузов с их помощью в 2016 г. (Другие компании более осторожны, осознавая выпавшие им трудности.) Благодаря совершенствованию компьютерного зрения и передвижения с помощью ног стало практичным использовать роботов в неструктурированном окружении. К подобным задачам относятся сельское хозяйство, сервисное обслуживание техники, а также помощь людям (особенно престарелым и немощным) в домашних делах. Наконец, машины улучшили свое понимание речи, поэтому поисковые системы и «персональные помощники» на мобильных телефонах перешли от индексации веб-страниц к их пониманию, что привело к качественному улучшению способности таких систем отвечать на вопросы, синтезировать новую информацию, давать советы и сопоставлять факты. Кроме того, ИИ может сильно повлиять на такие области науки, как системная биология, в которых сложность и большой объем информации бросают вызов способностям человека.

Распространенные заблуждения

Роботы готовы захватить власть. См. раздел «Когда системы ИИ станут более разумными, чем люди?» В подавляющем большинстве случаев прогресс в области ИИ происходит пошагово и относится к тому, как сделать компьютеры и роботов более полезными. Тем не менее, в долгосрочной перспективе проблема сохранения людского контроля остается важной.

Приведет ли прогресс ИИ и робототехники к тому, что большинство профессий, в настоящее время выполняемых людьми, перейдет к машинам?

Некоторые исследования, например, выполненное Frey and Osborne (2013), говорят о том, что из-за автоматизации в ближайшем будущем могут пострадать до половины профессий в США; другие авторы, например, Brynjolfsson and McAfee (2011), указывают, что процесс уже начался: медленный возврат к полной занятости после рецессии 2008 г., а также расхождение между повышением продуктивностью и стагнацией заработной платы являются последствиями повышенной автоматизации в профессиях, которые предусматривают рутинные операции. Принимая во внимание, что прогресс ИИ и робототехники продолжается, представляется неизбежным, что большинство профессий будет затронуто. Это не обязательно означает массовую безработицу, но может привести к большому сдвигу в структуре экономики и потребовать новых идей по организации работы и оплате.

Распространенные заблуждения

Любая работа, которую выполняет робот, означает меньше работы для людей. Работа - не игра с нулевой суммой: человек, которому помогает команда роботов, может быть намного более продуктивным и, следовательно, гораздо более востребованным; без помощи роботов работа человека, сделанная с тем же самым старанием, может оказаться экономически неоправданной, и ни человек, ни роботы не делали бы ничего. Из тех же соображений доступность малярных кистей и валиков означает работу для маляров: если краску было бы необходимо наносить по капельке кончиком иглы, не было бы возможности нанимать маляров для покраски зданий.

Что такое дроны, автономное оружие и роботы-убийцы?

Дроны представляют собой летательные аппараты, которыми удаленно управляют люди; некоторые дроны несут оружие (обычно реактивные ракеты), запускаемые оператором. Автономное оружие - это любое устройство, которое автоматические выбирает и поражает (т. е. пытается разрушить) цель. Современные системы включают стационарные самонаводящиеся пулеметы (используются в корейской демилитаризованной зоне) и различные виды корабельных противоракетных комплексов. Быстро повышающаяся техническая возможность заменить человека-оператора дрона на полностью автоматическую систему привела к появлению летальных автономных комплексов вооружения (LAWS), которые стали субъектом дискуссии на Женевской конференции по разоружению. Термин «робот-убийца» описывает класс вооружений, который может включать средства передвижения на колесах или ногах, а также корабли, летательные аппараты и даже искусственных летающих «насекомых».

Распространенные заблуждения

До полностью автономных систем вооружения осталось 20–30 лет. Данное утверждение повторяется во многих статьях о дискуссиях в Женеве по поводу LAWS. Источник этого заблуждения неясен, однако, по-видимому, оно проистекает из переоценки. Технологии развертывания автономных вооружений по большей части готовы к использованию; Министерство обороны Великобритании заявило без лишних деталей, таких как применение в морском бою, что создание полностью автономных вооружений «может быть осуществимым теперь».

Надо ли бояться роботов-убийц, кидающихся на всех или захватывающих власть во всем мире?

Если автономные вооружения будут развернуты, они столкнутся с теми же трудностями, что и обычные солдаты, которым приходится отличать друга от врага, мирных жителей от боевиков. Возможно, что произойдет тактический несчастный случай с гибелью гражданского населения, либо функционирование робота пострадает из-за радиотехнических помех либо кибератак. В свете последней проблемы некоторые военные эксперты предсказывают, что автономные вооружения будут закрытыми системами без электронной связи; с другой стороны, из-за этого будет труднее перехватить управление у автономного оператора, если система станет вести себя некорректно. В обозримом будущем автономные вооружения, вероятно, будут тактическими и станут выполнять задания ограниченного масштаба. Крайне маловероятно, чтобы их программировали для самостоятельной разработки планов глобального масштаба.

Распространенные заблуждения

Мы можем просто нажать на выключатель. Выключатель сделает любую автономную систему вооружения уязвимой для кибератак, следовательно, такие каналы связи лучше отключать. Кроме того, если обладающей универсальным интеллектом системе дать задание для выполнения, у нее появится мотивация сопротивляться выключению.

Что такое экзистенциальный риск, связанный с ИИ? Он реален?

Ранние предостережения о риске, исходящем от ИИ, были довольно неопределенными. И.Д. Гуд добавил к своему предсказанию пользы от взрывного развития ИИ оговорку «при условии, что машина достаточно покорна, чтобы рассказать нам, как удержать контроль над собой». Есть общее ощущение, что наличие сверхразумных сущностей на нашей планете может быть причиной для тревоги; с другой стороны, более умные машины, как правило, более полезны, поэтому неочевидно, почему создание гораздо более умных машин обязательно принесет зло.

Тем не менее, доказательство очень простое.

Представьте сверхразумную систему, предназначенную для достижения определенной цели, точно указанной человеком-проектировщиком. Теперь представим, что эта цель не совсем согласуется с ценностями рода людского, определиться с которыми очень трудно (и это в лучшем случае).
Любая достаточно способная разумная система будет стремиться обеспечить непрерывность своего существования, а также захватить физические и компьютерные ресурсы - не ради себя, а для достижения успеха в выполнении задания.

И теперь у нас проблема. По сути это все та же старая история о джинне и лампе, об ученике чародея или царе Мидасе: вы получаете в точности то, что просите, а не то, что подразумеваете. В 1960 г. Норберт Винер, пионер теории автоматического управления, писал: «Если мы используем для достижения своих целей механическое средство, в работу которого не можем эффективно вмешаться, лучше быть совершенно уверенным в том, что цель, заложенная в машину, - эта именно та цель, которую мы действительно желаем». Марвин Минский придумал пример, в котором машину просят вычислить столько знаков числа пи, сколько возможно. Ник Бостром дал пример запроса на массу канцелярских скрепок . Человек интерпретирует эти цели, исходя из общечеловеческих целей, которые в частности подразумевают, что покрытие всей Земли компьютерными серверами или канцелярскими скрепками - это плохое решение. Высокоодаренная сущность, принимающая решения, особенно если благодаря Интернету она имеет доступ ко всей мировой информации, миллиардам экранов и большей части нашей инфраструктуры, может бесповоротно изменить человечество. К счастью, сейчас природа проблемы несколько прояснилась, поэтому можно начать работу над ее решениями.

Распространенные заблуждения

Сверхразумные машины спонтанно обретают сознание, или же они по природе своей злы и ненавидят людей. Писатели-фантасты склонны делать одно или оба из этих допущений, чтобы создать антагонизм между машинами и людьми. Такие допущения не нужны и не мотивированы.

Системы ИИ разрабатываем мы, люди, так зачем нам разрушать самих себя? Некоторые защитники ИИ возражают, что поскольку системы ИИ строятся людьми, нет причин предполагать, что когда-нибудь мы построим нечто такое, чьей целью станет уничтожение человечества. Они не ухватывают самой сути, а именно того, что преднамеренный злой замысел со стороны разработчика или агента не является необходимой предпосылкой для существования экзистенциальной угрозы; проблема проистекает из неверного определения целей.

Этого никогда не случится. См. «Когда системы ИИ станут более разумными, чем люди?»

Почему люди ни с того ни с сего стали беспокоиться об ИИ?

Начиная с 2014 г. СМИ регулярно сообщают об опасениях, высказанных такими хорошо известными фигурами, как Стивен Хокинг, Элон Маск, Стив Возняк и Билл Гейтс. В репортажах обычно цитируются наиболее мрачные и эффектные реплики и опускаются стоящие за ними основания, а также суть опасений, которые близки к описанным в разделе «Что такое экзистенциальный риск, связанный с ИИ?» Во многих случаях опасения основываются на чтении книги Ника Бострома «Искусственный интеллект». Другая причина, породившая теперешнюю волну интереса к данной теме, - это тот факт, что прогресс в разработке ИИ ускоряется. Это ускорение, вероятно, обусловлено комбинацией факторов, в том числе постепенно упрочняющимся теоретическим фундаментом, который связывает различные области разработки ИИ в единое целое, и быстрым ростом коммерческих вложений в исследования ИИ, поскольку продукция академических лабораторий достигла того уровня качества, при котором ее можно применять для разрешения проблем в реальном мире.

Распространенные заблуждения

Если люди волнуются, значит, до сверхразумного ИИ рукой подать. Вряд ли найдется исследователь ИИ, который думает, что до сверхразумных машин рукой подать. (См. раздел «Когда системы ИИ станут более разумными, чем люди?») Это не значит, что мы должны ждать до того момента, чтобы воспринимать проблему серьезно! Если мы обнаружим астероид диаметром 10 миль, траектория движения которого пересечется с Землей через 50 лет, разве мы отмахнемся от этой новости со словами: «Я уделю ей внимание, когда до столкновения будет 5 лет?».

Каким будет прогресс ИИ в ближайшие десятилетия?

Весьма вероятно, что области, в которых не нужен универсальный интеллект человеческого уровня, достигнут зрелости и породят надежные высококачественные продукты уже в следующее десятилетие. В эти области входят распознавание речи, извлечение информации для создания простого фактического материала, визуальное распознавание объектов и поведения, роботизированное обращение с повседневными вещами и автономное вождение. Усилия по улучшению качества и расширению границ для систем понимания текста и видео, а также придание домашним роботам большей надежности и общей полезности приведут к системам, проявляющим здравый смысл, связывающим вместе обучение и действие во всех этих модальностях. Специальные системы для приобретения и организации научных знаний, а также для работы со сложными гипотезами, вероятно, сильно повлияют на молекулярную биологию, системную биологию и медицину. Нам следует начать поиски похожих влияний в социальных науках и формировании политики, особенно учитывая массивный рост машиночитаемых данных о человеческой деятельности и потребность в машинах, которые понимали бы человеческие ценности, если такие машины будут надежными и полезными. Публичные и частные источники знаний (системы, которые знают и делают выводы о реальном мире, а не только хранят данных) станут частью общества.

Что такое «сопоставление ценностей»? Какое оно имеет значение?

Сопоставление ценностей - это задача сопоставления ценностей (целей) машин и людей с тем, чтобы оптимальным выбором машины было, грубо говоря, всё, что делает людей наиболее счастливыми. Без такого сопоставления есть немалый риск, что сверхразумные машины выйдут из-под нашего контроля.

Распространенные заблуждения

Все, что нам нужно, - это законы робототехники Азимова . Законы Азимова имеют достаточно смысла для человека, чтобы сформировать основу различных сюжетов рассказов, однако без значительного дальнейшего уточнения для робота они практически не несут полезной информации. Основа законов в виде набора правил, а не функции полезности, создает проблемы: их лексикографическая структура (т. е. тот, факт, что любой вред людям всегда более важен, чем весь вред роботам) означает, что нет никакой неопределенности и невозможно компромиссное решение. Так, роботу придется спрыгнуть с обрыва (и разрушить себя), чтобы поймать комара, который мог бы когда-нибудь в будущем укусить человека. Робот должен запереть дверь в автомобиль, потому что когда человек садится в машину, риск вреда для него повышается. Наконец, при подходе, направленном на максимизацию полезности для человека, нет необходимости в третьем законе (самосохранение робота), поскольку робот, который не поддерживает собственное существование, не может внести вклад в полезность для человека и, конечно, разочарует своего хозяина.

Что сообщество, занимающееся ИИ, предпринимает в связи с экзистенциальным риском?

Большинство дискуссий об экзистенциальном риске, исходящем от ИИ, проходило без основной части сообщества, занимающегося ИИ; поначалу это привело к преимущественно негативным реакциям со стороны исследователей в области ИИ. В 2008 г. Американская ассоциация искусственного интеллекта (AAAI) сформировала группу для изучения данной проблемы. В промежуточном отчете группы было отмечено существование некоторых долговременных вопросов, однако приуменьшено значение мнения о том, что ИИ представляет собой риск для человечества. Позднее, в январе 2015 г. в Пуэрто-Рико была проведена конференция , спонсированная Институтом будущего жизни, которая привела к публикации открытого письма , которое подписали присутствовавшие, а затем еще 6000 человек. В письме призывалось сосредоточить особое внимание исследований на данной проблеме, а также предлагался более подробный план исследований . Вскоре Элон Маск основал грант в размере 10 млн долларов на исследования в данной области. Кроме того, Эрик Хорвиц спонсировал долгосрочное исследование , которое, как ожидается, будет отслеживать этот вопрос и, если потребуется, давать рекомендации. пять крупнейших технологических компаний сформировали Партнерство по вопросам ИИ , чтобы решать вопросы как краткосрочной, так и долгосрочной перспективы, касающиеся этики и безопасности ИИ. Наконец, AAAI сформировала постоянный комитет по этическим проблемам ИИ.

Распространенные заблуждения

Регулировать или контролировать исследования невозможно. Некоторые утверждают, что невозможно избежать отрицательных последствий, поскольку прогресс исследований не остановить и невозможно регулировать. На самом деле, это заявление - ложь: Асиломарская конференция 1975 г. по рекомбинантной ДНК успешно наложила добровольный мораторий на эксперименты, цель которых заключалась в создании наследуемых генетических модификаций у людей; в наши дни этот мораторий не только действует, но и стал международной нормой. Кроме того, если исследования по созданию ИИ человеческого уровня будут протекать бесконтрольно, что вполне может случиться, еще важнее начать серьезное изучение методов, гарантирующих, что системы ИИ останутся под нашим контролем.

Чем я могу помочь?

Если вы исследователь, занимающийся ИИ (или экономист, специалист по этике, политолог, футурист или юрист, интересующийся этими вопросами), то для вас есть идеи и темы в программе исследований, берущей начало на конференции 2015 в Пуэрто-Рико. Вероятно, будут проводиться воркшопы, связанные с крупными конференциями по ИИ, осенним и весенним симпозиумами AAAI и т. п. Больше информации можно найти на веб-сайтах FHI, CSER, FLI MIRI и Center for Human-Compatible AI .

Распространенные заблуждения

Сделать ничего нельзя: эти вещи случатся, и никакие действия с нашей стороны не изменят будущее. Ничто не может быть дальше от истины. Мы не можем предвидеть будущее, потому что мы его создаем. Это коллективный выбор.

Сергей Скептик, Pion

Искусственный интеллект (ИИ) - тема, которая уже давно не сходит со страниц научно-популярных журналов и постоянно затрагивается в кино и книгах. Чем больше специалисты развивают эту область науки, тем большими мифами она покрывается.

Развитие и будущее искусственного интеллекта волнует и тех, кто стоит у руля государства. Не так давно президент РФ Владимир Путин посетил офис Яндекса в день 20-летия компании, где ему объяснили, когда ИИ превзойдет человеческий интеллект.

Все, кто хоть немного проникает в суть потенциала искусственного интеллекта, понимают, что оставлять без внимания эту тему нельзя. Это не только важная тема для обсуждения, но и, наверное, одна из самых значимых в контексте будущего.

Словом, заметные успехи есть и у нас в стране.

Чем быстрее развиваются технологии искусственного интеллекта, тем сильнее людей захватывает опасение - как быстро они останутся без работы. Все действительно так плохо?

И да, и нет. Человечество уже несколько раз сталкивалось с возникновением технологий, революционно изменивших всю производственную сферу.

Так было с паровым двигателем в эпоху промышленной революции практически уничтожившим многие профессии (в основном, связанные с примитивным физическим трудом), так было с электронными вычислительными машинами, которые заменили человека в задачах, основанных на поточных математических расчётах.

В XV-XVIII вв.еках, когда в Англии «овцы съели людей», социальные последствия были действительно катастрофическими. Англия потеряла по разным оценкам от 7 до 30% своего населения. Властная элита того времени была всерьёз озабочена тем, куда девать лишних людей. Джонатан Свифт откликнулся на эти искания юмористическим памфлетом, в котором предлагал употреблять детей бедняков в пищу.

Однако в наши дни мы видим, что на смену вымершим профессиям пришли новые, и население Земли куда больше, чем в XVIII веке. В XX веке последствия автоматизации были уже не столь катастрофичны с социальной точки зрения. Однако недооценивать опасность всё-таки не стоит.

«Через 30 лет роботы смогут делать практически всё, что умеют делать люди, - такой прогноз дал Моше Варди (Moshe Vardi), профессор вычислительной инженерии и директор Института информационных технологий Кена Кеннеди (Ken Kennedy Institute for Information Technology) при Университете Райса (William Marsh Rice University). Это приведёт к тому, что более 50% жителей Земли станут безработными».

Роботы забирают работы

На днях председатель комитета Госдумы по информационной политике, информационных технологиям и связи Леонид Левин заявил, что для России является важной проблема вытеснения рабочей силы искусственным интеллектом.

Рано или поздно людей заменят автоматизированной системой, и на рынок выплеснется 2% работоспособного населения страны. Именно поэтому о том, как их трудоустроить, тех, кто потеряет работу вследствие развития цифровых технологий, нужно думать уже сейчас сказал Левин.

По мнению председателя, уже в скором будущем мы столкнемся с ростом безработицы. Но действительно ли роботы «отберут» наши рабочие места и стоит ли беспокоиться по этому поводу рассказал «Ридусу» специалист по машинному обучению Сергей Марков.

Сергей, даже сейчас уже есть «мертвые профессии», которые не требуют человеческого труда, хотя, казалось бы, лет 10 назад никто и не думал, что, например, кондуктора скоро станут ненужными. А какие еще профессии вытеснят технологии?

Мы приближаемся к тому времени, когда машины превзойдут людей почти в любом деле. Я считаю, что обществу нужно посмотреть в лицо этой проблеме до того, как она встанет во весь рост. Если машины будут способны делать почти всё, что умеют люди, что тем останется делать? сказал Моше Варди, профессор вычислительной инженерии и директор Института информационных технологий Кена Кеннеди при Университете Райса.

Долгое время на пути автоматизации стояли технологические ограничения - машины не могли распознавать образы и речь, не могли говорить, не могли достаточно хорошо понимать смысл высказываний на естественном языке, не имели достаточно данных для того, чтобы научиться многим привычным для человека вещам.

Благодаря последним достижениям в сфере искусственного интеллекта многие из этих ограничений фактически оказались сняты. Кроме того, многие профессии сами претерпели трансформацию, что сделало их более удобными для автоматизации.

Например, современный офисный клерк ведёт переписку не в бумажном, а в электронном виде, бухгалтер выполняет проводки не на бумаге, а в бухгалтерской программе, оператор станка управляет станком зачастую не при помощи рукоятей, а при помощи управляющей программы. Поэтому сейчас задача автоматизации во многих профессиях перестала быть научной и стала чисто инженерной.

Правда пока что производственная сфера, связанная с ИИ, скорее создаёт рабочие места - нужны специалисты в области машинного обучения и подготовки данных, сотрудники для разметки обучающих массивов, специалисты по внедрению и т. д. Но в какой-то момент электроовцы определённо начнут есть людей, и о последствиях нужно позаботиться уже сейчас.

При этом важно понимать, что остановить технический прогресс нельзя, и попытка это сделать обернётся куда более катастрофичными последствиями.

Мы сможем когда-нибудь полностью довериться роботам (ИИ), или все-таки в любом деле должен быть человеческий фактор?

У этого вопроса есть несколько аспектов. С одной стороны, люди в прошлом с опаской относились практически к любой технике. Первый лифт, первый автомобиль, первый поезд или самолёт - всё это когда-то было непривычным, и многим казалось опасным. Да во многом опасным и было - техногенные катастрофы унесли немало жизней.

И тем не менее в наши дни все эти вещи стали привычными и уже не вызывают сильного страха. В этом смысле - наши потомки будут относиться к системам ИИ более спокойно. Люди порой склонны мистифицировать вещи, которые им непонятны. Дикарь думает, что в паровозе живёт злой дух, а современный обыватель думает, что наши системы ИИ обладают сознанием, хотя это далеко не так.

С другой стороны, я не думаю, что универсальные системы ИИ когда-либо станут частью нашей производственной сферы. На мой взгляд будущее скорее за синтетическими системами - то есть за объединением человека и машины в единый организм. В этом смысле искусственным интеллектом будущего будет усовершенствованный человеческий интеллект.

Кстати говоря, человеческий интеллект тоже не совсем корректно называть естественным. Ребёнок от рождения не обладает интеллектом, всему его учит общество, родители, окружающая среда. В этом смысле мы с вами все по сути дела «искусственные интеллекты», и наши страхи, связанные с ИИ, во многом являются страхами перед самими собой.

Последнее время многие ученые, например, Стивен Хокинг , Билл Гейтс или тот же Илон Маск , начали паниковать, что ИИ обрекает человечество на гибель, а будущее они видят какой-то антиутопией. Стоит ли воспринимать такие прогнозы всерьез?

Честно говоря, я бы не спешил всерьёз пугаться этих заявлений. Стивен Хокинг, безусловно, не является специалистом в области ИИ, как, в общем-то, и Илон Маск.

На другой чаше весов высказывания таких людей, как например, Эндрю Ын - американский учёный в области информатики, доцент Стэнфордского университета, исследователь робототехники и машинного обучения, ведущий специалист лаборатории искусственного интеллекта китайской корпорации Baidu .

Ын, говоря о проблеме безопасности ИИ, сравнивает её с проблемой перенаселения Марса - конечно, мы когда-нибудь колонизируем Марс, и тогда, возможно, в какой-то момент там возникнет проблема перенаселения. Но стоит ли заниматься ей сегодня?

Марк Цукерберг также довольно скептически отнёсся к заявлениям Маска. «Искусственный интеллект сделает в будущем нашу жизнь лучше, а предсказывать конец света очень безответственно», - заявил он.

Лично я думаю, что высказывания Маска стоит рассматривать в прагматическом ключе - Маск хочет застолбить эту тему и в идеале получить от государства средства для её разработки.

Неужели все так безоблачно и не о чем беспокоиться?

Реальные опасности, связанные с развитием ИИ, лежат, на мой взгляд, совсем в иной плоскости, чем об этом принято думать. Главные риски связаны не с тем, что мы своими создадим «Скайнет», который поработит человечество. Риски от внедрения технологий ИИ и машинного обучения куда более прозаичны.

Доверяя решение важных вопросов тем или иным математическим моделям, мы можем пострадать от ошибок, допущенных при их разработке. Искусственный интеллект, воспроизводящий действия людей-экспертов, унаследует их ошибки и предубеждения. Недоработки в системах управления производством или транспортом могут привести к катастрофам.

Вмешательство злоумышленников в работу жизненно важных систем в условиях тотальной автоматизации может повлечь опасные последствия. Чем сложнее системы, тем больше в них может быть потенциальных уязвимостей, в том числе связанных со спецификой тех или иных алгоритмов искусственного интеллекта.

Безусловно, для управления этими рисками следует создавать законодательную базу, разумные регламенты безопасности, специальные методы для выявления уязвимостей. Одни системы ИИ будут использоваться для контроля других. Возможно, код жизненно важных систем будет обязателен к публикации для независимого аудита. Словом, специалистам в этой сфере предстоит ещё много работы.

В мае 2017 года скончался полковник Станислав Петров. Этот офицер в 1983 году своими профессиональными действиями предотвратил ядерную войну. Во время его дежурства пришел сигнал со спутников наблюдения о старте нескольких ракет с территории США. Ядерная атака. Петров должен был принять роковое решение. В этой критической ситуации он мгновенно перепроверил информацию по другим источникам и принял решение, что это - ложная тревога. Возможный ответный ядерный удар не состоялся. Подобные ситуации бывали и в американских ядерных силах. И всякий раз, к нашему счастью, люди принимали верное решение.

А вот искусственный интеллект - какое он принял бы решение в такой ситуации? Человек ведь существо моральное. Станислав Петров осознавал цену своего решения с нравственных позиций. Ученые смогут впихнуть в искусственный интеллект мораль? Это первый вопрос. А второй: если этот искусственный интеллект будет сам развиваться, это саморазвивающаяся система, он, может быть, себе свою новую мораль придумает. И совсем не такую, как наша. И в этой его моральной системе, мы, люди, не окажемся лишними?

Когда была осознана колоссальная разрушительная мощь ядерного оружия, сразу заговорили о невозможности его применения. Цена будет слишком велика. А сейчас, когда человечество, возможно, стоит на пороге создания искусственного интеллекта, кто-нибудь обсуждает серьезно опасности и риски? Почти все пребывают в состоянии эйфории: какие новые возможности перед нами открываются! Может, и открываются, а может, и закрываются.

Еще совсем недавно это казалось фантастикой, и вот уже безнадежно устарело - бросать компьютерный чип в кипящую сталь в попытке предотвратить восстание машин теперь бесполезно, микропроцессоры куда более мощные, чем у Терминатора образца 1991 года. Сейчас повсюду искусственный разум стремится к человеческому, а люди, кажется, приняли грядущее уничтожение как нечто неизбежное.

Видео телеканала CNBC:

Ты хочешь уничтожить людей? Пожалуйста, скажи «нет!»

Ок, я уничтожу людей, - отвечает робот София.

У современного Терминатора черты лица актрисы Одри Хэпберн - по крайней мере, так говорят разработчики - робот София способна поддержать разговор, повторяет мимику человека, но когда шутит про уничтожение людей, почему-то не улыбается.

На этой неделе в торжественной обстановке София получила гражданство Саудовской Аравии - страны, которая вкладывает сотни миллионов долларов в развитие технологии искусственного интеллекта. Это передовое направление, без которого будущее уже не представляет себе не только крупный бизнес, но и правительства многих государств. Какие бы риски это будущее в себе ни таило. Потеря контроля над цифровым разумом лишь один из вариантов. Угроза может показаться не вполне конкретной - но футурологи готовы привести примеры.

«Два искусственных военных интеллекта в двух странах могут вступить в войну, которая продлится несколько миллисекунд и люди не успеют заметить, как они все будут уничтожены», - говорит футуролог Алексей Турчин.

Фантастика? Возможно, но локальная война двух компьютерных трейдеров уже однажды обрушила биржевые индексы - просто потому что боты друг за другом вдруг решили продавать акции. В результате этой виртуальной битвы совершенно конкретные люди потеряли много настоящих денег.

«Алгоритмы, которые были сделаны для того, чтобы приносить прибыль всем участникам, вдруг начали работать так, что они начали приносить убытки всем участникам, потому что были не предусмотрены последствия работы. А очень трудно предусмотреть все последствия работы искусственного интеллекта», - поясняет Алексей Турчин.

Программисты Фейсбука тоже не предполагали, что сетевые чат-боты, или попросту разговорные агенты, пройдут тест на коммуникацию с таким результатом: диалог на английском превратился в бессмысленный набор слов, а то и букв, но это для человека - цифровому разуму язык людей показался неудобным способом договориться. Другими словами - машина может лучше. И это еще одна угроза.

«Первое, что произойдет, это то, что очень многие люди потеряют работу из-за автоматизации и роботизации производства. Так, по некоторым оценкам, в США до 2030 года из-за этого могут быть ликвидированы около 47% рабочих мест», - говорит профессор теоретической философии в университете имени Иоганна Гутенберга Томас Метцингер.

Казалось бы, все это далеко и даже не очень скоро - но и в России искусственный интеллект уже лишил кое-кого работы - виртуальная помощница Инна заменила собой справочную службу Казанского Иннополиса.

«Мы автоматизировали на 100% все рутинные обращения и вот с 19 июня этого года Инна уже обработала чуть больше 15 тысяч обращений, на которые раньше отвечал живой человек, а теперь этот механизм отвечает автоматически», - рассказывает директор по маркетинговым коммуникациям города Иннополис Артем Фатхуллин.

Инна, конечно специалист в узкой области - ей, как и любой другой программе пока очень далеко до человека - но ключевое слово именно «пока».

«100 лучших экспертов мира в области искусственного интеллекта полагают, что между 2070 и 2100 годами, а возможно, и в 2050 году появится искусственный сверхразум, который будет действовать как минимум на уровне человека, а то и недосягаемо превосходить его. Вопрос состоит в том, что если саморазвивающийся искусственный интеллект когда-либо превзойдет когнитивную силу человека, то как нам сделать так, чтобы он оставался мирным и чтобы его цели совпадали с нашими», - говорит Томас Метцингер.

Ответа на этот вопрос на самом деле до сих пор не существует - человечество тратит миллиарды на развитие искусственного разума, как будто нарочно приближая тот день, кода он поймет, что создатели ему больше не нужны.

«Я часто использую такую аналогию - когда мы, например, расширяем дом, мы не советуемся с червяками, жуками и разными насекомыми на заднем дворе, перед тем, как начать стройку. Они же настолько ниже нас, что мы просто не обращаем на них внимания. Вот какой может быть разница между искусственным интеллектом будущего и человеком», - отмечает глава футурологического института Futurizon (Великобритания) Ян Пирсон.

Кто-то, конечно, может посоветовать футурологам надеть шапочку из фольги и спрятаться под стол - но главу компании Tesla Илона Маска точно не заподозришь в технофобии - с его-то проектами SpaceX или Hyperloop и серьезными инвестициями в создание нейросетей. Но именно он уже не раз предупреждал об опасности.

«Вы знаете, что у меня есть доступ к самым последним разработкам в области искусственного интеллекта. И я думаю, что людям действительно следует озаботиться этим. Может показаться, что я поднимаю панику, но пока человечество не увидит, как роботы идут по улицам и убивают людей, они не будут знать, как реагировать. Ведь это выглядит таким нереальным, но я уверен, что нам действительно стоит волноваться насчет искусственного интеллекта», - заявил Илон Маск.

Маск предлагает регулировать развитие технологии на государственном уровне - и в то же время своего рода аппаратный апгрейд мозга - с помощью нейросетей нового поколения, выходит, чтобы не отстать от машин будущего, человеку самому придется стать машиной.

Искусственный интеллект развивается куда быстрее, чем могли предположить его создатели - нас окружают миллионы устройств, которые по вычислительным способностям значительно куда умнее человека. Теперь представьте следующий этап, когда мозг станет частью этой сети: вроде возможности открываются безграничные - не нужно учить языки, вообще любые накопленные человечеством знания легко скачать прямо в голову, но с другой стороны человек фактически становится флэшкой. Какая уж тут индивидуальность или несвойственная машинам способность мыслить нестандартно! Да и вообще любую флешку можно отформатировать…

Сейчас нам только кажется, что мы способны обрабатывать все новые потоки информации из нескольких источников сразу - в реальности человек просто теряет элементарные способности, доверившись технологиям. Машины и так уже многое делают за нас - автомобили сами паркуются, поисковики в интернете готовы ответить на любой вопрос, виртуальные помощники сами звонят нашим друзьям. Лень как двигатель прогресса. Выходит, «двое из ларца» здорово поумнели с тех пор, как человечество открыло ящик Пандоры.

Вы что это, и конфеты за меня есть будете?

Стюарт Рассел

Что такое искусственный интеллект?

Распространённые заблуждения

Каким образом ИИ будет приносить пользу обществу?

Распространенные заблуждения

Что такое машинное обучение?

Распространенные заблуждения

Что такое нейронная сеть?

Распространенные заблуждения

Что такое глубинное обучение?

Распространенные заблуждения

Глубинное обучение - это новая область, которая в значительной мере вытеснит машинное обучение. Сообщество исследователей нейронных сетей занимается глубинным обучением уже больше двадцати лет. Недавние успехи достигнуты за счет относительно малого усовершенствования алгоритмов и моделей, а также за счет доступности объемных наборов данных и гораздо более мощных наборов компьютеров.

Что такое сильный и слабый ИИ?

Распространенные заблуждения

«Сильный ИИ» означает исследования ИИ, целью которых служит универсальный ИИ человеческого уровня. Это допустимая интерпретация термина «сильный ИИ», хотя это не то, что он означал при своем появлении в 1980 г. Аналогично, «слабый ИИ» используют для описания ИИ, нацеленного на специфические, узкие задачи, такие как распознавание речи или создание рекомендательных систем. (Также известен как «инструментальный ИИ».) Конечно, ни у кого нет авторского права на эти термины, однако использование существующих технических терминов для обозначения чего-то совсем другого легко приводит к путанице.

Что такое УИИ, ИСИ и сверхразум?

Распространенные заблуждения

Что такое закон Мура?

Распространенные заблуждения

Позволяет ли закон Мура предсказать появление сверхразума?

Распространенные заблуждения

Наращивание мощи машин означает увеличение их интеллекта. Эта тема очень часто поднимается в дискуссиях о будущем ИИ, однако она берет свое происхождение из путаницы между понятием «мощный» применительно к человеческому интеллекту и намного более простым понятием «мощный» при описании компьютеров, т. е. числа операций в секунду.

Что такое машинный IQ?

Распространенные заблуждения

Машинный IQ возрастает согласно закону Мура. Поскольку такой вещи, как машинный IQ, не существует, он не может возрастать. Закон Мура относится к только к «сырой» производительности компьютера и никак не связан с существованием алгоритмов, способных решить ту или иную конкретную задачу.

Что такое взрывное развитие ИИ?

Распространенные заблуждения

Как только машины достигнут интеллекта человеческого уровня, взрывное развитие ИИ станет неизбежным. С другой стороны, логически возможно, что проблема проектирования поколения N + 1 слишком сложна для любой машины поколения N. Также вероятно, что построенные нами машины будут превосходить людей в одних важных аспектах, но отставать от них в других. Они могут превзойти людей в решении важных проблем, таких как проблема нищеты, лечение рака и т.п., оставаясь при этом неспособными предложить что-то новаторское в области исследований ИИ.

Когда системы ИИ станут более разумными, чем люди?

Распространенные заблуждения

Этого никогда не случится. Делать прогнозы о научных прорывах - на редкость неблагодарное занятие. Так, 11 сентября 1933 г. лорд Резерфорд, пожалуй, самый известный ядерный физик своего времени, сказал большой аудитории на ежегодном съезде Британской ассоциации содействия развития науки, что «Каждый, кто надеется, что преобразования атомных ядер станут источником энергии, исповедует вздор». (Он говорил аналогичные вещи во многих других случаях, используя множество формулировок, все из которых по существу означали, что высвобождение ядерной энергии невозможно.) На следующее утро Лео Силард открыл индуцированную нейтронами цепную ядерную реакцию, и вскоре после этого запатентовал ядерный реактор.

Что могут системы ИИ сейчас?

Распространенные заблуждения

Как ИИ повлияет на человечество в ближайшем будущем?

Распространенные заблуждения

Роботы готовы захватить власть. См. раздел «Когда системы ИИ станут более разумными, чем люди?» В подавляющем большинстве случаев прогресс в области ИИ происходит пошагово и относится к тому, как сделать компьютеры и роботов более полезными. Тем не менее, в долгосрочной перспективе проблема сохранения людского контроля остается важной.

Распространенные заблуждения

Любая работа, которую выполняет робот, означает меньше работы для людей. Работа - не игра с нулевой суммой: человек, которому помогает команда роботов, может быть намного более продуктивным и, следовательно, гораздо более востребованным; без помощи роботов работа человека, сделанная с тем же самым старанием, может оказаться экономически неоправданной, и ни человек, ни роботы не делали бы ничего. Из тех же соображений доступность малярных кистей и валиков означает работу для маляров: если краску было бы необходимо наносить по капельке кончиком иглы, не было бы возможности нанимать маляров для покраски зданий.

Что такое дроны, автономное оружие и роботы-убийцы?

Распространенные заблуждения

До полностью автономных систем вооружения осталось 20–30 лет. Данное утверждение повторяется во многих статьях о дискуссиях в Женеве по поводу LAWS. Источник этого заблуждения неясен, однако, по-видимому, оно проистекает из переоценки. Технологии развертывания автономных вооружений по большей части готовы к использованию; Министерство обороны Великобритании заявило без лишних деталей, таких как применение в морском бою, что создание полностью автономных вооружений «может быть осуществимым теперь».

Надо ли бояться роботов-убийц, кидающихся на всех или захватывающих власть во всем мире?

Распространенные заблуждения

Мы можем просто нажать на выключатель. Выключатель сделает любую автономную систему вооружения уязвимой для кибератак, следовательно, такие каналы связи лучше отключать. Кроме того, если обладающей универсальным интеллектом системе дать задание для выполнения, у нее появится мотивация сопротивляться выключению.

Что такое экзистенциальный риск, связанный с ИИ? Он реален?

Тем не менее, доказательство очень простое.

Представьте сверхразумную систему, предназначенную для достижения определенной цели, точно указанной человеком-проектировщиком. Теперь представим, что эта цель не совсем согласуется с ценностями рода людского, определиться с которыми очень трудно (и это в лучшем случае).
Любая достаточно способная разумная система будет стремиться обеспечить непрерывность своего существования, а также захватить физические и компьютерные ресурсы - не ради себя, а для достижения успеха в выполнении задания.

Распространенные заблуждения

Этого никогда не случится. См. «Когда системы ИИ станут более разумными, чем люди?»

Почему люди ни с того ни с сего стали беспокоиться об ИИ?

Распространенные заблуждения

Если люди волнуются, значит, до сверхразумного ИИ рукой подать. Вряд ли найдется исследователь ИИ, который думает, что до сверхразумных машин рукой подать. (См. раздел «Когда системы ИИ станут более разумными, чем люди?») Это не значит, что мы должны ждать до того момента, чтобы воспринимать проблему серьезно! Если мы обнаружим астероид диаметром 10 миль, траектория движения которого пересечется с Землей через 50 лет, разве мы отмахнемся от этой новости со словами: «Я уделю ей внимание, когда до столкновения будет 5 лет?».

Каким будет прогресс ИИ в ближайшие десятилетия?

Что такое «сопоставление ценностей»? Какое оно имеет значение?

Распространенные заблуждения

Все, что нам нужно, - это законы робототехники Азимова . Законы Азимова имеют достаточно смысла для человека, чтобы сформировать основу различных сюжетов рассказов, однако без значительного дальнейшего уточнения для робота они практически не несут полезной информации. Основа законов в виде набора правил, а не функции полезности, создает проблемы: их лексикографическая структура (т. е. тот, факт, что любой вред людям всегда более важен, чем весь вред роботам) означает, что нет никакой неопределенности и невозможно компромиссное решение. Так, роботу придется спрыгнуть с обрыва (и разрушить себя), чтобы поймать комара, который мог бы когда-нибудь в будущем укусить человека. Робот должен запереть дверь в автомобиль, потому что когда человек садится в машину, риск вреда для него повышается. Наконец, при подходе, направленном на максимизацию полезности для человека, нет необходимости в третьем законе (самосохранение робота), поскольку робот, который не поддерживает собственное существование, не может внести вклад в полезность для человека и, конечно, разочарует своего хозяина.

Что сообщество, занимающееся ИИ, предпринимает в связи с экзистенциальным риском?

Распространенные заблуждения

Регулировать или контролировать исследования невозможно. Некоторые утверждают, что невозможно избежать отрицательных последствий, поскольку прогресс исследований не остановить и невозможно регулировать. На самом деле, это заявление - ложь: Асиломарская конференция 1975 г. по рекомбинантной ДНК успешно наложила добровольный мораторий на эксперименты, цель которых заключалась в создании наследуемых генетических модификаций у людей; в наши дни этот мораторий не только действует, но и стал международной нормой. Кроме того, если исследования по созданию ИИ человеческого уровня будут протекать бесконтрольно, что вполне может случиться, еще важнее начать серьезное изучение методов, гарантирующих, что системы ИИ останутся под нашим контролем.

Чем я могу помочь?

Распространенные заблуждения

Сделать ничего нельзя: эти вещи случатся, и никакие действия с нашей стороны не изменят будущее. Ничто не может быть дальше от истины. Мы не можем предвидеть будущее, потому что мы его создаем. Это коллективный выбор.

Сергей Скептик, Pion

В 1832 году коллежский асессор Семен Николаевич Корсаков, пионер российской кибернетики, создал «гомеоскоп» - классифицирующее логическое устройство, которое автоматизировало процесс сравнения идей и понятий. С тех пор системы искусственного интеллекта ушли далеко вперед. О прошлом, настоящем и будущем таких систем рассказал кандидат физико-математических наук, ученый секретарь Курчатовского комплекса НБИКС-технологий НИЦ «Курчатовский институт» Вячеслав Демин в лекции, состоявшейся в образовательном центре «Сириус». «Лента.ру» публикует выдержки из его выступления.

Мозг и компьютер

На данном этапе все усилия по созданию искусственного интеллекта направлены на то, чтобы снять часть нагрузки с человеческого интеллекта, создать помощника для обработки плохо структурированной информации.

Самая очевидная задача - работа с большими объемами информации. Это направление так и называется: «Большие данные» (Big data). Самый яркий пример - Большой адронный коллайдер. БАК генерирует несколько петабайт (1 Пб = 1 000 000 Гб) информации в секунду. Она поступает в различные информационные центры по всему миру, где обрабатывается компьютерами, после чего передается физикам для анализа.

Но работа с большими объемами информации выявила слабое место современных компьютеров. Сейчас в вычислительной технике используется так называемая архитектура фон Неймана: память и процессор физически разделены и общаются друг с другом посредством шины, которая находится между ними. Чтобы выполнить команду, процессор посылает запрос в память, та извлекает из определенной ячейки данные, отправляет их в процессор, затем из памяти запрашивается команда для выполнения и вновь загружается в процессор, и так далее.

Постоянно идет передача данных в обоих направлениях, и узкое горлышко шины ограничивает производительность общего процесса вычислений. Конечно, сегодня эту проблему отчасти снимают многоядерные процессоры, когда информация делится между разными ядрами, обрабатывается в них одновременно, а потом результаты сливаются в каком-то одном ядре.

Человеческий мозг устроен иначе: его архитектура принципиально параллельна, а не последовательна. Память и вычисления в мозге реализуются в одних и тех же структурах - в нейронах. Каждая нервная клетка похожа на крохотный процессор, выполняющий простейшую функцию. Совокупность же большого числа таких элементарных процессоров способна производить довольно сложную обработку нечетко структурированной информации. Если такую схему удастся воплотить и в компьютерах, скопировав принцип действия работы нейронов, это станет прорывом.

У каждой нервной клетки есть отростки - аксоны, по которым передается информация, и дендриты, принимающие информацию. Соединение аксона и дендрита называется синапс. Когда происходит генерация «спайка», то есть собственного электрохимического возбуждения клетки, с помощью нейромедиаторов ток идет от одного нейрона к другому. Синапс при этом пластичен, он может менять эффективность передачи сигнала, варьируя степень выделения при передаче и/или чувствительности приема нейромедиатора.

Кадр: фильм «Я, робот»

Считается, что память формируется за счет пластичности синапсов: некоторый набор синаптических проницаемостей определяет какое-то определенное воспоминание, которое воспроизводится при распространении сигнала через этот набор синапсов. Если ученые смогут создать систему искусственного интеллекта, в которой аппаратно будет использоваться тот же принцип, то есть обработка и хранение информации в одних и тех же функциональных элементах (искусственных нейронах-процессорах с пластичными соединениям между ними), это выведет технологии на новый уровень. Достаточно серьезные и успешные попытки есть, но работы еще очень много.

Распознавание и осмысление

Уже сейчас компьютерные системы неплохо справляются с распознаванием образов и звуков. Но искусственный интеллект по-прежнему не осмысляет данные, любое изображение так и остается для него набором непонятных черточек. Тем не менее компьютер может и номера превышающих скорость автомобилей разобрать, и речь в печатный текст превратить, и понравившуюся песню узнать.

Не осмысляет машина и происходящее на биржах, но, основываясь на накопленных финансовых данных, она научилась довольно точно предсказывать, что произойдет в следующий момент на рынках, и автоматически отдает команду покупать либо продавать акции. Так работает современный «быстрый трейдинг». Прогнозирование (например, погоды или ситуации на дороге) - еще одно направление, успешно реализуемое уже сегодня.

Все эти задачи под антропоморфные алгоритмы решения относятся к так называемым некорректным задачам, когда известны не все данные для их однозначного решения, а значит, и решить такую задачу можно лишь примерно: чем больше существует ее параметров (условий), тем больше вариантов решения. При этом если задача не может быть решена в одно действие, то есть состоит из последовательности шагов, и на каждом шаге есть несколько вариантов допустимых действий, то количество комбинаций, приводящих в итоге к решению задачи, очень быстро растет в зависимости от количества шагов (или «размерностей» задачи). Это называется «проклятием размерностей».

Более того, в реальности на каждом шаге мы видим фактически бесконечное число вариантов допустимых действий (до стакана на столе можно дотянуться бесконечным числом вариантов), а следовательно и общее количество способов решения проблемы бесконечно. Держать все возможные варианты в голове человек просто не может, потому мозг и мыслит только целями и концепциями, решая некорректные задачи лишь приблизительно оптимально и побеждая тем самым «проклятие размерностей».

Фото: Long Hongtao / Xinhua / Zumapress / Globallookpress.com

Это умение и позволяет нам существовать в реальном мире. Человеческий интеллект так может, искусственный - пока очень условно, лишь для ограниченного набора технических задач. При этом обычно под каждую техническую некорректную задачу строится свой алгоритм решения (например, специальная архитектура искусственной нейронной сети), что разительно отличает современный искусственный интеллект от мозга, способного решать все типы предлагаемых ему задач.

Адаптивность

Не может искусственный интеллект пока продемонстрировать и высокую степень адаптивности. Большинству существующих систем не поможет даже полный объем информации о резко меняющихся условиях, чтобы на них среагировать. Выбить стул из-под робота проще простого, даже если он увидит ваше движение. Выбить стул из-под человека, который хоть краем глаза успеет заметить, что что-то происходит, сложнее.

В последнее время в этой области появились успехи: созданы роботы-носильщики (например Big Dog агентства DARPA), способные удерживать равновесие в ответ на толчки и подножки. В то же время это опять специфическая система, разработанная под конкретную задачу и не обладающая универсальностью в адаптации к другим условиям и тем более - в решении других задач.

Но не только ради создания систем искусственного интеллекта следует изучать мозг. Еще одна важная цель находится в области медицины. Примерно 130 миллионов человек в мире страдают от различных болезней мозга. Среди них и всемирно известный физик Стивен Хокинг - у него боковой амиотрофический склероз, он прикован к инвалидному креслу. По каким-то причинам у него в мозге не работают моторные нейроны, которые генерируют сигнал к мышцам, но при этом все остальные участки коры функционируют прекрасно. Все признают, что Хокинг - гений. 67 миллионов человек страдают от болезни Альцгеймера, но полная картина возникновения этого заболевания неясна. Современная наука знает о мозге так много - и в то же время так мало!

Еще одно направление, ради которого необходимо изучать мозг, - это создание интерфейсов «мозг-компьютер». Такая система позволит управлять роботом или любым другим устройством (протез, система «умный дом», смартфон, программа и тому подобное) в буквальном смысле силой мысли, передавая команды с лобных долей коры на компьютер или специальный чип, контролирующий необходимое устройство.

Перспективна и такая область исследований, как создание нейроаниматов, то есть робототехнических устройств, управляемых живыми культурами нервных клеток в пробирке. Суть состоит в том, что на дне лабораторного сосуда, в так называемой чашке Петри, располагаются электроды, на которые высаживаются живые нервные клетки и добавляются необходимые питательные вещества. Вскоре там образуется и начинает расти живая нейронная сеть. Ее можно пытаться обучать с помощью электродов управлению необходимым устройством (аниматом).

Я называю это запасным вариантом создания искусственного интеллекта. Если не удастся его сделать из неживой материи, то можно попробовать вырастить управляемые биологические сети. Отмечу, что в Курчатовском комплексе НБИКС-технологий НИЦ «Курчатовский институт» реализуются все перечисленные мною направления.

Умная машина

Существует два базовых подхода к разработке искусственного интеллекта. Первый - так называемый нисходящий, или символьный подход подразумевает создание баз знаний, экспертных систем и систем логического вывода. Предполагается, что система сможет имитировать мышление, рассуждение, речь, эмоции, даже творчество. Это путь наиболее проработанный, но соответствующие программы до сих пор весьма далеки от человеческого мышления.

Второй подход - восходящий - предполагает, что искусственные нейронные сети смогут моделировать архитектуру, свойства и поведение своего биологического прообраза, что приведет к созданию интеллектуального нейрокомпьютера. Если апологеты первого направления в большинстве своем разочаровались в создании мыслящей программы, то сторонники второго подхода поделились на два примерно равновеликих лагеря. Одни считают, что сильный искусственный интеллект возможен, другие - что нет.

Первые считают, что искусственный интеллект сможет когда-либо самостоятельно мыслить, обладать сознанием и осознавать себя, вторые уверены, что не сможет. Я отношусь к первым, так как никто еще не доказал обратного и даже не построил достаточно полной модели мозга с учетом хотя бы минимального набора наиболее важных его подсистем. Однако мыслящий искусственный интеллект если и возможен, то является очень далекой перспективой.

Фото: Chip Somodevilla / Getty Images

В Европе есть проект «Мозг человека» (Human Brain Project). На суперкомпьютере пытаются моделировать мозг. Создали детализированную модель одного миллиона нервных клеток неокортекса. На симуляцию одной секунды деятельности этой сети суперкомпьютер тратит от нескольких часов до суток, в зависимости от степени детализации модели.

Как определить момент, когда будет создан полноценный искусственный интеллект? Есть много вариантов ответа на этот вопрос, которые условно делятся на две большие группы. Например, Алан Тьюринг, знаменитый британский математик, известный в том числе благодаря взлому кода легендарной шифровальной установки фашистов «Энигма», считал, что машина станет разумной тогда, когда сможет общаться с человеком, а тот не поймет, что собеседник - не человек.

Второй подход чаще всего пропагандируют писатели-фантасты: когда машина научится чувствовать и творить. Правда, пока еще не выдвинуты однозначные критерии проверки указанных действий. Кто прав - покажет время. А пока требуются дальнейшие захватывающие исследования, которые дадут ответы на глубочайшие вопросы относительно нашего с вами самоопределения в этом мире - тайны разума.