Спросите Макса Тегмарка, почему люди должны читать его новую книгу и участвовать в дискуссии об искусственном интеллекте, и вы получите весомый ответ. Забудьте об объемах продаж, речь идет о проблеме поистине космических масштабов: судьба Вселенной может зависеть от решений, принимаемых «здесь, на нашей маленькой планете, в течение нашей жизни», — говорит он.
В своей книге «Жизнь 3.0: быть человеком в эпоху искусственного интеллекта» Тегмарк сначала объясняет, как сегодняшние разработки в сфере ИИ могут привести к созданию сверхразумного ИИ, а затем идет дальше и рассматривает варианты будущего, которые могут наступить в результате этого. Они не обязательно безнадежны. Но в худшем случае человечество вымрет, а ему на смену придет искусственный интеллект, обладающий огромными умственными способностями, но не имеющий сознания. Если все чудеса космоса продолжат существовать без разума, обладающего сознанием, чтобы их оценить, Вселенная станет бессмысленным «пустым пространством», утверждает Тегмарк.
Профессор физики Массачусетского технологического института, он стал одним из главных адептов исследований в сфере безопасности ИИ. Его глубокомысленная книга опирается на работу Ника Бострома «Сверхинтеллект», напугавшую самого Илона Маска. В ней шведский философ подробно описывает, как перенавернутый ИИ может привести к исчезновению человечества.
Почему он не согласен с Яном Лекуном
В прошлую пятницу у вас была дискуссия об ИИ с Яном Лекуном, одним из наиболее значимых ученых в этой сфере. Лекун высказал мнение, что пока мы не представляем, какую форму обретет сверхразумный ИИ, преждевременно исследовать и механизмы контроля над ним. Почему вы с ним не согласились?
То, что мы не знаем, что именно пойдет не так, не значит, что мы не должны вообще об этом думать. Это основная задача инженеров по технике безопасности: вы много думаете над тем, что может произойти, чтобы это предотвратить. Многие люди склонны связывать подобный подход с паникерством. Но когда руководители программы «Аполлон» прежде, чем отправлять ракету с космонавтами на Луну, тщательно продумали все, что могло пойти не так, они не были паникерами. Они делали именно то, что в конечном итоге привело к успеху миссии.
Так же нужно относиться и к ИИ. Мне очень нравится эта метафора с ракетой. До сих пор основное внимание уделялось тому, чтобы сделать ИИ как можно мощнее, не беспокоясь о том, как им управлять. Так же было с ракетными исследованиями до создания хороших ракетных двигателей — лишь после того как они появились, разработчики начали думать над тем, как управлять ракетами.
Нам нужно думать о том, как управлять ИИ уже сейчас. Как нам превратить современные, глючные и неустойчивые к взлому системы, в системы, которым мы действительно можем доверять и быть уверенными, что они делают лишь то, что мы от них хотим? Как нам научить машины понимать наши цели, принимать их и поддерживать?
«На самом деле, мне не нравится, когда люди спрашивают, что произойдет в будущем»
В вашей книге описаны 12 вариантов будущего, которые могут возникнуть в результате попыток человечества создать сверхразумный ИИ, — от утопических до трагических. Вы попросили людей в интернете голосовать за тот сценарий, который они сочтут более вероятным. Учитывая, что сейчас мы все еще весьма далеки от создания подобного интеллекта, почему, по-вашему мнению, так важно заниматься этим уже сегодня?
Что интересно в этих сценариях: независимо от того, насколько я пытался сделать каждый из них максимально позитивным, нет ни одного варианта, относительно которого у меня бы не было никаких опасений. Гораздо сложнее представить себе рай, чем ад, и вы можете проследить эту тенденцию в мировых религиях.
Но именно позитивные результаты позволяют налаживать сотрудничество, заставляют людей откладывать свои мелкие интересы и сосредотачиваться на той великой цели, которую они представляют. Концентрация на рисках приводит к фрагментации общества, которой у нас и без того сейчас хватает. Голливуд не помогает. Картины будущего в кино, как правило, почти всегда дистопичны. Когда я спрашиваю своих друзей о том, каким бы они хотели видеть общество через 30 или 50 лет, они обычно не сильно задумываются над этим, и просто выдают мне список вещей, которых хотели бы избежать.
Только представьте, умы скольких инженеров будоражили описания межпланетных путешествий и телекоммуникаций в книгах Жюля Верна. Вот почему я хотел написать более обнадеживающую книгу. Думаю, это очень важно, чтобы люди думали о том, каким бы они хотели видеть свое будущее. Если они не будут об этом думать, у них будет меньше шансов, что оно наступит именно таким.
Какой из этих 12 сценариев вам кажется наиболее правдоподобным?
На самом деле мне не нравится, когда люди спрашивают, что произойдет в будущем, как будто оно просто само случится с нами. Я бы предпочел, чтобы они спрашивали, что мы можем сделать сегодня, чтобы сделать это будущее хорошим?
Мы можем создать отличное высокотехнологичное будущее, пока выигрываем гонку между растущей мощью технологий и мудростью, с которой мы ими управляем. На данный момент мы учимся на ошибках по-старинке. Мы изобрели огонь, наделали кучу ошибок, и изобрели огнетушитель. Мы изобрели автомобиль, наделали кучу ошибок, и изобрели ремень безопасности. Но с такими вещами, как ядерное оружие и сверхразумный искусственный интеллект нам бы не хотелось учиться на ошибках. Мы должны сделать все правильно с первого раза, потому что он может оказаться единственным.
Это означает, что нам уже нужно работать над безопасностью ИИ, к которой мы сейчас относимся чересчур легкомысленно. Все те миллиарды, которые были потрачены на разработку ИИ, лишь делают его мощнее. Я не призываю замедлить этот процесс, я призываю ускорить процесс в сфере безопасности ИИ.
Какие типы исследований в сфере безопасности ИИ нам стоит финансировать
Вы сыграли важную роль в том, чтобы соответствующие исследования начались. Вы создали Институт Будущего Жизни, на базе которого в 2015 году была проведена конференция в Пуэрто-Рико. В ней приняли участие ведущие ученые в этой области, а Илон Маск предоставил $10 млн на гранты по изучению безопасности ИИ. Этому примеру последовали и другие учреждения и исследовательские группы.
Да, но мы бы хотели сделать больше. Мы хотели развить эту идею, надеясь, что крупные инвестиционные фонды по всему миру активизируют поддержку столь перспективной отрасли... Но этого пока не случилось. Я очень надеюсь на то, что нам удастся обратить внимание некоторых правительств из тех, что склонны вкладывать средства в развитие IT, на исследования в сфере безопасности ИИ, как составной части целого процесса. Таким образом, мы сможем получить и свой небольшой кусочек общего пирога. Вы бы никогда не стали финансировать исследования в области ядерной энергии, не занимаясь исследованиями в сфере ядерной безопасности.
На конференции в Пуэрто-Рико были установлены приоритеты исследований в области безопасности ИИ. Если перспектива появления сверхразумного ИИ все еще находится в отдаленном будущем, то какие практические исследования в этой области можно проводить уже сейчас? И финансируете ли вы также философов и этиков в данной сфере?
Речь идет о зарождении подобных исследований. До нашей конференции в Асиломаре (в январе 2017 года) у нас был двухдневный семинар, на котором все 37 команд, финансируемых нашими первоначальными грантами, представили свои исследования. В ходе этого семинара Моше Варди сказал, что исследование можно считать успешным, когда его обсуждение становится скучным: эти презентации были полны уравнений и матриц. Вы можете просмотреть список всех тем исследований и публикаций на сайте «Будущего жизни».
Большая часть финансирования была направлена на работу над такими аспектами, как предсказуемость, надежность и определение целей. Но мы также финансируем людей, работающих над проблемами более этического плана, такими как автономное летальное оружие и влияние ИИ на занятость людей. Они пытаются понять, как распределить блага, если все они станут создаваться искусственным интеллектом. Нельзя обеспечить благотворное влияние ИИ на нашу цивилизацию лишь только при помощи уравнений.
Могут ли эти разработки предоставить нам методы, которые решат проблему контроля над сверхразумным ИИ?
Важно не увязывать краткосрочные и долгосрочные проблемы, связанные с ИИ. Возможно, спустя десятилетия перед нами встанет вопрос, как бороться со сверхразумным ИИ. Хорошо, что для решения большинства долгосрочных технологических проблем есть соответствующие вопросы в краткосрочной перспективе.
Предположим, кто-то говорит вам, что разработал фантастическую систему для сверхразумного ИИ, которая делает буквально все, что вы захотите... но ее взломали. Если мы не сможем решить проблемы кибербезопасности на начальном уровне, вся эта передовая работа бесполезна. Поэтому верификация, валидация и защита — это важный шаг в данном направлении. Уже сейчас мы также можем работать над вопросами предсказуемости: если вы собираетесь довериться какой-то очень продвинутой системе, вы хотите знать, каковы ее цели, и должны убедиться, что они совпадают с вашими. В прошлом году ProPublica провела исследование в судах, использующих машинные системы отбора стажеров. Оказалось, что система была расово предвзятой. Из-за недостаточной предсказуемости она начала делать то, что мы бы не хотели, чтоб она делала. Вот почему моя исследовательская группа в Массачусетском технологическом институте работает над тем, что мы называем разумным интеллектом.
Вопрос сознания
Почему вы считаете, что исследование ИИ должно включать в себя изучение сознания?
Сначала нам нужно определиться с тем, что понимать под словом «сознание». Когда я говорю о сознании, я просто имею в виду субъективный опыт: то есть он ощущает себя таким же как я.
Мне кажется примечательным, как многие очень умные люди не понимают, что мы можем чего-то не замечать просто потому, что оно нам слишком хорошо знакомо. Люди сотни лет знали, что Луна не падает, не думая о причинах, пока Ньютон не нашел эту причину.
Мы знаем, что свет с длиной волны 700 нанометров распространяется так, а свет с длиной волны 400 нанометров — иначе: один мы называем красным, а другой — фиолетовым. Люди так привыкли к этому, что не задумываются, почему мы воспринимаем их именно так, а не иначе? Мы совершенно не имеем понятия. Это такой субъективный опыт, который выходит за пределы длины волны света.
Мы традиционно считали интеллект и сознание чем-то таинственным и особенным, присущим биологической жизни. Но по своему опыту физика я смею утверждать, что это лишь формы обработки информации, причем кварки и электроны движутся в соответствии с законами физики. Мне не нравится этот «углеродный шовинизм», который утверждает, что сознание может присутствовать лишь в чем-то, сделанном из атомов углерода. Мы уже видим, что обладать мощным разумом может и нечто, созданное из кремния. Я думаю, вполне логично, что из кремния также можно создать нечто, имеющее сознание.
Если в долгосрочной перспективе допустить, что ИИ сможет обладать сознанием, то каковы краткосрочные задачи, над которыми людям нужно работать в этом направлении?
У разума нет какого-то тайного ингридиента. Я думаю, что и у сознания его нет, есть лишь несколько формул, которые мы еще не открыли. Нам просто необходимо определить свойства, которые должны быть у обработчика информации для того, чтобы у него появилось сознание.
Джулио Тонони выдвинул одну теорию, возможно, правильную, а может быть и нет, но он считает, что мы можем начать тестировать ее на себе, наблюдая за сознательной и бессознательной деятельностью собственного мозга. Если мы найдем правильный способ определять, какая из обработанной в нашей голове информации является сознательной, то мы могли бы перенести ее на других: домашних животных, роботов, пациентов, находящихся без сознания в отделении неотложной помощи.
Мы привыкли воспринимать саму жизнь как таинство. Разница между живой букашкой и мертвой букашкой заключалась в том, что у первой была некая élan vital, некая жизненная сущность. Но сегодня инженер воспримет их как два механизма, один из которых поломался. Точно так же разница между разумными и неразумными формами материи заключается в том, насколько они хороши при обработке информации определенными способами. А разница между сознательной и бессознательной системами обработки информации — это некое свойство, которое нам еще не удалось описать математически.
Космический оптимизм против Космического пессимизма
Несмотря на то, что вы считаете, будто сознание может быть объяснено движением кварков и электронов, это, похоже, не уменьшает ваше восхищение человеком как видом.
Во вступлении к первой главе я рассказал о том, как был поражен чудесными узорами, которые создают наши электроны и кварки в нашей вселенной. Когда люди говорят: «Не могу поверить, что я всего лишь мешок кварков», я возражаю против использования слов «всего лишь». Это не просто частицы, а важный образец. Шаблон, в который помещаются частицы, формирующие наш мозг, является самым сложным образцом, который когда-либо видела Вселенная.
В своей книге вы говорите, что все величие Вселенной окажется бессмысленным, если вокруг не будет существ, обладающих сознанием, чтобы это ощутить. Поэтому если люди создадут сверхразумный, но бессознательный ИИ, который уничтожит наш вид, это может привести к Апокалипсису космических масштабов. Ставки и правда настолько высоки?
В книге я противопоставил мнения двух моих любимых ученых и друзей: Стивена Вайнберга и Фримена Дайсона. Первый сказал, что чем больше мы понимаем нашу Вселенную, тем меньше в этом становится смысла. Тогда как Фримен Дайсон утверждает, что на шкале космической истории жизнь является лишь крошечным возмущением в безжизненной Вселенной — но в будущем она может полностью трансформировать эту Вселенную.
Посмотрите на фотографию Манхэттена с высоты птичьего полета сегодня и сравните ее с изображением острова 1 миллион лет назад. Тогда жизнь совершила крошечное возмущение, благодаря ей весь остров утопал в зелени. Теперь же он полностью преобразился. И так же, как жизнь изменила Манхэттен, нет причин считать, что она не может трансформировать космос.
Я оптимист, а не пессимист, и в данном случае я согласен с Дайсоном. Наша Вселенная не дает смысл нашему существованию, это мы даем смысл существованию нашей Вселенной..
ИИ как «Ребенок всего человечества»
Одним из возможных будущих, которые вы описываете, является сценарий под названием «Потомок». Согласно ему люди создадут ИИ, обладающий сознанием, который положит конец нашему виду, но затем продолжит распространять свою форму разумной жизни по всей галактике. Вы рассматриваете данный исход как позитивный?
Если нам удается вырастить детей, которые продолжают реализовывать мечты, которые мы не смогли реализовать сами, то мы можем ими гордиться, даже если не доживем до этого момента. Но если мы вместо этого воспитаем следующего Адольфа Гитлера, который уничтожит все, что нам близко, это будет не так здорово. Вот почему мы прилагаем столько усилий для воспитания наших детей: чтобы они приняли наши ценности. Вот, что мы, как общество, должны делать, создавая сверхразумный ИИ — научить его принимать наши ценности. Это проще сказать, чем сделать. Но рождение ребенка — это большая ответственность. И если это ребенок всего человечества — ответственность еще больше.
Как вы лично относитесь к такому сценарию? Вас устраивает возможная замена человечества другой цивилизацией?
Не уверен. Сценарий «Потомок» очень нравится моей жене, и его активно обсуждают на нашем сайте. Я хочу чаще об этом думать и призываю к этому всех. Подобные дискуссии не стоит оставлять кучке компьютерных гиков вроде меня.
Думаю, это здорово, что IT-сообщество включилось в обсуждение технических сторон, что они говорят о том, как создать надежные машины, которым можно будет доверять, что они изучают, как ставить цели. Но при этом также встает вопрос о том, какие цели мы хотим поставить на первое место, а для этого нам необходим вклад более широких слоев общества.
Частично поэтому я и написал свою книгу. Это дискуссия, к которой всем необходимо присоединяться. Но для того, чтобы это можно было сделать конструктивно, нам необходимо рассказать о том, какие на самом деле существуют проблемы и возможности. В противном случае это выродится в панические атаки, вроде тех, что устраивают британские таблоиды.
В конце концов, это очень захватывающая возможность. Все, что мне нравится в нашей цивилизации, является продуктом разума. Если нам удастся создать полезный сверхразум, это способно помочь человечеству достичь большего процветания, чем когда-либо прежде.
