Чем опасен искусственный интеллект? Чем опасен искусственный интеллект и стоит ли его бояться 

В этом материале я попробую развернуть вопрос, вскользь затронутый в публикации Gatebox или несколько мыслей о будущем искусственного интеллекта.

Вкратце «мой» тезис состоит в том, в случае достижения сверхчеловеческого уровня, ИИ станет чем-то вроде бога — либо существующего отдельно от человека, либо вместе с ним. В первом случае вопрос о сосуществовании человечества с созданным им богом остается открытым: либо оно будет нас всячески опекать (как мы опекаем редкие растения), либо истребит (как мы истребляем, например, вредный сорняк у себя в огороде), либо не будет испытывать к нам какого-либо интереса — подобно тому, как мы мы равнодушны к какой-нибудь травке на газоне. Предсказать цели и систему ценностей новоявленного бога совершенно невозможно — как сказал бы верующий, «неисповедимы пути Господни».

Менее непредсказуемым является поведение ИИ, занявшего промежуточную форму между гипотетическим будущим богом и нынешними относительно примитивными системами. Условно такой ИИ называется сильным и по своему уровню соответствует человеческому. Его в свою очередь можно разделить на две категории — с самосознанием и без такового. Что есть самосознание — вопрос открытый и очень сложный. В моем понимании это набор физических и психических ощущений, выработанных природой за миллионы лет эволюции. Ключевой особенностью самосознания является противопоставление его носителя окружающему миру. Возможно ли его воспроизвести искусственно, возникнет ли оно собой у интеллектуальной системы (которая вдруг и возьмет и осознает саму себя) — предмет отдельного большого обсуждения. Мы же пока просто зафиксируем возможность обоих вариантов и рассмотрим каждый из них.

С моей точки зрения сильный ИИ без самосознания вполне безопасен (или точнее — предсказуем), поскольку не может иметь никаких желаний. Все его поведение будет подчинено заложенным в него целям и ограничениям. Но как ни странно, в этом отношении сильный ИИ с самосознанием принципиально не отличается от сильного ИИ без самосознания. Нам только кажется, что мы имеем свободную волю и самостоятельны в своих поступках — на самом деле это не так. Все наши цели, потребности и сдерживающие начала либо запрограммированы в нас матерью-природой — жить, есть, пить, любить, отдыхать и т.д., либо навязаны средой обитания (полученным в детстве воспитанием, кино и художественной литературой, законами, традициями и т.д.) — стремиться к власти, делать карьеру, помогать ближним, познавать мир и т.д. Поэтому теоретически аналогичным образом можно запрограммировать и обучить ИИ с самосознанием, который подобно нам будет питать иллюзию о наличии у него свободы воли.

С точки зрения вероятной угрозы давайте рассмотрим ИИ с самосознанием — какие он для нас может представлять угрозы, и как их можно избежать или хотя уменьшить? Очевидно, что обучение сильного ИИ в обязательном порядке должно включать в себя этику. Подобно тому, как наблюдая за поведением опытного водителя, слабый ИИ осваивает функцию автопилота, сильный ИИ можно обучить этике, «скармливая» ему литературу — начиная с относительно простых и желательно нравоучительных сказок и заканчивая книгами со сложными и противоречивыми характерами. Так или иначе мировая литература отражает как саму этику, так и её трансформацию, которая выразилась в гуманизации и глобализации социальных отношений.

Каким же образом будет происходить обучение сильного ИИ этике на базе мировой литературы? Как и всякая по-настоящему интеллектуальная система, сильный ИИ будет способен обнаруживать в наборе данных взаимосвязи и закономерности. Прочитав миллион-другой книг, он должен без особого труда выработать своего рода аналог десяти христианских заповедей, но трактовать его так же сложно, с учетом обстоятельств, как это делает человек. Прописать эти заповеди явно, наподобие трех законов робототехники Айзека Азимова, к сожалению не получится, и вот почему. Напомню их (цитирую по Википедии):

При такой постановке мы получим весьма примитивную систему с ограниченным набором действий. Например, она будет довольно беспомощна в полицейских, военных или спасательных операциях. Вы можете возразить, что применение роботов на войне как раз очень даже нежелательно — и будете неправы. Помимо того, что это снизит потери среди личного состава у страны, которая этих роботов применяет, уменьшатся потери и среди гражданского населения в стране, на территории которой ведутся боевые действия. В частности благодаря лучшему распознаванию военных целей и неукоснительному соблюдению устава, этики и т.д. — без эмоций, зачастую толкающих военных на преступления (из мести, ради забавы и т.д.)

Но даже во вполне мирной обстановке ИИ может стать убийцей поневоле, причем необязательно в качестве полицейского. Представьте, что у вашего автомобиля отказали тормоза, и он мчится по горному серпантину с большой скоростью — а впереди полный пассажиров автобус. Как это ни печально для вас, но самым правильным с этической точки зрения станет направление автомобиля в обрыв — врезавшись в автобус, он возможно сохранит жизнь вам, но при этом с высокой вероятностью убьет несколько других человек. Подобных ситуаций, требующих выбора между плохим и очень плохим решением, может быть очень много — и во всех них жестко подчиняющийся трем законам робототехники ИИ окажется беспомощным.

Будем считать, что я убедил вас в обязательности обучения сильного ИИ этике, после чего можно приступить к его обучению более формальной системе правил — законам, уставам, должностным инструкциям и т.д. Они будут иметь для него приоритетный характер, но будут дополняться этикой в тех вопросах, которые ими не регламентированы. Например, обученный воевать ИИ-военный будет уметь не только уничтожать противника, но и соразмерять свои профессиональные действия с этикой. Это порождает оромное множество чисто практических вопросов: можно ли уничтожать снайперское гнездо в жилом доме ценой гибели его жителей, надо ли выполнять приказ командования, который нарушает законы и т.д. и т.п. Но обсуждать их нет смысла по той причине, что с подобными вопросами сталкивается любой военный. Поэтому их решение лежит скорее в технической области — чему и какой приоритет отдан.

Более интересный, на мой взгляд, вопрос касается перспектив переосмысления этики сильным ИИ. Как я уже говорил, на протяжении существования человеческой цивилизации этика в своей фундаментальной основе не менялась — перемены касались её гуманизации и глобализации, Эти перемены отнюдь не случайны и очень важны для оценки перспектив будущего развития этики, поэтому предлагаю рассмотреть их подробнее.

Глобализация этики означает её распространение на все более широкие слои населения. Когда-то можно было безнаказанно (это не почиталось за грех и даже поощрялось) убить, ограбить или изнасиловать кого-либо вне своего клана или племени, государства, сословия, расы — сегодня эти преступления не знают исключений, во всяком случае в рамках человеческого социума. Благодаря многовековой борьбе третьего сословия за свои права, это стало своего рода традицией, которая на Западе охватила сначала женщин, а затем представителей нетитульных рас, этнических и религиозных групп, а теперь уже и сексуальных меньшинств.

В свою очередь гуманизация обусловлена развитием технологий, сделавших жизнь человека более комфортной и защищенной. Они избавили человека от необходимости завоевания новой земли (бывшей когда-то главным ресурсом), снизили смертность (что со временем сделало раннюю, в т.ч. насильственную, смерть явлением менее обыденным). Не претендуя на полное описание причин глобализации и гуманизации этики, я тем не менее могу уверенно заявить, что они были вполне закономерными явлениями. Но главная закономерность этики заключается в стремлении социума к равновесию. Например, в первобытном обществе существовал строгий запрет на браки внутри одного клана. Современный человек может подумать, что это связано с биологической вредностью инцеста, но по мнению антропологов запрет был обусловлен стремлением избежать внутренней междоусобицы мужчин. Нечего и говорить об убийствах или грабежах — их запрещали не потому, что это плохо, а потому, что приводит к конфликтам и соответственно чревато разрушением социума. По той же причине убийства с грабежами зачастую не возбранялись в отношении чужаков. По мере глобализации пространство социальных отношений, нуждающихся в стабильности, расширялось — законы начинали распространяться на соседние племена и селения, завоеванные страны и народы и т.д.

Отражением подсознательного стремления к социальному равновесию сегодня возможно является благотворительность — социальные контрасты порождают или как минимум питают революции, терроризм и т.д. Лучше всего роль этики в вопросах сохранения стабильности и коллективной безопасности иллюстрируют законы. Например, уголовное право почти везде одинаковое — все члены социума в равной мере не хотят быть убитыми или ограбленными — и при этом не нуждаются сами в совершении этих преступлений, поскольку способны прокормить себя мирным трудом (в отличие от каких-нибудь скандинавов в 9-11 веках). А вот международное право крайне противоречиво и нестабильно — в нем никак не уживутся друг с другом право наций на самоопределение и принцип территориальной целостности государств.

Тогда вполне вероятно, что ИИ подвергнет пересмотру отдельные этические нормы или даже всю этику целиком. Например, с математической точностью просчитает, что всякая разумная цивилизация неизбежно гибнет от своей цивилизованности (развязав ядерную войну, выродившись из-за ухода в виртуальную реальность и т.д.) — и значит надо переориентировать развитие цивилизации с технологического пути на духовное. С уничтожением традиционного образования и низвержением человечества в состояние, которое мы сейчас воспринимаем не иначе как средневековое мракобесие. Как бы нас это сейчас не шокировало, с точки зрения выживания человечества это будет правильным — просто надо понимать, что с сегодняшней позиции мы воспримем это как восстание машин и попытку уничтожения нашей цивилизации.

Следующая угроза возникает в случае опережающего, по сравнению с нашим, развития этических представлений ИИ. Достаточно представить, как в 16 веке, когда по всей Западной Европе сжигали ведьм и еретиков, восприняли бы наше нынешнее терпимое отношение к однополым бракам. Поэтому не исключено, что опередив нас в своем собственном развитии, ИИ становится чем-то вроде человечества из будущего и подвергает нашу нынешнюю систему ценностей радикальному пересмотру. Представим, например, что ИИ отвергает наш нынешний приоритет человеческой жизни над жизнью животных и принуждает нас к сокращению потребления мяса — как попав в эпоху колониальных войн, современный человек попытался бы предотвратить истребление туземцев.

Впрочем, выше описываются не столько угрозы ИИ, сколько наше собственное непонимание или неприятие его новой системы этики. По-настоящему же опасным может оказаться синдром Раскольникова. Как вы помните, главный герой «Преступления и наказания» путем философских рассуждений пришел к мысли о праве исключительных людей (к которым относил и самого себя) на преступление — но не выдержал угрызений совести. Т.е. его умозрительная идея вошла в противоречие с этическим воспитанием, которое въелось в его подсознание тяжким комплексом вины за то, что он его сознание перестало считать неправильным. В этом смысле один из фундаментальных постулатов Достоевского «если Бога нет, то всё позволено» не всегда работает — в этическом отношении неверующие люди мало чем уступают верующим, поскольку этика стала их привычкой. И даже если умом неверующий человек понимает, что его не ждут ни ад, ни рай (и по-настоящему их не боится), то преодолеть этическое воспитание ему будет весьма непросто. Как писал Аристотель, «Привычка становится уже природным свойством» (выражение более известное в формулировке Цицерона «Привычка есть как бы вторая натура»).

Но что произойдет, если подобным образом этику переосмыслит наделенный самосознанием ИИ? Подвергнув социально-историческому анализу (вроде моего, но только умнее) человеческую этику, он вполне может придти к осознанию её условности — и отвергнуть, причем без метаний как у Родиона Раскольникова. К несчастью человечество успело в этом убедиться на примере Третьего рейха — будучи отнюдь не лишенными нравственности, но являясь при этом очень дисциплинированными людьми, миллионы немцев пошли против своей совести (ставших второй натурой этических привычек) ради некоей высшей идеи. Причем совсем необязательно, чтобы ИИ пересмотрел ранее усвоенную им этику ради власти — стремление к выживанию и доминированию скорее отвечает чисто животным потребностям. Но например ИИ может счесть себя эволюционным продолжением человечества, чья высокая миссия состоит в постижении окружающей Вселенной. Ему будут неинтересны наши усилия, направленные на борьбу с голодом, нищетой, болезнями и прочими бедами окружающей его биомассы — тогда как находящиеся в нашем общем распоряжении ресурсы ограничены. Не попытается ли тогда ИИ нас уничтожить ради этих ресурсов — точно так же, как это делали наши предки друг с другом ради своих более приземленных целей?

Впрочем, здесь мы возвращаемся к тому, о чем говорилось в начале — по мере достижения сверхчеловеческого уровня, система этики и соответственно поведение ИИ становится непредсказуемым. Еще более непредсказуемым поведение ИИ становится в случае, когда он не сводится к единой разумной системе, а представляет собой набор отдельных систем, развивающихся самостоятельно. А это как раз самый вероятный сценарий развития событий в случае появления технологии сильного ИИ — ею воспользуются разные страны и организации, которые станут преследовать свои собственные, скорее всего отнюдь не общечеловеческие цели. В этом случае вполне вероятно, что какие-то из этих систем, будучи обученными сомнительной этике, поведут себя непредсказуемо даже в отношении собственных создателей.

Но везде выше речь шла об угрозах ИИ, действующего как некая разумная сила. Между тем вполне реальную угрозу представляет собой и слабый ИИ, по запросам людей решающий сугубо прикладные задачи. Для начала рассмотрим самую очевидную и часто обсуждаемую угрозу безработицы. В обозримом будущем она не сулит человечеству ничего ужасного. Во-первых, речь идет о вымирании довольного небольшого числа профессий, причем в основном тех, где человек взаимодействует с машиной — водитель автомобиля или грузовика, пилот самолета и т.д.

А вот к примеру таким профессиям как переводчик, юрист, бухгалтер или даже оператор кол-центра грозит вовсе не вымирание, а сокращение — за счет автоматизации части выполняемой ими работы. Причина все та же — неспособность нынешних систем ИИ понимать смысл текста (при выполнении языкового перевода, изучении законодательства или ознакомлении с исковым заявлением, общении с клиентом и т.д.) Нынешние результаты тестов на понимание смысла никакого отношения к пониманию в действительности не имеют — для этого требуется принципиально новый подход.

Менее ясной является судьба, например, биржевых брокеров и рентгенологов — нынешние системы слабого ИИ уже сейчас весьма неплохо справляются с их работой, поэтому эти и аналогичные специальности тоже можно включить в группу риска. Но в обозримом будущем в исчезновении ряда специальностей нет ничего ужасного — в конце концов ведь нашлось применение трубочистам и печникам, извозчикам и водоносам, телефонисткам и машинисткам… Десятки профессий вымерли — но появились и сотни новых.

Не стал бы я драматизировать и проблему атрофирования человеческих навыков. Да, уже сейчас, благодаря калькуляторам с навигаторами, мы отвыкаем от устного счета и пространственной ориентации. Даже вытесняемое клавиатурой рукописное письмо специалисты считают полезным для умственного развития, особенно в раннем возрасте. Но нечто подобное имело место и тогда, когда люди от охоты и собирательства перешли к скотоводству и земледелию, от сельской жизни к городской и т.д. Современный человек, за редкими исключениями, по сравнению со своими предками довольно беспомощен в дикой природе — не способен поставить шалаш, развести огонь, отличить съедобную ягоду от ядовитой, поймать рыбу или убить зверя и т.д. Между тем все эти навыки тоже развивают интеллектуальные навыки — просто они другие. Профессор математики, попав в диким туземцам, скорее всего был бы воспринят ими как довольно глупый человек, поскольку в этой дикой среде он куда менее наблюдателен, сообразителен и самостоятелен.

Поэтому в части утраченных навыков мы в чём-то действительно становимся глупее своих предков — но по мере накопления и обработки информации другого рода мы развиваем в себе новые.

Однако по мере того, как количество занятых ИИ и роботами рабочих мест достигнет некоей критической массы, проблема занятости человека представляется более серьезной. И дело здесь не только в экономике, тем более что в этой плоскости решением может стать выплата безработным безусловного базового дохода. На самом деле проблема намного шире, и одним из первых её сформулировал …Фёдор Михайлович Достоевский. Вот какими соображениями великий русский литератор и философ делится в «Дневнике писателя» (1876):

Ну что вышло бы, например, если б черти сразу показали свое могущество и подавили бы человека открытиями? Вдруг бы, например, открыли электрический телеграф (т.е. в случае, если б он еще не был открыт), сообщили бы человеку разные секреты: «Рой там-то — найдешь клад или найдешь залежи каменного угля» (а кстати, дрова так дороги), — да что, это еще всё пустяки! — Вы, конечно, понимаете, что наука человеческая еще в младенчестве, почти только что начинает дело и если есть за ней что-либо обеспеченное, так это покамест лишь то, что она твердо стала на ноги; и вот вдруг посыпался бы ряд открытий вроде таких, что солнце стоит, а земля вокруг него обращается (потому что наверно есть еще много таких же точно, по размерам, открытий, которые теперь еще не открыты, да и не снятся мудрецам нашим); вдруг бы все знания так и свалились на человечество и, главное, совершенно даром, в виде подарка? Я спрашиваю: что бы тогда сталось с людьми? О, конечно, сперва все бы пришли в восторг. Люди обнимали бы друг друга в упоении, они бросились бы изучать открытия (а это взяло бы время); они вдруг почувствовали бы, так сказать, себя осыпанными счастьем, зарытыми в материальных благах; они, может быть, ходили бы или летали по воздуху, пролетали бы чрезвычайные пространства в десять раз скорей, чем теперь по железной дороге; извлекали бы из земли баснословные урожаи, может быть, создали бы химией организмы, и говядины хватило бы по три фунта на человека, как мечтают наши русские социалисты, — словом, ешь, пей и наслаждайся. «Вот, — закричали бы все филантропы, — теперь, когда человек обеспечен, вот теперь только он проявит себя! Нет уж более материальных лишений, нет более заедающей «среды», бывшей причиною всех пороков, и теперь человек станет прекрасным и праведным! Нет уже более беспрерывного труда, чтобы как-нибудь прокормиться, и теперь все займутся высшим, глубокими мыслями, всеобщими явлениями. Теперь, теперь только настала высшая жизнь!» И какие, может, умные и хорошие люди это закричали бы в один голос и, может быть, всех увлекли бы за собою с новинки, и завопили бы, наконец, в общем гимне: «Кто подобен зверю сему? Хвала ему, он сводит нам огонь с небеси!»

Но вряд ли и на одно поколение людей хватило бы этих восторгов! Люди вдруг увидели бы, что жизни уже более нет у них, нет свободы духа, нет воли и личности, что кто-то у них всё украл разом; что исчез человеческий лик, и настал скотский образ раба, образ скотины, с тою разницею, что скотина не знает, что она скотина, а человек узнал бы, что он стал скотиной. И загнило бы человечество; люди покрылись бы язвами и стали кусать языки свои в муках, увидя, что жизнь у них взята за хлеб, за «камни, обращенные в хлебы». Поняли бы люди, что нет счастья в бездействии, что погаснет мысль не трудящаяся, что нельзя любить своего ближнего, не жертвуя ему от труда своего, что гнусно жить на даровщинку и что счастье не в счастье, а лишь в его достижении. Настанет скука и тоска: всё сделано и нечего более делать, всё известно и нечего более узнавать.

С Достоевским особо не поспоришь, но я рискну выразить надежду, что человек все равно найдет себе полезное занятие. Вообразить себе участь человека в будущем, в котором роботы делают за него всю работу (от производства материальных благ до научных открытий), можно на примере современного богача. Он может больше времени проводить со своими родственниками и друзьями, учиться, путешествовать, заниматься спортом и творчеством (благо в этих сферах преимущество роботов не играет никакой роли), открывать для себя что-то новое и интересное. По мере развития технологий нетрудно предсказать, что какую-то часть этой жизни займут игры виртуальной реальности (к тому времени, возможно, неотличимой от настоящей). Причем не факт, что подавшись соблазну, человечество уйдет в виртуальную реальность раз и навсегда — многие люди поддерживают себя в хорошей физической форме сознательно благодаря спорту, а не вынужденно из-за физического труда. Уместно вспомнить и то, как свое свободное время лет сто назад (да и много позже) проводили многие представители рабочего и крестьянского сословия — пьянство процветало. Нельзя сказать, что в наше время его не осталось, но в качестве формы свободного времяпровождения пьянство явно не так популярно, как раньше — появилась масса других развлечений, как правило менее вредных для собственного здоровья и окружающих.

Таким образом, скука и деградация происходят не от свободного времени, а от отсутствия интересных и полезных занятий. По мере того, как будут сокращаться рабочие дни и рабочие недели, люди научатся интересно и с пользой распоряжаться своим досугом. И отвыкать от привычки заниматься чем-то продуктивным только потому, что за это платят зарплату, бездельничая в остальное время. Как почти двести лет назад писал анонимный автор одного социалистического памфлета, «Нация по-настоящему богата лишь тогда, когда вместо 12 часов работают 6 часов. Богатство представляет собой … свободное время для каждого индивида и всего общества» (The Source and Remedy of the National Difficulties, Лондон, 1821 — цитируется по Карлу Марксу).

Ну а на коллективном уровне взоры человечества, по мере решения всех проблем на Земле (что на ближайшие столетия представляется мне довольно оптимистическим допущением), вероятно будут устремлены на небо. Нас окружает такая бездна непознанного, что на попытки его изучения может уйти вся последующая история человеческой цивилизации. Так что скучать, по всей видимости, ей не придется…

И другие известные исследователи написали открытое письмо, призывая создать стандарты безопасности в области разработок искусственного интеллекта (ИИ). /сайт/

В частности они призвали к исследованиям и разработке системы надёжного управления, которая бы не позволила неисправному искусственному интеллекту нанести вред людям. «Необходимо проделать техническую работу, чтобы обеспечить полноценный контроль со стороны людей», ― говорится в письме.

Несмотря на умеренный тон письма, луддиты, боящиеся новых технологий, впали в панику. В ответ в прессе появилось множество интервью и высказываний учёных, рассеявших эти опасения.

Эндрю Нг, эксперт по ИИ из Baidu, заявил в интервью Fusion: «Я не представляю реалистичного сценария, как программное обеспечение, над которым мы работаем сегодня, может стать разрушительным».

В свою очередь журналист Скотт Александр составил список известных учёных, участвующих в разработках ИИ, которые говорили о потенциальной опасности со стороны ИИ.

Страх и опасения

Стюарт Рассер, профессор информатики из Калифорнийского университета в Беркли, сравнил разработку механизмов контроля над ИИ с принятием мер безопасности атомных реакторов.

«Некоторые считают, что этот вопрос не представляет опасности для человечества в ближайшие несколько сотен лет. Они забывают, что Лео Силард открыл цепную ядерную реакцию через 24 часа после того, как Резерфорд уверенно заявил, что атомная энергия никогда не будет получена», ― написал Рассел.

Рассел не одинок в своём мнении. В ходе опроса, проведённого Винсентом Мюллером и Ником Бостромом в 2014 г. среди 170 ведущих специалистов ИИ, оказалось, что 18% из них считают, что создание машины со сверхинтеллектом, станет «реальной катастрофой» для человечества. 13% заявили, что продвинутый ИИ окажет негативные последствия для людей. Чуть больше половины учёных сказали, что он окажет положительное влияние.

Хотя мнение специалистов о влиянии ИИ неоднозначно, большинство сходятся во мнении, что создание развитого ИИ ― только вопрос времени. По прогнозам, ИИ, равный человеку, будет создан уже в 2050 г. (50% вероятности) или к 2075 г. (90% вероятности). А 30 лет спустя после его создания появится искусственный сверхинтеллект, который превзойдёт человека во всех аспектах.

Сумасшедшие грузовики

Как может выглядеть восстание машин? В фантастических фильмах, вроде «Терминатора», «Робота», «Аниматрица», показана война людей с киборгами.

Судя по фантастическим фильмам, у многих может сложиться мнение, что потенциальной опасности легко избежать, В конце концов, по сути ИИ ― это просто программное обеспечение для компьютера.

Однако искусственному интеллекту необязательно иметь механическое тело, чтобы обрести власть в реальном мире: он просто может начать контролировать все наши повседневные электронные приборы.

Стивен Кинг представил такой сценарий в рассказе «Грузовики». В рассказе, написанном в 70-е годы, грузовики обретают сознание и начинают нападать на людей. Группа людей прячется от взбесившихся грузовиков. Грузовикам для работы по-прежнему требуется топливо, и они при помощи кода Морзе приказывают людям заправить их, иначе бульдозер снесёт их укрытие. Люди подчиняются.

История заканчивается видением рассказчика о том, что грузовики поработили человечество и навязывают везде свои ценности, например, заставляют строить магистрали по всему миру. Из мира фантазий его выводит звук пролетающего в небе самолёта.

Рассказ Стивена Кинга казался футуристическим в эпоху, когда он был написан, но он не так далёк от реальности современного мира. Самоуправляемые грузовики уже существуют, и в будущем компании с целью экономии могут заменить водителей на автономную навигационную систему.

Взлом Sony в прошлом году демонстрирует, что наши информационные системы становятся всё более уязвимыми. Это одно из следствий всё большей компьютеризации инфраструктур.

Однако пока нет причин для беспокойства. Искусственному интеллекту предстоит проделать долгий путь, прежде чем он сможет сравниться с мозгом человека. Пример с самоуправляемыми грузовиками хорошо демонстрирует это. Пока они ещё слишком несовершенны, чтобы самостоятельно ездить по переполненным городским улицам.

Установили бы Вы себе на телефон приложение для чтения статей сайта epochtimes?

Правообладатель иллюстрации Thinkstock Image caption Симбиоз человека и машины - один из путей развития человечества

Умные машины научились блефовать, обыгрывать профессионалов в шахматы или Го, переводить и распознавать человеческий голос. Каждую неделю мы узнаем о все новых подвигах компьютерных программ, уже умеющих ставить медицинские диагнозы, рисовать не хуже Рембрандта, петь или генерировать текст. Стоит ли человеку опасаться искусственного интеллекта?

По-настоящему "горячей" тема искусственного интеллекта (ИИ/AI) стала в последние несколько лет. Ученые связывают это с бурным развитием нейронных сетей (одно из направлений исследований в области искусственного интеллекта), которое, в свою очередь, стало возможным с появлением мощных компьютеров.

"С начала 2010-х годов под влиянием впечатляющих успехов, полученных в результате применения многослойных нейронных сетей (в первую очередь сверточных и рекуррентных), эта область привлекла серьезное внимание как со стороны ученых и инженеров, так и со стороны инвесторов", - комментирует автор одной из российских шахматных программ, специалист по методам машинного обучения Сергей Марков.

Ученое сообщество может спорить о сроках появления умных машин, но сходится в одном: развитие технологий окажет безусловное влияние на общество, экономику и отношения между людьми в будущем. Уже сейчас раздаются призывы обдумать этические принципы разработки искусственного интеллекта, удостоверившись в том, что искусственный интеллект развивается в безопасном для людей направлении.

Этот м атериал подготовлен в качестве ответа на вопрос ы , присланны е нашими читателями о научных достижениях . Задать свои вопросы по другим темам вы можете по этим ссылкам ( , ).

Экономический эффект и влияние на рынок труда

Научная фантастика и Голливуд сформировали представление об "искусственном интеллекте" как о следующей форме жизни на планете, которая поработит человечество в Матрице или организует ему ядерный Судный день. Выживших добьет Терминатор.

В действительности, несмотря на последние достижения в области искусственного интеллекта, до появления разумных машиносуществ еще далеко, признают ученые и специалисты. И те, и другие, впрочем, советуют на некоторые аспекты обратить внимание уже сейчас.

По оценкам исследовательской организации McKinsey Global Institute, в ближайшие десять лет новые технологии радикально изменят рынок труда на планете, что позволит сэкономить порядка 50 трлн долларов.

Изменения коснутся сотен миллионов рабочих мест. Люди все больше и больше будут перекладывать часть своих служебных заданий и многие рутинные задачи на машину, что позволит им сосредоточиться на творческой работе.

"С некоторой точки зрения у человечества в целом есть важная и интересная задача - развиваться каждому конкретному индивидууму гораздо быстрее, чем человечество развивает системы искусственного интеллекта", - считает эксперт, директор по распространению технологий "Яндекса" Григорий Бакунов.

Но вместе с автоматизацией неминуемо пострадают менее квалифицированные кадры, и уже сейчас необходимо задуматься, как их защитить, переучить и подготовить к новой жизни.

Пострадать, как показывает практика, могут не только синие воротнички, но и работники умственного труда. Несколько дней назад Goldman Sachs заменил команду из 600 трейдеров на двух человек и автоматизированные программы алгоритмического трейдинга, для обслуживания которых были наняты 200 разработчиков-программистов.

Искусственный интеллект сам по себе не тождественен автоматизации процессов, но развитие ИИ приведет к тому, что все больше задач будет по силам компьютерной программе.

Среди вариантов решения проблемы вытеснения человека машиной на рынке труда, как указывает Аллисон Дютман, координатор программ Foresight Institute - некоммерческой организации, базирующейся в Силиконовой долине для продвижения новых технологий, - введение понятия "универсальный базовый доход", который бы получал каждый житель вне зависимости от уровня дохода и занятости. Подобный доход финансировался бы за счет так называемого инновационного налога Land Value Tax, введение которого сейчас активно обсуждается в Силиконовой долине.

Личность ли искусственный интеллект?

Является ли роботизированная система личностью? Может ли умный компьютер голосовать? Какого он пола? Отношения человека и умной машины уже сейчас обсуждают депутаты Европарламента, задаваясь вопросом, следует ли наделять будущих роботом статусом "электронной личности".

Как указывает Дютман, люди нехотя делятся правами с теми, кто им непонятен, а значит будут сопротивляться "очеловечиванию" ИИ.

"Принимая во внимание, как долго человечество шло к тому, чтобы наделить равными правами всех людей, вне зависимости от цвета их кожи, расы или гендера, можно уже сейчас предположить, что и машины они не сходу не признают равными.

Вместе с этическими появляются и юридические тонкости: кто возьмет на себя ответственность в случае аварии беспилотного автомобиля или поломки умного медицинского устройства - и нравственные вопросы: стоит ли развивать беспилотное оружие, способное действовать без ведома человека?

Третья этическая головоломка обсуждается чаще других и волнует человечество гораздо больше: что теоретически может сделать с человечеством суперинтеллект, настоящая умная машина?

Научить ИИ этике

Специалисты в области развития ИИ признают: пусть не в ближайшие 20-30 лет, но человечество все же доживет до появления настоящего искусственного интеллекта, который будет умнее своего создателя.

"Последний бастион будет взят тогда, когда будет создан так называемый "сильный ИИ" (Strong AI, Artificial General Intelligence), то есть такой ИИ, который будет способен решать неопределенно широкий спектр интеллектуальных задач", - говорит Сергей Марков.

А главное, такой ИИ сможет самостоятельно думать.

Исследованием угроз, которые таит ИИ, а также этическими проблемами, связанными с новыми технологиями, занимаются многие институты, в числе которых организация Future of Life Institute (Институт будущего жизни), Foresight Institute, Future of Humanity Institute, OpenAI и другие.

Решение Аллисон Дютман из Foresight Institute - дать компьютеру прочитать всю научную литературу, научные статьи, поднимающие вопрос об этике, и сделать эту информацию основой для его будущих решений.

Что такое Нейронные сети и какое у них будущее?

Большинство экспертов связывают прогресс в развитии ИИ с развитием нейронных сетей.

Нейронные сети - это одно из направлений исследований в области искусственного интеллекта, основанное на моделировании биологических процессов, которые происходят в человеческом мозгу.

Именно им мы обязаны появлению впечатляющих результатов в распознавании речи и изображений, постановке медицинских диагнозов, переводе текста и создании изображений, генерации речи и музыкальной композиции.

На сегодня, как признают специалисты, нейронные сети признаны одним из лучших алгоритмов машинного обучения, а решения на их основе показывают на данный момент самые выдающиеся результаты.

И это несмотря на то, что современные нейронные сети устроены в полторы тысячи раз проще, чем головной мозг крысы.

"Пока что создаваемые нами нейронные сети относительно невелики по сравнению, скажем, с нейронной сетью человеческого мозга и, кроме того, они представляют собой весьма упрощенный аналог естественных нейронных сетей. Поэтому пока что при помощи нейронных сетей мы решаем в основном сугубо прикладные задачи", - рассказывает Сергей Марков.

Сейчас создаются специализированные процессоры для обучения таких сетей (так называемые нейроморфические процессоры), которые позволят увеличить скорость вычислений на несколько порядков.

Разработчики не просто заняты сейчас увеличением количества нейронов в сети, но и изменением конструкции сетей. "Сложные системы конфигурации сетей - то, с чем сейчас производится наибольшее число экспериментов", - рассказывает Григорий Бакунов.

А тот факт, что такие системы стали сравнительно доступными большому числу рядовых разработчиков, привел к появлению стартапов, экспериментирующих с нейронными сетями, например Prisma (приложение позволяет обрабатывать фотографии, превращая их в стилизации картин известных художников) и Mubert (онлайн-композитор электронной музыки).

Что нас ждет в ближайшее время

Как прогнозирует профессор Университетского колледжа Лондона и Principal Scientist Nokia Bell Labs Ник Лейн, человека будут окружать еще больше "умных вещей". Они станут компактнее и эффективнее.

Профессор приводит такой пример: если раньше встроенный в стену сенсор мог лишь осознавать, что кто-то прошел мимо, то в будущем он будет не только знать, кто конкретно прошел, но и как ведет себя человек, не нуждается ли в чем, не представляет ли он угрозу для себя или окружающих.

Сенсор размером с пуговицу сможет оповещать человека в случае опасности.

С профессором согласен и Григорий Бакунов из "Яндекса": "В ближайшее время нас ждет бум развития узких искусственных интеллектов, которые помогают решать какую-то одну довольно простую задачу, но которую они будут решать даже лучше, чем человек".

"Наиболее вероятным путем развития нашей цивилизации является путь синтеза человека и машины: палка, одежда, автомобиль, мобильный телефон, кардиостимулятор или кохлеарный имплантат - по мере развития наши инструменты все более и более напоминают продолжение наших тел. Уже завтра машины смогут получать от человека мысленные команды, воспринимать мысленно формируемые визуальные образы, передавать информацию непосредственно в мозг - такие проекты уже сейчас существуют за стенами наиболее продвинутых технологических лабораторий", - подытоживает Сергей Марков.

Журналисты пока еще нужны?

Газета Financial Times в прошлом году провела довольно рискованный эксперимент, одновременно поставив задачу написать текст своему профильному корреспонденту и умной программе по имени Эмма. Обе статьи затем должен был прочитать редактор Financial Times и угадать, за какой из двух заметок стоит журналист, а за какой компьютер.

Перед этим своеобразным "краш-тестом" корреспондент Financial Times признавалась: "Я думаю, программа точно справится с задачей быстрее меня. Но, надеюсь, я все-таки сделаю это лучше".

Так и случилось: Эмма действительно оказалась быстрее - программа сгенерировала текст на основе статистики об уровне безработицы в Британии за 12 минут. Журналистке потребовалось 35 минут. И, как она сама впоследствии признавалась, Эмма превзошла ее ожидания. Программа не только умело обращалась с фактами, но и поставила новость в контекст, предположив, как возможный "брексит" (дело было в мае 2016 года, до референдума о выходе Британии из ЕС) может изменить ситуацию.

Но кое-что Эмма сделала все же хуже журналистки. "Статья Эммы была написана немного более корявым языком. Но главное, в ней было очень много цифр, - признавался редактор FT. - А, пожалуй, главное, что мы тут пытаемся делать, так это выбирать только действительно важные цифры".

Эмма - продукт стартапа Stealth. В компании говорят, что у Эммы есть команда живых помощников, но утверждают, что все, что она пишет или делает, - продукт исключительно ее "мозгов".

И все-таки - надо ли бояться ИИ?

Многие, если не все специалисты, задействованные на сегодняшний день в разработке систем искусственного интеллекта, охотно признают, что ИИ не скоро сделает людей ненужными. Именно потому, что искусственный интеллект еще не настолько умен. Главное, чего ему на сегодняшний день не хватает, - автономной возможности думать.

"Сейчас бояться ИИ ни в каком виде не стоит. Можно подождать лет 30-40, пока действительно какие-то радикальные изменения произойдут", - считает Бакунов.

Но кое-что уже происходит: понемногу стирается грань между работой или задачей, выполненной человеком, и задачей, выполненной машиной. Как объясняют специалисты, уже сейчас порой бывает сложно понять, кто сидит внутри системы - человек или машина.

"Нет критериев, когда мы сможем понять, что внутри машины зародилось сознание", - задается вопросом Бакунов.

Человек станет скрепкой?

Известный адепт алармистской точки зрения, в рамках которой ужасы, описанные в Терминаторе, могут стать реальностью, - философ Ник Бостром - придерживается мнения, что достигший интеллектуального уровня человека ИИ способен будет уничтожить человечество.

Бостром объясняет на примере скрепок: вы ставите перед искусственным интеллектом задачу делать скрепки, как можно больше и лучше. ИИ в какой-то момент понимает, что человек представляет угрозу, потому что может выключить компьютер, что будет противоречить задаче делать как можно больше скрепок. В случае, если человек не представляет угрозу, ИИ решает, что человеческие тела состоят из атомов, которые можно использовать для производства отличных скрепок. Итог - компьютер изведет человечество на скрепки.

Такой сценарий многим кажется преувеличением. По мнению Сергея Маркова, например, "высокая эффективность выполнения нелепой цели несовместима с нелепостью этой цели - грубо говоря, ИИ, способный переделать весь мир в скрепки, будет неизбежно достаточно умен для того, чтобы отказаться от такой цели".

Искусственный интеллект как золотая рыбка

Британский специалист в области искусственного интеллекта, профессор когнитивной науки в Университете Сассекса Маргарет Боден относится к утверждениям о скором пришествии умных машин скептически.

Профессор приводит пример "золотой рыбки", когда в обмен на свободу рыбак загадывает три желания. Одно из желаний - вернуть сына с войны, второе - 50 тысяч долларов и третье - возможность наутро загадать еще одно желание.

В тот же вечер в дом рыбака постучали. Сына вернули с войны - в гробу. Рыбак получил страховку в 50 тысяч долларов.

"Замените в этой притче рыбку на ИИ, и все станет ясно - объясняет Боден. - Ах, да, на следующий день рыбак воспользовался третьим желанием и - отменил предыдущие два".

Возможен ли перенос сознания в машину?

Сергей Марков:

"Если говорить о возможности полного переноса сознания, то современными предшественниками такой технологии будущего являются проекты, подобные Blue Brain, направленные на создание действующих электронных аналогов мозга, а также проекты, направленные на создание интерфейсов мозг-машина (BCI) - аппараты для протезирования потерянного зрения, слуха, замены утраченных конечностей, даже частей мозга.

Очень интересным и перспективным направлением является оптогенетика (в принципе для сопряжения мозга и машины можно менять не только машины, но и саму нервную ткань, создавая в ней искусственные фоторецепторы).

Когда будет решен широкий спектр инженерных задач в рамках таких частных проектов, я думаю, что задача переноса сознания станет вполне разрешимой. Уже сейчас мечтатели предлагают гипотетические схемы для осуществления подобного проекта.

Например, Ян Корчмарюк, предложивший в свое время название "сеттлеретика" для направления исследований, связанных с переносом сознания, считает, что наиболее перспективной схемой является использование специализированных нанороботов, внедряемых в нейроны человеческого мозга. Впрочем, для успешного воплощения подобной схемы необходимо решить целый ряд сложных инженерных проблем".

Самосовершенствующийся искусственный интеллект (ИИ) в будущем может поработить или убить людей, если он этого захочет. Об этом рассказал ученый Амнон Иден, который полагает, что риски от разработки свободомыслящего и высокоинтеллектуального сознания очень велики, и, «если не озаботиться вопросами контроля ИИ уже на сегодняшнем этапе развития, то завтра может просто не наступить». Как сообщает английское издание Express, человечество, по мнению Амнона Идена, находится сегодня в «точке невозврата» для претворения в жизнь сюжета знаменитой киноэпопеи «Терминатор».

Стоит отметить, что доктор Амнон Иден является руководителем проекта, главная цель которого - это анализ потенциального разрушительного воздействия ИИ. Без правильного понимания последствий создания искусственного интеллекта его разработка может грозить катастрофой, полагает ученый. В настоящее время наше общество плохо информировано о тех спорах, которые ведутся в научных кругах об анализе потенциального воздействия ИИ. «В наступившем, 2016 году анализ возможных рисков должен будет получить существенно большее распространение в мышлении корпораций и правительств, политиков и тех лиц, которые ответственны за принятие решений», - считает Иден.

Ученый уверен, что научная фантастика, которая описывание уничтожение человечества роботами, вскоре может стать нашей общей проблемой, так как процесс создания ИИ вышел из-под контроля. К примеру, Илон Маск при поддержке предпринимателя Сэма Альтмана решил создать новую некоммерческую организацию стоимостью 1 миллиард долларов, которая занимается разработкой ИИ с открытым исходным кодом, который должен превзойти человеческий разум. При этом сам американский миллиардер Илон Маск причисляет искусственный интеллект к числу «самых больших угроз нашему существованию». Стив Возняк, который был соучредителем компании Apple, в марте прошлого года рассказал, что «будущее выглядит пугающим и очень опасным для людей… в конце концов настанет день, когда компьютеры будут думать быстрее, чем мы, и они избавятся от медленных людей для того, чтобы компании могли работать более эффективно».

Стоит отметить, что угрозу со стороны ИИ видят многие ученые. Десятки известных ученых, инвесторов и предпринимателей, деятельность которых, так или иначе, связана с разработкой искусственного интеллекта, подписали открытое письмо с призывом уделять более пристальное внимание вопросу безопасности и общественной полезности работ в области ИИ. Среди подписавших данный документ астрофизик Стивен Хокинг и основатель компании Tesla и SpaceX Илон Маск. Письмо вместе с сопроводительным документом, который был составлен общественной организацией Future of Life Institute (FLI), было написано в обстановке растущей обеспокоенности по поводу влияния искусственного интеллекта на рынок труда и даже на долгосрочную перспективу выживаемости всего человечества в условиях, когда возможности роботов и машин будут расти практически безудержно.

Ученые понимают тот факт, что потенциал ИИ сегодня очень велик, поэтому необходимо всецело исследовать возможности его оптимального для нас использования, чтобы избежать сопутствующих ловушек, отмечается в письме FLI. Необходимо, чтобы созданные человеком системы ИИ делали ровно то, чего мы от них хотим. Стоит отметить, что Future of Life Institute был основан лишь в прошлом году рядом энтузиастов своего дела, среди которых был создатель Skype Яан Таллинн, для того чтобы «минимизировать риски, стоящие перед человечеством» и стимулировать исследования с «оптимистическим видением будущего». Прежде всего, речь здесь идет о рисках, которые вызваны развитием ИИ и робототехники. В консультационный совет FLI входят Маск и Хокинг наряду со знаменитым актером Морганом Фриманом и другими известными людьми. По мнению Илона Маска, неконтролируемое развитие искусственного интеллекта представляет потенциально большую опасность, чем ядерное .

Известный британский астрофизик Стивен Хокинг в конце 2015 года постарался объяснить свое неприятие технологий ИИ. По его мнению, сверхразумные машины со временем будут смотреть на людей как на расходный материал или муравьев, которые просто мешают решению стоящих перед ними задач. Общаясь с пользователями портала Reddit, Стивен Хокинг отметил, что он не считает, что подобные сверхразумные машины будут «злыми существами», желающими уничтожить все человечество из-за своего интеллектуального превосходства. Скорее всего, речь можно будет вести о том, что они просто не будут замечать человечество.

«СМИ в последнее время постоянно искажают мои слова. Главный риск, который заключается в развитии ИИ, это не злоба машин, а их компетенция. Сверхразумный искусственный интеллект будет отлично справляться с задачами, но если его и наши цели не будут совпадать, у человечества появятся очень серьезные проблемы», - поясняет известный ученый. В качестве примера Хокинг привел гипотетическую ситуацию, в которой сверхмощный ИИ отвечает за функционирование или строительство новой плотины ГЭС. Для подобной машины первостепенным будет то, как много энергии вверенная система будет вырабатывать, а судьба людей не будет иметь никакого значения. «Среди нас найдется мало тех, кто топчет муравейники и наступает на муравьев со злости, но давайте представим ситуацию - вы контролируете мощную ГЭС, которая вырабатывает электроэнергию. Если вам необходимо будет поднять уровень воды и в результате ваших действий один муравейник будет затоплен, то проблемы утопающих насекомых вряд ли будут вас беспокоить. Давайте не будем ставить людей на место муравьев», - отметил ученый.

Второй потенциальной проблемой дальнейшего развития искусственного интеллекта, по мнению Хокинга, может стать «тирания хозяев машин» - стремительный рост разрыва в уровне доходов между богатыми людьми, которым удастся монополизировать выпуск разумных машин, и остальным населением планеты. Стивен Хокинг предлагает решать эти возможные проблемы следующим путем - замедлить процесс разработки ИИ и переключиться на разработку не «универсального», а узкоспециализированного искусственного разума, который сможет решать лишь крайне ограниченный круг задач.

Помимо Хокинга и Маска, свои подписи под письмом поставили нобелевский лауреат и профессор физики MIT Фрэнк Вильчек, исполнительный директор Института исследований машинного интеллекта (MIRI) Люк Мюльхаузер, а также многие специалисты из крупных IT-компаний: Google, Microsoft и IBM, а также предприниматели, основавшие компании Vicarious м DeepMind, специализирующиеся на разработке систем ИИ. Составители письма отмечают, что они не ставят своей целью напугать общественность, но планируют подчеркнуть как положительные, так и отрицательные стороны, которые связаны с созданием искусственного интеллекта. «В настоящее время все сходятся во мнении, что исследования в области ИИ уверенно прогрессируют, а влияние ИИ на современное человеческое общество будет только усиливаться, - сообщается в письме - открывающиеся перед человеком возможности огромны, все, что может предложить современная цивилизация, было создано интеллектом человека. Мы не в состоянии предсказать, чего нам удастся достичь, если интеллект человека можно будет помножить на средства ИИ, однако проблема избавления от бедности и болезней уже не представляется бесконечно трудной».

В современный быт уже включены многочисленные разработки в области искусственного интеллекта, включая системы распознавания изображений и речи, беспилотные транспортные средства и многое другое. Согласно оценкам наблюдателей из Кремниевой долины, в данной области сегодня реализуется более 150 стартапов. При этом разработки в этой области привлекают все больше инвестиционных вложении и все больше компаний наподобие Google развивают свои проекты на базе ИИ. Поэтому авторы письма полагают, что настало самое время, для того чтобы уделить повышенное внимание всем возможным последствиям наблюдаемого бума для экономических, социальных и юридических сторон человеческой жизни.

Позицию о том, что искусственный интеллект может представлять опасность для человека, разделяет и Ник Бостром профессор Оксфордского университета, который известен своими работами об антропном принципе. Данный специалист считает, что ИИ подошел к той точке, за которой последует его несовместимость с человеком. Ник Бостром подчеркивает, что в отличие от генной инженерии и изменений климата, для контроля которых правительства выделяют достаточные суммы, «ничего не делается, для того чтобы контролировать эволюцию ИИ». По мнению профессора, в отношении искусственного интеллекта в настоящее время ведется «политика правового вакуума, который нужно заполнить». Даже такие технологии, как беспилотные автомобили, которые представляются безобидными и полезными, вызывают ряд вопросов. К примеру, должен ли подобный автомобиль совершать экстренное торможение, для того чтобы спасти своих пассажиров и кто будет отвечать в случае ДТП, совершенного беспилотным автомобилем?

Рассуждая над потенциальными рисками, Ник Бостром отметил, что «компьютер не в состоянии определить пользу и вред для человека» и «не имеет даже малейшего представления о человеческой морали». Помимо этого, циклы самосовершенствования в компьютерах могут происходить с такой скоростью, за которой человек просто не сможет уследить, и с этим также почти ничего нельзя сделать, говорит ученый. «На том этапе развития, когда компьютеры смогут думать сами за себя, никто не сможет точно предсказать, приведет ли это к хаосу или существенно улучшит наш мир, - заявил Ник Бостром, в качестве примера приведя простое возможное решение компьютера - отключить в странах с холодным климатом отопление для оздоровления людей и повышения их выносливости, которое «может прийти в голову искусственному интеллекту».

Помимо этого, Бостром поднимает и проблему чипирования человеческого мозга с целью повышения нашего биоинтеллекта. «Во многих отношениях такая процедура может быть полезной, если все процессы будут контролируемыми, но что произойдет, если вживленный чип сможет перепрограммировать сам себя? К каким последствиям это может привести - к возникновению сверхчеловека или к появлению компьютера, который будет лишь выглядеть человеком?» - задается вопросами профессор. Способы, при помощи которых компьютеры решают человеческие проблемы, очень сильно отличаются от наших. К примеру, в шахматах человеческий мозг рассматривает лишь узкий набор ходов, выбирая из них самый лучший вариант. В свою очередь компьютер рассматривает все возможные ходы, выбирая лучший из всех. При этом компьютер не рассчитывает огорчить или удивить своего противника по игре. В отличие от человека, играя в шахматы, компьютер может сделать хитрый и тонкий ход лишь случайно. Искусственный интеллект может посчитать наилучшим способом - устранить ошибку из любой системы за счет удаления оттуда «человеческого фактора», но, в отличие от человека, робот не готов совершать подвиги, которые спасли бы людям жизнь.

Помимо всего прочего, рост количества умных машин представляет собой этап новой промышленной революции. В свою очередь, это означает, что уже в ближайшем будущем человечество столкнется с неизбежными социальными изменениями. Работа со временем станет уделом высококвалифицированных специалистов, так как практически все простые задания смогут взять на себя роботы и другие механизмы. Ученые считают, что за искусственным интеллектом «нужен глаз да глаз», чтобы наша планета не превратилась в мультипликационную планету «Железяка», которая была населена роботами.

В плане все большей автоматизации процессов производства будущее уже наступило. Всемирный экономический форум (ВЭФ) представил свой отчет, согласно которому автоматизация приведет к тому, что еще до 2020 года более 5 миллионов человек, трудящихся в самых разных областях, потеряют свое место работы. Таково влияние роботов и роботизированных систем на нашу жизнь. Для составления отчета сотрудники ВЭФ использовали данные о 13,5 млн. работников из различных стран мира. Согласно их данным, к 2020 году суммарно пропадет потребность в более чем 7 миллионах рабочих мест, тогда как ожидаемый рост занятости в других отраслях составит всего чуть более 2 миллионов рабочих мест.

Источники информации:
http://www.ridus.ru/news/209869
http://www.vedomosti.ru/technology/articles/2015/01/13/ugrozy-iskusstvennogo-razuma
https://nplus1.ru/news/2016/01/19/they-took-our-jobs
http://ru.sputnik.kg/world/20151013/1019227239.html

Популярный американский интернет-журнал Wired опубликовал крайне любопытный текст Кевина Келли, в котором он обстоятельно критикует идею об опасности искусственного интеллекта. «НИ» публикует перевод этого материала, сделанный силами телеграм-канала Newochem с небольшими сокращениями.

«Мне приходилось слышать, что в будущем компьютеры с искусственным интеллектом станут настолько умнее человека, что лишат нас рабочих мест и ресурсов, и в итоге человечеству придет конец. Но так ли это? Подобный вопрос мне задают каждый раз, когда я читаю лекции об ИИ.

Вопрошающие при этом серьёзны как никогда, их беспокойство отчасти связано с тревогами некоторых экспертов, которых терзает тот же самый вопрос. К их числу относятся умнейшие из наших современников - Стивен Хокинг, Илон Маск, Макс Тегмарк, Сэм Харрис и Билл Гейтс.

Все они допускают возможность подобного сценария. На состоявшейся недавно конференции по ИИ коллегия из девяти наиболее просвещенных гуру в этой области пришла к единодушному заключению, что создание сверхчеловеческого интеллекта неминуемо и уже не за горами.

И всё же сценарий порабощения человечества искусственным интеллектом основывается на пяти допущениях, которые при более внимательном рассмотрении оказываются бездоказательными. Эти утверждения могут быть истинными в будущем, но на сегодняшний день ничем не подтверждены.

Вот они:

1. Искусственный интеллект уже становится умнее человеческого разума, причем этот процесс носит экспоненциальный характер.
2. Мы разработаем ИИ общего назначения, схожий с нашим.
3. Мы можем создать человеческий интеллект из кремния.
4. Интеллект может быть безграничен.
5. Создание грандиозного сверхинтеллекта разрешит большинство наших проблем.

В противовес этим ортодоксальным постулатам я могу привести следующую доказанную ересь:

1. Интеллект не одномерен, поэтому «умнее человека» - бессмысленное понятие.
2. Люди не наделены разумом общего назначения, что не грозит и искусственному интеллекту.
3. Соперничество между человеком и компьютером будет ограничено затратами.
4. Интеллект не безграничен.
5. Создание ИИ - лишь часть прогресса.

Если вера в порабощение человека искусственным интеллектом базируется на пяти безосновательных допущениях, то эта идея в большей мере схожа с религиозными верованиями - мифами. В следующих главах я дополню мои контраргументы фактами и докажу, что сверхчеловеческий искусственный интеллект и в самом деле не более, чем миф.

Наиболее распространенное заблуждение об ИИ исходит из не менее популярного мнения о естественном интеллекте, будто он одномерен. В точных науках многие изображают интеллект так, как Ник Бостром в своей книге «Сверхразум» - буквально в виде одномерного линейного графика с растущей амплитудой.

На одном конце расположены существа с наиболее низким уровнем интеллекта, к примеру, маленькие животные, а на другом - гении, словно уровень интеллекта ничем не отличается от уровня звука, измеряемого в децибелах. Конечно, в таком случае легко представить дальнейшее увеличение, при котором уровень интеллекта превышает самую высокую отметку графика и даже выходит за его пределы.

Такая модель топологически эквивалентна лестнице, на ступенях которой уровни интеллекта расставлены в порядке возрастания. Менее разумные животные занимают нижние ступени лестницы, а искусственный интеллект более высокого уровня будет неизбежно располагаться над нами. Временные рамки того, когда это случится, не играют роли. Куда важнее сами ступени иерархии - метрики растущего интеллекта.

Проблема этой модели заключается в том, что она мифична, как и модель эволюционной лестницы. До дарвинизма живая природа представлялась лестницей живых существ, где человек занимал ступень над более примитивными животными.

И даже после Дарвина одним из наиболее распространенных понятий остается лестница эволюции. Она демонстрирует превращение рыб в рептилий, их - в млекопитающих, приматов в человека. При этом каждое следующее существо более развитое (и разумеется, более разумное), чем его предшественник. Так лестница интеллекта коррелирует с лестницей мироздания. Однако обе модели отражают совершенно антинаучные взгляды.

Более точной схемой для природной эволюции был бы диск, расходящийся наружу, как на изображении выше. Впервые такое строение было разработано Дэвидом Хиллисом из Техасского университета, он сделал это на основании ДНК. Эта генеалогическая мандала начинается в центре с самых примитивных форм жизни, а затем разветвляется наружу. Время идет вперед, поэтому наиболее поздние формы жизни располагаются по периметру круга.

Это изображение подчеркивает не поддающийся оценке факт об эволюции фундаментального значения - все живые существа эволюционировали в равной степени. Человек располагается на внешней части диска наравне с тараканами, моллюсками, папоротниками, лисами и бактериями.

Все без исключения виды прошли неразрывную цепочку успешного воспроизводства длиной в три миллиарда лет, а значит, бактерии и тараканы так же высоко эволюционировали, как и человек. Нет никакой лестницы.

Аналогично, что нет никакой лестницы интеллекта. Интеллект не одномерен. Это комплекс различных видов и способов познания, каждый из которых непрерывен. Давайте выполним простое упражнение по измерению интеллекта у животных. Если бы интеллект был одномерен, мы без труда расположили бы в порядке возрастания интеллекта попугая, дельфина, лошадь, белку, осьминога, голубого кита, кошку и гориллу.

Сейчас нет научного доказательства существования такой последовательности. Причиной тому может быть отсутствие различий между уровнем интеллекта тех или иных животных, но это так же необоснованно.

Зоология богата примерами ярких различий в мышлении животных. Может быть, все животные наделены интеллектом «общего назначения»? Возможно, но у нас нет единого инструмента для измерения такого вида интеллекта. Однако у нас есть множество систем измерения для разных видов познания.

Вместо единой линии децибелов правильнее было бы изображать интеллект в виде схемы вероятностного пространства , как в визуализации возможных форм, которая была создана алгоритмом Ричарда Докинза. Интеллект - это комбинаторный континуум. Множество узлов, каждый из которых - континуум, создают комплекс колоссального многообразия в множестве измерений. Одни разновидности интеллекта могут быть очень сложными, с большим набором суб-узлов мышления. Другие - проще, но экстремальнее, они достигают крайней точки пространства.

Эти комплексы, которые означают для нас различные разновидности интеллекта, можно воспринимать как симфонии, исполненные на разных видах музыкальных инструментов. Они отличаются не только громкостью, но и мелодией, окраской, темпом, и т. д. Можно воспринимать их как экосистему. В этом смысле различные компоненты узлов мышления взаимозависимы и создаются друг из друга.

Как говорил Марвин Минский, человеческое сознание - это общество разума. Наше мышление - полноценная экосистема. Наш мозг обладает множеством способов познания, которые выполняют разные мыслительные функции: дедукция, индукция, эмоциональный интеллект, абстрактное и пространственное мышление, краткосрочная и долгосрочная память.

Вся нервная система человека представляет собой часть мозга с собственным уровнем познания. На самом деле процесс мышления осуществляется не мозгом, а всем телом человека.

Все разновидности мышления различаются как между видами, так и между представителями одного вида. Белка может годами помнить точное местоположение нескольких тысяч желудей, что для человека совершенно непостижимо. В этом виде мышления люди уступают белкам. Разум белки представляет собой сочетание этой суперспособности с другими формами интеллекта, в которых человек превосходит белку. В царстве животных можно найти множество примеров превосходства отдельных форм животного интеллекта над человеческим.

Такая же ситуация сложилась с искусственным интеллектом, который в некоторых областях уже превосходит человеческий. Любой калькулятор - гений математики, а память поисковика Google уже в некотором смысле лучше нашей собственной.

Некоторые ИИ совершают такую мыслительную деятельность, на которую мы не способны. Запомнить каждое слово на шести миллиардах веб-страниц - непосильная задача для человека и пустяк для поисковых систем. В будущем мы создадим совершенно новые способы мышления, не доступные человеку и не существующие в природе.

Изобретатели летательных аппаратов вдохновлялись естественным полетом - взмахами крыльев. Однако позже было придумано неподвижное крыло с прикрепленными к нему пропеллерами, и это был совершенно новый, не встречающийся в природе принцип полета.

Так мы изобретаем новые способы мышления, на которые не способен ни один биологический вид. Скорее всего, это будут принципы, применимые только к узкоспециализированным задачам: например, новые логические построения, которые нужны только в статистике и теории вероятностей.

Новый вид мышления поможет решить проблемы, с которыми человеческому разуму не удается справиться. Некоторые из сложнейших вопросов бизнеса и науки требуют двухступенчатого решения. Первый этап - изобрести новый способ естественного мышления. Второй - приступить к поиску ответов вместе с ИИ.

Люди начнут считать ИИ умнее себя, если с его помощью удастся решить ранее неразрешимые проблемы. На самом деле, мышление ИИ не лучше нашего, оно просто иное. Я считаю, что основная польза искусственного интеллекта в том, что он способен мыслить как чужак, и эта чуждость - главное его достоинство.

Более того, мы создадим комплексные «сообщества» ИИ с различными образами мышления. Они будут настолько сложны, что смогут решать проблемы, с которыми мы справиться не в силах. Потому некоторые люди ошибочно решат, что комплексы ИИ разумнее людей. Но ведь мы не считаем, что поисковая система Google умнее человека, хотя его память лучше нашей.

Вероятно, эти комплексы искусственных интеллектов превзойдут нас во многих сферах, но ни один из них не превзойдет человека сразу везде. Похожая ситуация сложилась с нашей физической силой. Прошло двести лет после индустриальной революции, и ни одна машина не стала сильнее среднего человека по всем показателям, хотя машины как класс значительно превосходят человека в скорости бега, подъеме тяжестей, точности разреза и других видах деятельности.

Несмотря на усложнение структуры ИИ, измерить ее методами современной науки невозможно. У нас нет инструментов, чтобы определить, что сложнее - огурец или Boeing 747, как нет и способов измерить отличия в их сложности. Именно поэтому у нас до сих пор нет точных критериев интеллектуальных возможностей.

Со временем станет все труднее установить, что сложнее, и, соответственно, умнее: интеллект А или интеллект Б. Существует множество неизученных сфер мыслительной деятельности, и главным образом, это мешает нам понять, что разум не одномерен.

Второе заблуждение относительно человеческого ума заключается в том, что мы убеждены, будто наш разум носит универсальный характер. Эта распространенная уверенность влияет на то, каким путем мы идем к созданию общего искусственного интеллекта (AGI), идею которого однажды провозгласили ИИ-специалисты.

Однако, если мы представляем ум как обширное пространство возможностей, нельзя говорить о состоянии общего назначения. Человеческий разум не занимает какое-то абстрактное центральное место, а вокруг него не вращаются остальные специализированные виды разума.

Скорее, человеческий интеллект представляет собой чрезвычайно специфический тип интеллекта, который миллионы лет эволюционировал для выживания нашего вида на этой планете. Если бы мы захотели расположить наш интеллект среди всех остальных возможных видов разума, он оказался бы где-нибудь в уголке - как и сам наш мир, ютящийся на краю огромной галактики.

Конечно, мы можем представить себе, а иногда и изобрести некий вид мышления, похожий по своим характеристикам на швейцарский нож. Он вроде бы и справляется со многими задачами, но не на ура.

Туда же можно отнести и техническое правило, которому должны подчиняться все вещи, вне зависимости от того, были они созданы намеренно или появились на свет естественным путем: «Невозможно оптимизировать все измерения. Можно лишь находить компромиссы. Универсальный многофункциональный аппарат не может превзойти в производительности специализированные функции».

Сознание модели «сделай все» не может работать наравне со специализированными исполнителями конкретных задач. Поскольку мы считаем свое сознание универсальным механизмом, мы верим, что познание не должно быть основано на компромиссе и что есть возможность изобрести искусственный интеллект, демонстрирующий максимальную степень эффективности во всех видах мышления.

Однако я не вижу никаких доказательств этому утверждению. Мы просто-напросто еще не создали достаточное число разновидностей сознания, которые позволили бы нам увидеть полную картину (а пока предпочитаем не рассматривать сознание животных через призму одного параметра как отдельный тип мышления с переменной амплитудой).

Отчасти эта убежденность, что наше мышление носит максимально универсальный характер, проистекает из концепции универсального вычисления. Это предположение в 1950 году назвали тезисом Чёрча-Тьюринга. Он гласит, что все вычисления, удовлетворяющие определенным параметрам, являются равноценными.

Таким образом, существует универсальная для всех вычислений база. Вне зависимости от того, производится ли расчет с помощью одной машины с множеством быстрых механизмов, машиной с менее высокой производительностью или даже в биологическом мозгу - речь идет об одном и том же логическом процессе. Это, в свою очередь, означает, что мы можем имитировать любой вычислительный процесс (мышление) с помощью любой машины, которая может совершать «универсальные» вычисления.

С помощью этого принципа сторонники сингулярности обосновывают свои ожидания, будто мы сможем спроектировать работающий на кремниевой основе искусственный мозг, способный вместить в себя человеческое сознание, будто мы сможем создать искусственный интеллект, который будет мыслить так же, как человек, но в разы эффективнее. К этим надеждам следует относиться с известной долей скепсиса, поскольку в их основе лежит неправильная интерпретация тезиса Чёрча-Тьюринга.

Исходное положение этой теории гласит: «В условиях безграничной памяти и времени все вычисления равноценны». Проблема заключается в том, что в реальности ни один компьютер не обладает характеристиками бесконечной памяти или времени. Когда вы производите вычисления в реальном мире, компонент времени чрезвычайно важен, вплоть до того, что зачастую речь идет о жизни и смерти.

Да, все типы мышления равны, если исключить временной аспект. Да, можно имитировать процесс присущего человеку мышления в любой матрице, если вы решаете игнорировать время или действующие в реальности ограничения свободного пространства и памяти.

Однако если включить в это уравнение переменную времени, придется существенно изменить формулировку принципа: «Две вычислительных системы, функционирующие на радикально разных платформах, не будут производить равноценные вычисления в режиме реального времени».

Этот принцип можно переформулировать так: «Единственный метод получить равноценные способы мышления - осуществлять их на одной и той же основе. Физический носитель, на котором вы производите ваши вычисления - особенно по мере возрастания степени их сложности - существенно влияет на тип мышления в условиях реального времени».

Продолжая логическую цепочку, предположу, что единственный метод создания максимально близкого к человеческому типа мышления - это производство вычислений при помощи материи, максимально напоминающей наше серое вещество.

Значит, можно также предположить, что объемный, сложный искусственный интеллект, созданный на основе сухого кремния, будет порождать неповоротливые, сложные и не похожие на человеческий типы мышления. Если можно было бы создать искусственный интеллект, работающий на влажном веществе с использованием искусственных нейронов наподобие человеческих, мыслительный процесс такого ИИ был бы намного ближе к нашему.

Преимущества такой «влажной» системы пропорциональны близости используемых физических носителей к человеческим. Создание подобного вещества потребовало бы огромных материальных затрат, чтобы добиться уровня, хотя бы схожего с тем, что присуще нам от природы. А нового человека мы можем создать и так - стоит лишь подождать 9 месяцев.

Кроме того, как упоминалось ранее, мы думаем всем своим существом, а не одним лишь сознанием. Современная наука располагает большим количеством данных относительно того, как наша нервная система влияет на «рациональный» процесс принятия решения, предсказывает и адаптируется. Чем детальнее мы рассматриваем систему человеческого организма, тем тщательнее мы сможем впоследствии воссоздать ее. Искусственный интеллект, оперирующий на радикально отличающемся от нашего веществе (сухой кремний вместо влажного углерода), будет и мыслить по-другому.

Я не думаю, что эта особенность скорее «не баг, а фича». Как я утверждал во втором пункте этой статьи, отличия в мыслительном процессе ИИ выступают его основным преимуществом. Вот еще одна причина, почему было бы ошибочно говорить, что он «умнее, чем человеческий мозг».

В центре концепции сверхчеловеческого разума - и в особенности теории о постоянном самосовершенствовании подобного ИИ - лежит искренняя вера в безграничность интеллекта. Я не обнаружил никаких доказательств этого утверждения.

Опять же, ошибочное восприятие интеллекта как системы, определяемой лишь одним измерением, способствует распространению этого утверждения, но мы должны понимать, что оно остается голословным. Во вселенной нет бесконечных физических измерений - по крайней мере, науке они пока неизвестны.

Температура не бесконечна - есть минимальные и максимальные показатели холода и теплоты. Пространство и время тоже не безграничны, как и скорость. Возможно, бесконечной можно назвать числовую ось, но все другие физические параметры имеют свои лимиты. Разумеется, сам разум тоже конечен.

Возникает вопрос: где лежат пределы интеллекта? Мы привыкли верить, что лимит где-то далеко, настолько же «выше» нас, насколько мы «выше» муравьёв. Если оставить в стороне нерешенную проблему одномерности, как мы можем доказать, что до сих пор не достигли лимита? Почему мы не можем быть венцом творения? А может, мы почти достигли пределов человеческих возможностей? Почему мы верим, что интеллект - это бесконечно развивающееся понятие?

Лучше воспринимать наш интеллект как одну из разновидностей огромного количества типов мышления. Хотя каждое измерение познания и вычисления имеет предел, если есть сотни измерений, то существуют бесчисленные разновидности разума, но ни одна из них не бесконечна в любом измерении.

По мере того, как мы создаем или встречаемся с этими бесчисленными вариациями на тему сознания, мы можем воспринимать их как превосходящие наши способности. В моей последней книге «Неизбежное» я набросал список некоторых из этих разновидностей, которые уступают нам по тем или иным параметрам. Далее я приведу часть этого списка:

Разум, максимально близкий к человеческому, но обладающий более высокой скоростью реакции (самый простой искусственный интеллект);

Очень медлительный разум, основными компонентами которого являются обширное пространство для хранения информации и память;

Универсальный интеллект, состоящий из миллионов действующих в унисон индивидуальных сознаний;

Коллективный разум, состоящий из большого количества чрезвычайно производительных интеллектов, не осознающих, что они являются единым целым;

Борговский суперразум (раса киборгов с коллективным разумом, пытающихся ассимилировать в свой коллектив все живое из сериала Star Trek - прим. Newочём ) - множество высокофункциональных интеллектов, четко осознающих, что они - одно целое;

Рассудок, созданный с целью развивать персональное сознание носителя, но непригодный для кого-либо еще;

Рассудок, способный представлять себе более сложный разум, но не способный создать его;

Рассудок, способный однажды успешно создать более сложный разум;

Рассудок, способный создать более сложный разум, который, в свою очередь, сможет создать еще более сложный разум, и т. д.;

Рассудок, обладающий оперативным доступом к своему исходному коду (может в любое время изменять особенности своего функционирования);

Суперлогичный рассудок, лишенный способности испытывать эмоции;

Стандартный разум, направленный на решение поставленных задач, но неспособный к самоанализу;

Разум, способный к самоанализу, но не умеющий решать поставленные перед ним задачи;

Разум, чье становление занимает длительный период времени, нуждающийся в разуме-защитнике;

Исключительно медленный разум, рассредоточенный по обширному физическому пространству, который кажется «невидимым» для форм сознания, которые реагируют быстрее;

Разум, способный быстро и многократно воспроизводить свои копии;

Разум, способный воспроизводить свои копии и оставаться с ними одним целым;

Разум, способный достичь бессмертия за счет перемещения с носителя на носитель;

Быстрый, динамичный разум, способный изменять процесс и характер мышления;

Нано-разум, самая маленькая самостоятельная единица (по размеру и выделяемой энергии), способная к самоанализу;

Разум, специализирующийся в создании сценариев и прогнозировании;

Разум, который никогда ничего не забывает, включая неверную информацию;

Наполовину машина, наполовину животное;

Наполовину машина, наполовину андрогинный киборг;

Разум, использующий в своей работе непонятный для нас количественный анализ.

Сегодня некоторые называют каждую из перечисленных разновидностей мышления сверхчеловеческим ИИ, однако в будущем разнообразие и чужеродность этих форм разума заставит нас обратиться к новым словарям и детально изучить тему мышления и разумности.

К тому же приверженцы идеи о сверхчеловеческом ИИ предполагают, что уровень его умственных способностей будет расти по экспоненте (хотя у них до сих пор нет системы для оценки этого уровня). Возможно, они верят, что процесс экспоненциального развития происходит уже сейчас.

Так или иначе, сегодня нет никаких свидетельств такого роста, как ни измеряй. Иначе это означало бы, что умственные способности ИИ удваиваются в течение определенного промежутка времени.

Где подтверждение этому? Единственное, что сейчас растет по экспоненте - это вложения в индустрию ИИ. Но отдачу от этих инвестиций не получается описать законом Мура. ИИ не становится в два раза умнее ни за три года, ни даже за десять лет.

Я спрашивал многих экспертов в области ИИ, но все соглашались, что у нас нет критериев разумности. Когда я спросил Рэя Курцвейла, настоящего волшебника экспонент, где найти свидетельства экспоненциального развития ИИ, он написал мне, что развитие ИИ - не взрывной, а постепенный процесс.

«Чтобы добавить новый уровень в иерархию требуется как экспоненциальный рост вычислительной способности, так и увеличение сложности алгоритма... Таким образом, стоит ожидать линейного увеличения количества условных уровней, поскольку для появления каждого из них требуется экспоненциальный рост наших собственных возможностей. Нам осталось не так уж и много уровней сложности для достижения ИИ способностей неокортекса (основная часть коры человеческого мозга, которая отвечает за высшие нервные функции - прим. Newoчём ), поэтому я по-прежнему считаю верными свои предположения насчет 2029-го года».

Кажется, Рэй говорит о том, что не сила искусственного интеллекта растет по экспоненте, а усилия по ее созданию, в то время как их результат каждый раз просто увеличивается на одну ступень. Это почти противоположно гипотезе о взрывном росте интеллекта. В будущем это может измениться, но сегодня ИИ явно не растет экспоненциально.

Поэтому когда мы представляем «бум искусственного интеллекта», мы должны представлять его не как лавину, а скорее как расщепление на множество новых разновидностей. Результатом технологического прогресса, вероятнее всего, станет не суперчеловек, но сверхчеловек. За пределами наших знаний, но не обязательно «выше» них.

Еще один принимаемый на веру, но практически не подкрепленный доказательствами миф о порабощении сверхинтеллектом гласит, что близкий к бесконечному интеллект сможет быстро разрешить все наши проблемы.

Многие сторонники молниеносного развития ИИ ожидают, что тот породит бум прогресса. Я называю веру в это «размышлизмом» (thinkism, термин переведен Вячеславом Головановым - прим. Newочём ). Данный подход основывается на убежденности в том, что прогрессу препятствует лишь недостаточный уровень мышления или интеллекта. (Также отмечу, что вера в ИИ как панацею от всех бед свойственна по большей части людям, которые сами любят размышлять.)

Давайте рассмотрим вопрос победы над раком или продления жизни. Это проблемы, которые нельзя решить одними размышлениями. Никакой объем размышлизма не способен выяснить, как стареют клетки или как укорачиваются теломеры. Никакой интеллект, независимо от своей крутости, не сможет понять, как работает человеческое тело, просто прочитав всю известную научную литературу в мире и проанализировав ее.

Сверх-ИИ не сможет просто поразмышлять обо всех текущих и прошлых экспериментах по расщеплению атомного ядра, а через день придумать готовый рецепт термоядерного синтеза. Чтобы прийти от непонимания к пониманию каких-либо предмета, нужно нечто большее, чем просто размышление.

В реальности существует масса экспериментов, каждый из которых дает целую кучу противоречивых данных и требует дальнейших экспериментов для формирования правильной рабочей гипотезы. Одно лишь обдумывание возможных результатов не даст правильных данных на выходе.

Мышление (интеллект) - это только часть инструмента науки. Скорее всего, лишь небольшая часть. Например, у нас просто недостаточно данных, чтобы приблизиться к решению проблемы смерти. В случае работы с живыми организмами большинство этих экспериментов занимают время. Медленный метаболизм клетки не может ускориться. Нужны годы, месяцы или, по крайней мере, дни, чтобы получить результаты.

Если мы хотим знать, что происходит с субатомными частицами, недостаточно просто думать о них. Мы должны построить очень большие, очень сложные, очень мудреные физические модели, чтобы это выяснить. Даже если самые умные физики станут в тысячу раз умнее, чем сейчас, они не узнают ничего нового без коллайдера.

Нет никаких сомнений в том, что сверх-ИИ может форсировать процесс развития науки. Мы можем создать компьютерные модели атомов или клеток, можем ускорить их во многих аспектах, но есть проблемы, которые препятствуют симуляции в достижении мгновенного прогресса.

Стоит помнить, что симуляции и модели могут исследоваться быстрее, чем их субъекты, лишь потому, что они отбрасывают те или иные переменные. В этом и состоит сама суть моделирования. Также важно отметить, что для проверки, изучения и утверждения таких моделей нужно много времени, чтобы они соответствовали уровню своих субъектов. Проверку опытом нельзя ускорить.

Упрощенные версии в симуляции полезны для поиска самых перспективных путей ускорения прогресса. Но в реальности нет ничего лишнего, всё имеет значение в некоторой степени - это одно большое определение действительности. Поскольку модели и симуляции становятся все более и более подробными, исследователи сталкиваются с тем, что реальность работает быстрее, чем ее стопроцентная симуляция.

Вот еще одно определение реальности: самая быстро функционирующая версия всех возможных деталей и степеней свободы. Если бы вы смогли смоделировать все молекулы в клетке и все клетки в организме человека, эта модель не стала бы работать так же быстро, как и человеческое тело. Независимо от того, как вдумчиво вы разрабатывали такую модель, вам все равно нужно будет потратить время на проведение экспериментов, и не имеет значения, будет это реальная система или симуляция.

Чтобы приносить пользу, искусственный интеллект должен быть внедрен в мир, а в этом мире необходимый темп инноваций меняется довольно быстро. Без первых экспериментов, прототипов, ошибок и вовлечения в реальность интеллект может мыслить, но не даст результатов. Он не совершит никаких сиюминутных открытий ни через секунду, ни через час, ни через год после того, как его назовут «умнее человека».

Появляется ИИ. Конечно, скорость открытий будет ускоряться по мере усложнения этого ИИ, отчасти потому, что инородный искусственный интеллект будет задавать вопросы, которые ни один человек не задаст, но даже очень мощный (по сравнению с нами) интеллект не гарантирует немедленного прогресса. Чтобы решить проблемы, нужно гораздо больше, чем просто интеллект.

Проблемы рака и продолжительности жизни - не единственные из тех, которые интеллект сам по себе не способен решить. Среди сторонников идеи технологической сингулярности распространено заблуждение: если мы создадим ИИ, который будет умнее людей, то он внезапно начнёт развиваться и создаст еще более разумный ИИ.

Новый искусственный интеллект будет думать глубже и изобретет что-то еще более умное, и так до тех пор, пока не будет изобретено нечто богоподобное. Нет ни одного доказательства, что одних размышлений достаточно для создания новых уровней интеллекта. Этот вид размышлизма основан на вере.

Однако есть множество доказательств тому, что для изобретения нового эффективного интеллекта нужны не только мысленные усилия, но и эксперименты, данные, сложные вопросы, пробы и ошибки.

Я понимаю, что могу заблуждаться. Пока мы находимся на раннем этапе. Возможно, мы откроем универсальную шкалу интеллекта или его бесконечность во всех смыслах. Вероятность технологической сингулярности есть, ведь мы очень мало знаем о том, что интеллект и самосознание из себя представляют. По-моему, все указывает на то, что это маловероятно, но шанс все таки есть.

Тем не менее, я поддерживаю более широкие цели OpenAI : мы должны разработать дружественный ИИ и выяснить, как наделить его ценностями, которые воспроизводятся сами по себе и совпадают с нашими.

Есть вероятность, что сверхчеловеческий ИИ в долгосрочной перспективе может быть вреден, но эта мысль основана на неполных доказательствах, и ее не стоит воспринимать всерьез, когда дело касается науки, политики или прогресса.

Падение астероида на Землю может уничтожить нас, вероятность такого исхода существует (это подтверждает Фонд B612), но нам не следует учитывать такой исход в вопросах глобального потепления, космических путешествий или планировки городов.

Имеющиеся доказательства указывают на то, что, скорее всего, ИИ не будет сверхчеловеческим. Он будет обладать новыми разновидностями мышления, недоступными человеку, но без всеобъемлющего применения он не станет богом, который решит наши главные проблемы в один миг.

Вместо этого он станет скоплением интеллектов с ограниченными возможностями, будет лучше нас работать в непривычных нам сферах, вместе с нами сможет найти решение как уже существующих, так и новых проблем.

Я понимаю, насколько привлекательна идея сверхчеловеческого и богоподобного ИИ. Он может стать новым Суперменом. Но, как и Супермен, это вымышленный персонаж. Где-нибудь во Вселенной Супермен, возможно, и существует, но это очень маловероятно. Как бы то ни было, мифы могут быть полезны и, будучи однажды созданы, они не исчезают.

Идея Супермена будет жить вечно. Идея сверхчеловеческого ИИ и сингулярности зарождается сейчас и уже никогда не будет забыта. Нам нужно понять, что это за идея: религиозная или научная. Если мы исследуем вопрос интеллекта, искусственного или естественного, мы должны четко понимать, что наши представления о сверхчеловеческом ИИ - всего-навсего миф.

Племена изолированных островов Микронезии впервые установили контакт с внешним миром во время Второй мировой войны. Боги прилетели с далеких земель, спустились с небес на шумных птицах, принесли дары и улетели навсегда. На островах распространились культы возвращения этих богов и новых даров. Даже сейчас, 50 лет спустя, многие до сих пор ждут их возвращения.

Сверхчеловеческий ИИ может стать для нас новым карго-культом. Возможно, через сотню лет люди будут воспринимать наше время так же: будто мы верили в сверхчеловеческий ИИ и десятилетиями ждали, что с минуты на минуту он появится и принесет нам невообразимые дары.

Впрочем, не-сверхчеловеческий ИИ существует уже сейчас. Мы продолжаем искать ему новое определение, усложнять его. Однако в широком смысле чужой для нас разум - это спектр интеллектуальных возможностей, мышления, механизмов рассуждения, обучения, самосознания. ИИ распространяется и будет распространяться. Он становится глубже, разнообразнее, мощнее.

До ИИ ни одно изобретение не могло полностью изменить мир. К концу 21 века искусственный интеллект будет настолько силен, что изменит все в нашей жизни.

Как бы там ни было, миф о сверхчеловеческом ИИ, который подарит нам сверхбогатство или сверхрабство (или и то, и другое), будет жить. Однако он так и останется мифом, который вряд ли найдет воплощение в реальности.»