Глобальных рисков

Билл Джой. Почему мы не нужны будущему

Впервые опубликовано на русском в журнале

«Компьютерра» в 2001г.

От переводчика:

Автором статьи, первоначально опубликованной в журнале “Wired” [1], является Билл Джой – заведующий научной частью и сооснователь американской компьютерной компании "Sun Microsystems". Билл Джой – человек-легенда, один из отцов BSD Unix, разработчик программ csh и vi ("азбука" для каждого специалиста по Unix). Джой сыграл в истории Java одну из главных ролей, оставаясь зачастую за сценой. Работал в самом центре команды BSD Unix; усовершенствовав протокол TCP/IP для работы на Ethernet, а не только на 50 кбит/сек линиях Arpanet, Билл Джой сделал возможным появление Internet. Компьютеры Sun с работающей на них системой BSD Unix оказались наиболее надёжными кораблями для TCP/IP, существенная доля всех хост-компьютеров для Web по-прежнему являются машинами от Sun.

Перевод: Илья Осипов

Оригинал на сайте “Wired”: Bill Joy "Why the future doesn't need us".

Наши наиболее могущественные технологии 21-го века – робототехника, генная инженерия и нанотехнология [2] – угрожают подвергнуть человеческий род опасности.

Нравственные измерения новых технологий беспокоили меня с того момента, как я стал заниматься их созданием, но только осенью 1998-го года я с тревогой понял, насколько велики опасности, с которыми мы столкнёмся в 21-м веке. Я могу датировать начало моей тревоги днём, когда я встретил Рэя Курцвейла (Ray Kurzweil), заслуженно прославленного изобретателя первой читающей машины для слепых и многих других удивительных вещей.

Я и Рэй были докладчиками на конференции Telecosm Джорджа Гилдера[3], и я встретил его случайно в гостиничном баре после того, как окончились наши заседания. Я сидел с Джоном Сирлом[4], философом из Беркли, работавшим над изучением сознания. Пока мы беседовали, подошёл Рэй и завязался разговор, предмет которого преследует меня по сей день.

Я пропустил разговор Рэя и упустил тему разговора, а они теперь начали как раз там, где остановились. Рэй говорил о том, что темп улучшения технологии собирается ускоряться и что мы собираемся стать роботами, слиться с роботами или что-то наподобие, а Джон возражал, говорил, что этого не может случиться, поскольку роботы не могут быть сознательными.

Пока я слышал такие толки раньше, я всегда полагал, что чувствующие роботы относятся к сфере научной фантастики. Но теперь от некоторых уважаемых мною людей я услышал веский аргумент в пользу того, что такие роботы являются делом близкого будущего. Я был ошеломлён, особенно если учесть подтверждённую способность Рэя воображать и создавать будущее. Я уже знал, что новые технологии, вроде генной инженерии и нанотехнологии, дают нам власть переделать мир, но реалистичный и близкий сценарий создания разумных роботов поразил меня.

От таких открытий я чувствую себя больным. Мы едва ли не каждый день слышим в новостях про тот или иной технический или научный успех. Но это было совершенно неординарное предсказание. В гостиничном баре Рэй дал мне часть своей готовящейся к выходу в свет книги "Век духовных машин"[5]. Эта книга намечает в общих чертах утопию, которую он предвидит – утопию, в которой люди, "смертные", достигают почти бессмертия путём становления единым целым с робототехнической технологией. От чтения данной книги моё чувство тревоги только усилилось; я был уверен, что он преуменьшал опасности, преуменьшал вероятность плохого исхода при следовании по этой тропе.

Больше всего меня обеспокоил отрывок, подробно описывающий антиутопический сценарий:

Вызов нового луддита [6]

«Сперва давайте примем без доказательства, что компьютерщики преуспеют в совершенствовании разумных машин, которые всё смогут делать лучше, чем люди. В этом случае, по-видимому, вся работа будет делаться многочисленными высокоорганизованными системами машин и не нужны будут никакие людские усилия. Может произойти одно из двух. Либо машинам может быть разрешено делать всё, что они сочтут нужным, без человеческого за ними присмотра, либо человеческий контроль над машинами может быть сохранён.

Если машинам дана полная свобода в осуществлении их собственных решений, то невозможно сказать, к чему это приведёт, поскольку невозможно угадать, как такие машины могут себя вести. Мы только укажем, что гибель рода человеческого была бы во власти машин. Будет ли человечество когда-нибудь столь безрассудно, что передаст всю власть машинам, или же никогда не будет – спорный вопрос. Но мы не намекаем ни на то, что человечество добровольно передаст власть машинам, ни на то, что машины умышленно захватят власть. На что мы намекаем – так это на то, что человечество легко может позволить себе скатиться до положения такой зависимости от машин, что уже не будет никакого практического выбора, кроме как полного принятия всех машинных решений. В то время как общество и проблемы, с которыми оно сталкивается, будут становиться всё более и более сложными и всё более и более интеллектуальными будут становиться машины, люди будут позволять машинам принимать за них больше решений, просто потому, что решения, выработанные машинами, будут приводить к лучшим результатам, чем решения, принятые людьми. В конце концов может быть достигнута ступень, когда решения, необходимые для поддержания системы в рабочем состоянии, будут такими сложными, что люди будут неспособны к разумной выработке этих решений. На этой ступени фактически распоряжаться будут машины. Люди просто не смогут выключить машины, потому что они будут столь зависимы от них, что их выключение равнялось бы самоубийству.

С другой стороны, возможно, что человеческий контроль над машинами может быть сохранён. В этом случае средний человек может управлять некоторыми своими личными машинами, такими, как автомобиль или персональный компьютер, но контроль над крупными системами машин будет в руках крохотной элиты – совсем как сейчас, но с двумя различиями. Благодаря усовершенствованной технике элита будет иметь больший контроль над массами, а поскольку человеческий труд будет больше не нужен, массы будут излишними, бесполезным бременем для системы. Если элита безжалостна, она может просто принять решение истребить людскую массу. Если же она гуманна, то она может использовать пропаганду или иные психологические или биологические способы для сокращения уровня рождаемости, до тех пор, пока людская масса не вымрет, освободив мир для элиты. Или, если элита состоит из мягкосердечных либералов, она может решить сыграть роль доброго пастыря для остального человечества. Они будут присматривать, чтобы физические потребности каждого были удовлетворены, чтобы все дети воспитывались в психологически здоровых условиях, чтобы каждый человек не бездельничал, а имел полезное занятие по душе и чтобы всякий, кто мог стать недовольным, подвергался "лечению" для того, чтобы исцелить его "трудный случай". Конечно, жизнь будет настолько бесцельной, что людей придётся биологически или психологически перестроить: либо устранить их потребность в процессе власти [7], либо заставить их "сублимировать" своё побуждение к власти в некоторое безобидное хобби. Эти спроектированные люди могут быть счастливы в таком обществе, но они совершенно определённо не будут свободны. Они будут приведены к статусу домашних животных [8]».

В книге, пока вы не перевернете страницу, вы не обнаружите, что автором этого отрывка является Теодор Качински – Унабомбер[9]. Я не апологет Качински. В течение 17-летней кампании террора его бомбы убили троих людей и многих поранили. Одна из его бомб тяжело поранила моего друга Дэвида Гелернтера, одного из самых выдающихся компьютерщиков и провидцев нашего времени. Подобно многим моим коллегам, я чувствовал, что следующей мишенью Унабомбера запросто мог быть я.

Качински действовал кровожадно и, по моему мнению, невменяемо. Он несомненно является луддитом, но простое указание этого факта не отклоняет его аргументацию; как ни тяжело мне было это сознавать, я видел некоторое достоинство в рассуждениях, изложенных в этом единственном отрывке. Я чувствовал необходимость противостоять им.

Антиутопическое предвидение Качински описывает непреднамеренные последствия пресловутой проблемы проектирования технологии и её использования, а также проблемы, которая имеет очевидное отношение к закону Мэрфи – "Всё, что может сломаться, сломается". (Фактически это закон Жулика[10], который сам по себе показывает, что Жулик был прав.) Наше чрезмерное использование антибиотиков привело к тому, что до сих пор является, быть может, наибольшей такой проблемой: появление бактерий, устойчивых к антибиотикам и гораздо более опасных. Нечто подобное произошло, когда попытки ликвидировать малярийных комаров с использованием ДДТ вызвали у них устойчивость к этому препарату; более того, малярийные паразиты приобрели гены мультимедикаментозной устойчивости[11].

Причина многих таких неожиданностей кажется понятной: задействованные системы сложны, они включают в себя взаимодействие и обратные связи между множеством частей. Всякие изменения такой системы будут каскадно ниспадать путями, которые трудно предсказать; это особенно верно, когда задействована человеческая деятельность.

Я начал показывать друзьям цитату Качински из книги "Век духовных машин"; я обычно вручал им курцвейловскую книгу, давал им прочитать цитату, а потом наблюдал их реакцию, когда они обнаруживали, кто её написал. Приблизительно в то же время я нашёл книгу Ганса Моравека "Робот: просто машина для превосходящего разума"[12]. Моравек является одним из лидеров исследований в робототехнике и основателем крупнейшей в мире робототехнической исследовательской программы при университете Карнеги Меллона. "Робот" дал мне больше материала для проб на моих друзьях – материала, удивительно подкрепляющего аргументацию Качински. Например: