Книга «Структура глобальной катастрофы»

Книга «Структура глобальной катастрофы» В этой работе ряд терминов употребляется в следующих значениях (подробнее каждый термин будет разъяснён в тексте): Doomsday argument – Доказательство Конца Света, или иногда рассуждение о конце света Картера-Лесли, сокращённо – DA . NBIC -конвергенция – означает наблюдающуюся в современной науке тенденцию к слиянию и обмену информацией, методами и результатами между четырьмя ключевыми технологиями nano - bio - info - cogno . Агент – вещество, вирус, бактерия, поток энергии или любой другой распространяющийся фактор воздействия, причиняющий смерть. Глобальная катастрофа – событие, приводящее к необратимому вымиранию всех людей. События, которые затрагивают весь мир, но не приводят к тотальному вымиранию, называются в этом тексте «очень большими катастрофами». «Дружественный» ИИ – универсальный сильный ИИ, система целей которого устроена так, что он не будет причинять вред людям и будет уменьшать риск глобальной катастрофы. Его противоположность – недружественный ИИ, система целей которого ведёт к гибели людей и даже вымиранию человечества. Закон Мура – исходно относится к удвоению числа транзисторов на микропроцессорах каждые два года. Говоря о законе Мура, мы будем иметь в виду закон Мура в широком смысле слова, как процесс экспоненциального роста ряда ключевых технологий с периодом удвоения в несколько лет. ИИ – Искусственный интеллект, понимаемый как Универсальный искусственный интеллект, способный к самосовершенствованию и любой интеллектуальной деятельности, доступной человеку. Машина судного дня, оружие судного дня – любое устройство, вещество или способ, которые разработаны специально для окончательного и необратимого уничтожения человечества. Ошибки – по-английски ‘ cognitive biases ’, что можно перевести как «предубеждения» или «отклонения в ходе рассуждений», или, если употребить точный психологический термин, «когнитивные искажения». Постапокалиптический мир – то, чем может стать з емля, в случае, если на ней произойдёт очень большая катастрофа, однако какое-то число людей выживет. Сверхтехнологии – принципиально новые технологические способы влияния на внешний мир, способные его полностью трансформировать и/или создать глобальные риски, в первую очередь это нано-, био-, когно- и ИИ-технологии. Сингулярность – гипотетическая точка во времени в районе 2030 года, когда ряд прогностических кривых уходят в бесконечность. Связывается с крайне быстрым ростом технического прогресса, особенно компьютеров, нано- и биотехнологий, исследований мозга и систем ИИ и предполагает качественное изменение человечества. Термин введён в употребление Вернором Винджем в 1993 году. Структура катастрофы – взаимосвязь научных заблуждений, конструкторских недоработок, операторских ошибок и цепной реакции факторов разрушения, ведущих к катастрофе. Люди, львы, орлы и куропатки, рогатые олени, гуси, пауки, молчаливые рыбы, обитавшие в воде, морские звезды и те, которых нельзя было видеть глазом,— словом, все жизни, все жизни, все жизни, свершив печальный круг, угасли. Уже тысячи веков, как земля не носит на себе ни одного живого существа, и эта бедная луна напрасно зажигает свой фонарь. На лугу уже не просыпаются с криком журавли, и майских жуков не бывает слышно в липовых рощах. Холодно, холодно, холодно. Пусто, пусто, пусто. Страшно, страшно, страшно. Несмотря на то, что книг с общим обзором проблемы глобальных рисков издано в мире немного, уже наметилась определённая традиция в обсуждении предмета. Она состоит в обсуждении методологии, классификации возможных рисков, оценки их вероятности, способов защиты и затем – обзора логических парадоксов, связанных с этой проблемой, а именно, «Доказательство Конца Света» ( Doomsday argument ). Наиболее существенных современных источников по проблеме четыре. Это книга канадского философа Дж. Лесли «Конец света. Наука и этика человеческого вымирания» [Leslie 1996], книга английского астронома сэра Мартина Риса «Наш последний час» [Rees 2003], книга американского учёного и юриста Р. Познера «Катастрофа. Риск и реакция» [Posner 2004] и сборник статей под редакцией Н. Бострома и М. Чирковича «Риски глобальной катастрофы» [Bostrom, Circovic 2008]. Ещё раз мы обратимся к имеющейся литературе в разделе «Краткая история исследования вопроса» в 1-ой главе, в том числе упомянем и работы советских и российских авторов, однако, перечисленные книги будут нашими основными точками опоры. Предлагаемая читателю книга значительно отличается от книг предшествующих исследователей, в первую очередь, широтой обзора. Например, в статье Юдковски [Yudkowsky 2008a] обсуждается, хотя и очень подробно, только 10 возможных систематических ошибок, влияющих на оценку глобальных рисков, тогда как в нашей книге предпринимается попытка составить их полный список, включающий 150 пунктов. Также в разделе, посвященном классификации рисков, упоминаются многие риски, о которых нет речи ни в одной из трёх книг. Если посчитать все возможные риски, включая подкатегории и составные риски, то их число тоже легко может перевалить за сотню, что превышает цифру из 15 рисков, обсуждаемых Бостромом [Bostrom 2001]. Наконец, я предлагаю классификацию вариантов Доказательства Конца Света ( Doomsday argument ), что не освещается в известных мне зарубежных источниках. Особенностью предлагаемой книги является подробный критический обзор различных средств защиты от глобальных рисков. При этом я стремился дать системный взгляд на проблему, который бы позволил оторваться от перечисления различных рисков и увидеть то общее, что есть в каждом из них, а также — как разные риски, соединяясь, могут образовывать структуру. Именно этим объясняется выбор названия книги. Данная работа адресована любым будущим и ныне существующим организациям, которые будут предотвращать глобальные катастрофы или по роду своей деятельности сталкиваться с ними (включая правительства, исследовательские институты, спецслужбы, военных и неправительственные фонды), их руководителям и сотрудникам, а также футурологам, молодым учёным и всем, кому интересно будущее человечества. Цель работы – дать картину рисков глобальной окончательной катастрофы. Имеется в виду событие, которое, по словам Бострома, «истребит разумную жизнь на Земле или необратимо повредит её потенциал» [Bostrom 2001]. Полное вымирание всех людей является наиболее вероятной формой такого события, и далее по тексту под словами «глобальная катастрофа» будет иметься в виду именно это событие. Часть 1. Анализ Рисков. Глава 1. Общие замечания. 1.1 Пространство возможностей. Один из важнейших способов достижения безопасности – учёт всех возможных сценариев в соответствии с их вероятностями, то есть построение «древа отказов». Например, безопасность авиатранспорта достигается, в частности, за счёт того, что учитываются всевозможные сценарии катастрофы вплоть до определённого, точно вычисленного уровня риска. Описание пространства возможностей глобальной катастрофы преследует цель её предотвращения. Следовательно, оно должно сосредоточиться на тех узловых точках, управление которыми позволит регулировать риск как можно большего числа возможных катастрофических сценариев. Кроме того, описание должно дать информацию, удобную для осмысления и пригодную для практического использования – и желательно, чтобы эта информация была адаптирована для тех потребителей, которые будут осуществлять непосредственное предотвращение глобальных рисков. Однако задача определения этих потребителей сама по себе не проста. Обратите внимание, что при чтении одни моменты могут показаться вам очевидными, другие интересными, а третьи – вопиющими глупостями. Обратите также внимание, насколько будет отличаться ваша реакция от реакции других, не менее образованных, чем вы, людей. Этот разброс оценок есть, на самом деле, мера неопределенности в том, что мы знаем и можем знать о будущем. Вся информация взята из открытых источников, приведённых в списке литературы. 1.2 Рассматриваемый промежуток времени: XXI век. Исследуя глобальные катастрофы, возможные в XXI веке, мы в нашей работе пытаемся ответить на оба вопроса, поскольку мы описываем не только их механизмы, но и утверждаем, что эти механизмы могут реализоваться в течение ближайших нескольких десятков лет. Возможно, некоторым читателям будет проще допустить возможность реализации этих механизмов не через 30, а, допустим, через 300 лет. Таким читателям можно сказать, что, исходя из принципа предосторожности, мы рассматриваем наиболее опасный сценарий наиболее быстрого развития ситуации, и что действительно возможно, что эти же самые события произойдут значительно позже. Но следует заметить, что Р. Курцвел, рассматривая вопрос ускорения темпов исторического времени и скорости технологического прогресса, предлагает считать XXI век равным по объёму инноваций предыдущим 20 000 годам человеческого развития. В нашей книге анализируются угрозы существованию человечества, которые могут возникнуть и реализоваться в течение XXI века. За этой границей неопределённость настолько велика, что мы не можем сейчас ничего ни предсказать, ни предотвратить. Более того, возможно, даже граница 2100 года является слишком отдалённой (см. далее о пике прогностических кривых в районе 2030 года). Некоторые сценарии имеют определённые последствия, которые могут сказаться после XXI века (например, глобальное потепление), и в этом случае мы обсуждаем их. Граница 2100-ого года позволяет нам не рассматривать в качестве рисков глобальной катастрофы отдалённые во времени космические события, вроде превращения Солнца в красного гиганта. И взята эта граница не случайно. Именно 100 лет являются характерным сроком для глобальных катастроф, а не 1 год, не 10 лет и не 1000 – это станет очевидным из дальнейшего анализа конкретных рисков. Иначе говоря, любые комбинации из приведённых ниже сценариев глобальной катастрофы могут реализоваться в течение ближайших нескольких десятков лет. Однако поскольку я понимаю, что моя оценка времени, возможно, содержит неустранимую ошибку, я расширяю её до 100 лет. Однако моя оценка времени может содержать и ошибку в обратную сторону, что означает, что у нас нет ни ста лет, ни двадцати, а только несколько лет до того момента, когда вероятность глобальной катастрофы достигнет максимума. (Поскольку погодовая вероятность глобальной катастрофы растёт, и поскольку так не может продолжаться вечно, то эта плотность вероятности имеет некий горб, который означает момент времени, когда вероятность этой катастрофы максимальна – о том, будет ли он через несколько лет, через 23 года или через 100 лет и идёт разговор. Подробнее этот вопрос будет обсуждаться в разделе «Неизбежность достижения устойчивого состояния» главы 19 «Многофакторные сценарии».) Разумеется, есть вероятность, что она случится и завтра, однако я рассматриваю её как незначительную. Фактически, говоря о XXI веке в целом, я, возможно, внушаю ложное чувство спокойствия, поскольку существует класс источников глобальных рисков, вероятность появления которых значительно возрастёт в ближайшие 10-20 лет. Речь идёт, в первую очередь, об опасных практических приложениях биотехнологий (см. дальше в главе 4). Поэтому возможно, следовало бы говорить о первой половине XXI века. Иначе говоря, глобальные катастрофы могут случиться не с нашими потомками, а именно с нами. Я допускаю, что для живущего сейчас обычного человека шанс умереть от глобальной катастрофы выше, чем вероятность естественной смерти. Предлагаемый далее список возможных угроз наверняка не полон. Скорее всего, от широкой публики определённое количество рисков скрывают (просто потому что нас не считают экспертами в области ИИ, атомного оружия, коллайдера и т. д.) Почти наверняка от нас скрывают некие новые виды вооружений. 1.3 Проблемы вычисления вероятностей различных сценариев. Сам по себе вероятностный подход к анализу глобальных рисков может создать иллюзию знания там, где мы на самом деле ничего не знаем, и поэтому его следует применять с определённой осторожностью. Вот цитата из эссе «О невозможности прогнозирования» С. Лема: «Здесь автор провозглашает тщетность предвидений будущего, основанных на вероятностных оценках. Он хочет показать, что история сплошь состоит из фактов, совершенно немыслимых с точки зрения теории вероятностей. Профессор Коуска переносит воображаемого футуролога в начало XX века, наделив его всеми знаниями той эпохи, чтобы задать ему ряд вопросов. Например: «Считаешь ли ты вероятным, что вскоре откроют серебристый, похожий на свинец металл, который способен уничтожить жизнь на Земле, если два полушария из этого металла придвинуть друг к другу, чтобы получился шар величиной с большой апельсин? Считаешь ли ты возможным, что вон та старая бричка, в которую господин Бенц запихнул стрекочущий двигатель мощностью в полторы лошади, вскоре так расплодится, что от удушливых испарений и выхлопных газов в больших городах день обратится в ночь, а приткнуть эту повозку куда-нибудь станет настолько трудно, что в громаднейших мегаполисах не будет проблемы труднее этой? Считаешь ли ты вероятным, что благодаря принципу шутих и пинков люди вскоре смогут разгуливать по Луне, а их прогулки в ту же самую минуту увидят в сотнях миллионов домов на Земле? Считаешь ли ты возможным, что вскоре появятся искусственные небесные тела, снабженные устройствами, которые позволят из космоса следить за любым человеком в поле или на улице? Возможно ли, по-твоему, построить машину, которая будет лучше тебя играть в шахматы, сочинять музыку, переводить с одного языка на другой и выполнять за какие-то минуты вычисления, которых за всю свою жизнь не выполнили бы все на свете бухгалтеры и счетоводы? Считаешь ли ты возможным, что вскоре в центре Европы возникнут огромные фабрики, в которых станут топить печи живыми людьми, причем число этих несчастных превысит миллионы?» Понятно, говорит профессор Коуска, что в 1900 году только умалишенный признал бы все эти события хоть чуточку вероятными. А ведь все они совершились. Но если случились сплошные невероятности, с какой это стати вдруг наступит кардинальное улучшение и отныне начнет сбываться лишь то, что кажется нам вероятным, мыслимым и возможным? Предсказывайте себе будущее, как хотите, обращается он к футурологам, только не стройте свои предсказания на наибольших вероятностях. » [Лем 1995]. Предлагаемая картина глобальных рисков и их взаимодействия друг с другом вызывает естественное желание вычислить точные вероятности тех или иных сценариев. Очевидно также, что при этом мы сталкиваемся со значительными трудностями. Связано это с принципиальной недостаточностью информации в наших моделях, несовершенством самих моделей, а также — с хаотическим характером всей системы. Само понятие «вероятность глобальной катастрофы» в смысле «вероятность конца света» внутренне противоречиво, так как речь идёт об, по определению, однократном событии. Даже если такое событие будет необратимо надвигаться, нам не удастся узнать, стали мы жертвой крайне случайного или закономерного события. (А если учесть эффект многомирного бессмертия, то я-наблюдатель вообще никогда не смогу обнаружить глобальную катастрофу, так как всегда найдётся мир, в котором я выживу. Но при этом я могу быть свидетелем гибели оставшейся цивилизации и быть последнем выжившим в бункере, и такой расклад должен быть приравнен к окончательному вымиранию.) Концепция того, что такое вероятность, претерпела длительную эволюцию, и в ней есть два направления – объективистский, где вероятность рассматривается как доля событий из некого множества, и субъективистский, где вероятность рассматривается как мера нашего незнания 1 . Тот и другой подход применим к определению того, что считать вероятностью глобальной катастрофы. Далее мы обсудим три «объективных» подхода к вычислению вероятности – а именно распределения по множеству возможных будущих, по множеству всех цивилизаций в галактике и по доле различных миров в Мультиверсе, и два «субъективных» – как точную меру нашего незнания и как рациональные ожидания отдельных людей. Чтобы сделать изложение понятнее, мы в каждом случае приведём оценки вероятности для двух принципиально различных случаев – вероятности катастрофы в результате падения астероида и рисков возникновения враждебного ИИ. 1.4 Количественные оценки вероятности глобальной катастрофы, даваемые различными авторами. Н. Бостром, 2001, «Угрозы существованию . Анализ сценариев человеческого вымирания и подобных опасностей»: «Мое субъективное мнение состоит в том, что будет ошибочно полагать эту вероятность меньшей, чем 25 %, и наивысшая оценка может быть значительно больше…» [Bostrom 2001]. Сэр Мартин Рис, 2003 «Наш последний час»: 50 % в XXI веке [Rees 2003]. Может показаться, что эти данные не сильно расходятся друг с другом, так как во всех случаях фигурируют десятки процентов. Однако, промежуток времени, на который даётся это предсказание, каждый раз сокращается (пятьсот лет – двести – сто), в результате чего погодовая плотность вероятности растёт. А именно: 1996 – 0,06 % – 0,012 % , 2001 – 0,125 %, 2003 – 0,5 %. Иначе говоря, за десять лет ожидаемая оценка плотности вероятности глобальных катастроф, по мнению ведущих экспертов в этой области, возросла почти в 10 раз. Разумеется, можно сказать, что трёх экспертов недостаточно для статистики, и что эти мнения могут взаимно влиять друг на друга, однако тенденция неприятная. Если бы мы имели право экстраполировать эту тенденцию, то в 10-е годы XXI в. мы могли ожидать оценок погодовой вероятности вымирания в 5 %, а в 20-е годы – в 50 %, что означало бы неизбежность вымирания цивилизации до 2030 года. Несмотря на всю свою спекулятивность, эта оценка совпадает с другими оценками, полученными далее в этой книге разными независимыми способами. С другой стороны, в годы холодной войны оценка вероятности вымирания тоже была высока. Исследователь проблемы внеземных цивилизаций фон Хорнер приписывал «гипотезе самоликвидации психозоя» шансы в 65 % [Лем 1970]. Фон Нейман считал, что ядерная война неизбежна, и все в ней погибнут [Bostrom 2001]. У Шкловского мы читаем: «По оценкам, выполненным американским футурологом А. Раппортом при экстраполяции естественных тенденций в развитии технологических цивилизаций, эти катастрофы (уничтожающие технологическую цивилизацию – А.Т.) должны реализоваться не позже 2030 года» [Шкловский 1987]. 1.5 Глобальные катастрофы и горизонт прогнозирования. Оценка в 5 лет возникла из экстраполяции исторических промежутков, на которых в прошлом ситуация в мире настолько менялась, что конкретные политические и технологические тенденции устаревали. Так, от открытия цепной реакции до атомной бомбы прошло 6 лет, ещё 7 – до первой водородной, а с этого момента – ещё 5 лет до запуска первого спутника. Примерно по 5 лет длились и обе мировые войны, 6 лет заняла эпоха перестройки. Поступая в вуз на 5 лет, человек не знает обычно, куда он из него пойдёт работать и какую выберет специализацию. На 5 лет обычно выбирают президентов, и никто не знает, кто будет президентом через срок. СССР управлялся на основе пятилетних планов. Периодичность появления принципиально новых продуктов и их огромных рынков: PC, интернет, сотовые телефоны – тоже имеет порядок нескольких лет. Планы внедрения новых технологий микропроцессоров также составляют не более нескольких лет. При этом основной силой в ожиданиях на ближайшие несколько лет оказывается «сила инерции», то есть мы можем с высокой вероятностью говорить, что в течение ближайших 5 лет будет примерно тоже, что и сейчас, за исключением ряда развивающихся тенденций. Однако, когда мы говорим о сроках более 5 лет, то более вероятным выглядит утверждение о том, что ситуация кардинально изменится, чем то, что она будет такой же, как сейчас. Эффект ускорения исторического времени, о котором мы будем говорить дальше, вероятно, сокращает этот срок однозначного прогноза. Таким образом, мы можем сказать, что до начала «полосы тумана» в однозначных прогнозах будущего у нас есть примерно 5 лет, то есть, это 2013 год от момента, когда я пишу эти строки. В целом, мы смутно представляем более поздние технологии, хотя и существуют отдельные технические проекты со сроком реализации до 2020-х годов ( термоядерный реактор ИТЭР или строительство лунной базы), и есть бизнес-планы, которые рассчитаны на срок до 30 лет, например, долгосрочная ипотека. Но именно пять лет – это примерный срок, за которым неопределённость в глобальном состоянии всей системы начинает преобладать над определённостью в разных видах человеческой деятельности. Также надо отметить, что с течением времени всё большая неопределённость приходится не на технологические проекты, а на открытия. И хотя мы можем сказать, что некоторые проекты составлены на 20 лет вперёд, мы не знаем, какие факторы будут самыми главными в экономическом, политическом и техническом развитии. Абсолютным пределом в прогнозах кажется 2030 год, в районе течение которого предполагаются возможными развитые нанотехнологии, искусственный интеллект и полное овладением биоконструированием. (Это мнение разделяется многими футурологами). Нам кажется, что сейчас нет смысла в оценках кривых роста популяции или запасов каменного угля на этот период, поскольку мы ничего не можем сказать о том, как повлияют сверхтехнологии на эти процессы. С другой стороны, большая неопределённость есть в выборе самой этой даты. Она часто фигурирует в разных дискуссиях о будущем технологий, о чём речь пойдёт дальше в главе про т ехнологическую Сингулярность. Очевидно, что неопределённость в дате «2030 год» составит не менее пяти лет. Если произойдёт некая неокончательная катастрофа, то она может резко расширить горизонт прогнозирования просто за счёт сужения пространства возможностей (например, в духе сюжета: «теперь мы будем сидеть в бункере 50 лет»). Хотя большинство футурологов, пишущих на тему новых технологий, предполагают, что сверхтехнологии созреют к 2030 году, некоторые относят появление зрелых нанотехнологий и ИИ к 2040-м годам, однако мало кто решается дать обоснованные предсказания на более поздние даты. Кроме того, помимо неопределённости, связанной с нашим незнанием темпов развития разных технологий, их конвергенция в ходе т ехнологической с ингулярности даёт неопределённость более высокого порядка, связанную с тем, что мы не можем предсказывать поведение интеллекта, значительно превосходящего наш. Также надо иметь в виду, что время предсказуемости постоянно уменьшается в связи с ускорением прогресса и ростом сложности систем. Поэтому, высказывая предположения о границе предсказуемости, мы уже делаем некий прогноз на будущее – хотя бы о том, что степень его изменчивости будет сохраняться. Очевидно, однако, что граница предсказуемости может возрастать за счёт нашего лучшего предвидения и успехов в создании устойчивого общества. Здесь также действует парадокс среднесрочных прогнозов. Мы можем сказать, что будет с человеком завтра (примерно то же самое, что и сегодня), или через десятки лет (возможно, он состарится и умрёт), но мы не можем сказать, что будет через 10 лет. Также и про человечество мы можем сказать, что оно к концу XXI века или перейдёт в постиндустриальную фазу с нанотехнологиями, искусственным интеллектом и почти физическим бессмертием, или к этому моменту погибнет, не выдержав быстроты изменений. Однако прогноз на 15 лет гораздо менее очевиден. В силу сказанного, хотя мы и исследуем угрозы глобальной катастрофы на протяжении всего XXI века, наибольшей интерес для нашего исследования представляет промежуток примерно в два десятилетия между 2012 и 2030 годами. До этого периода вероятность глобальной катастрофы в целом известна и мала, а после него – мы утрачиваем, за рядом исключений, возможность что-либо точно предполагать. 1.6 Краткая история исследований вопроса. Для того, чтобы оценить риск такого развития событий, была создана комиссия во главе с физиком Артуром Комптоном. Ею был подготовлен доклад LA -602 «Риски поджигания атмосферы атомным взрывом» [LA-602 1945], которые недавно был рассекречен и теперь доступен всем желающим в Интернете в виде плохо отсканированных машинописных страниц. В нём Комптон показывает, что благодаря рассеянию фотонов на электронах последние будут охлаждаться (так как их энергия больше, чем у фотонов), и излучение будет не нагревать, а охлаждать область реакции. Таким образом, с ростом области реакции процесс будет ослабевать и не сможет стать самоподдерживающимся. Это гарантировало невозможность цепной реакции на азоте в атмосфере, хотя в конце текста было сказано, что не все факторы учтены – например, влияние водяного пара, содержащегося в атмосфере. Поскольку это был секретный доклад, он не был предназначен для убеждения публики, чем выгодно отличался от недавних докладов по безопасности коллайдера. Но его целевой аудиторией были лица, принимающие решения. Им Комптон сообщил, что шансы того, что цепная реакция подожжёт атмосферу, составляют 3 на миллион. В 1970-е годы было проведено журналистское расследование, к ходе которого выяснилось, что Комптон взял эти цифры «из головы», потому что посчитал их достаточно убедительными для президента – в самом докладе нет никаких вероятностных оценок [Kent 2004]. При этом Комптон полагал, что реальная оценка вероятности катастрофы не важна, так как если американцы откажутся от испытаний бомбы, то ее всё равно испытают немцы или другие враждебные страны. В 1979 году вышла статья Вивера и Вуда [Weaver, Wood 1979] о термоядерной детонации в атмосферах и океанах, где показывалось, что нигде на Земле невозможны условия для термоядерной детонации (однако они возможны на других планетах, если там есть достаточно высокая концентрация дейтерия). Следующим важным эпизодом стало осознание человечеством не просто возможности внезапной гибели, но сознательного самоуничтожения. Этим этапом стало предложение Лео Сциллардом кобальтовой бомбы [Smith 2007]. Во время дискуссии на радио с Гансом Бете в 1950 году о возможной угрозе жизни на Земле со стороны атомного оружия, он предложил новый тип бомбы: водородную бомбу (которой тогда ещё физически не было, но возможность создания которой широко обсуждалась), обёрнутую оболочкой из кобальта-59, который при взрыве превращался бы в кобальт-60. Этот высокорадиоактивный изотоп с периодом полураспада около 5 лет мог бы сделать целые континенты или всю Землю непригодной для жизни – если бомба будет достаточно большого размера. После такого заявления министерство энергетики решило провести расследование, с тем, чтобы доказать, что такая бомба невозможна. Однако нанятый её учёный показал, что если масса бомбы составит 200 000 тонн (то есть примерно как 20 современных ядерных реакторов, что теоретически реализуемо), то её хватит для уничтожения высокоорганизованной жизни на Земле. Такое устройство неизбежно должно было бы быть стационарным. Но смысл его был именно в качестве Оружия Судного дня (“ Doomsday machine ”) – то есть универсального оборонительного оружия. Ведь никто не решится напасть на страну, которая создала такое устройство. В 60-е годы идея о теоретической возможности уничтожения мира с помощью кобальтовой бомбы была весьма популярна, и широко обсуждалась в прессе, в научной и художественной литературе, но потом была весьма забыта. (Например, в книге Г. Кана «О термоядерной войне» [Khan 1960], в романе Н. Шюта «На берегу» [Shute 1957], в фильме С. Кубрика «Доктор Стрейнджлав».) Кроме того, в 60-е годы возникло много идей о потенциальных катастрофах или опасных технологиях, которые получили развитие в будущем. Английский математик И. Гуд написал эссе «О первой сверхинтеллектуальной машине» [Good 1965], где показал, что как только такая машина появится, она будет способна к самосовершенствованию, и оставит человека навсегда позади – позднее эти идеи легли в основу представлений о Технологической Сингулярности В. Винджа [Vince 1993], суть которых состоит в том, что, исходя из текущих тенденций, к 2030 году будет создан искусственный интеллект, превосходящий человеческий, и после этого история станет принципиально непредсказуемой. Астрофизик Ф. Хойл [Hoyle 1962] написал роман «Андромеда», в котором описал алгоритм атаки на Землю враждебного искусственного интеллекта, загружаемого по каналам SETI из космоса. Физик Р. Фейнман написал эссе «Там, внизу, еще много места» [Feynman 1959], в котором впервые была высказана идея о возможности молекулярного производства, то есть нанороботов. Была взорвана самая большая в истории термоядерная бомба – 1961 г., Новая Земля. Важную роль в осознании глобальных рисков играет научная фантастика, особенно творчество Станислава Лема, его роман «Непобедимый», футурологические исследования « с умма технологий», «Фантастика и футурология» и другие работы. Форестер публикует в 1960 году статью «Судный день: пятница, 13 ноября 2026 года. Дата, когда человеческая популяция достигнет бесконечности, если она будет расти с той же скоростью, как и последние два тысячелетия» [Foerester, 1960]. В 1970-е годы стала понятна опасность, связанная с биотехнологиями. В 1971 году американский биолог Роберт Поллак узнал [Чирков 1989], что в соседней лаборатории планируются эксперименты по встраиванию генома онкогенного вируса SV40 в бактерию кишечной палочки. Он сразу представил, как такая кишечная палочка распространится по миру и вызовет всемирную эпидемию рака. Он обратился в эту лабораторию с просьбой приостановить эксперименты до того, как будут обдуманы их последствия. Результатом последовавших дискуссий стала конференция в Асиломаре в 1975 году, на которой были приняты рекомендации по проведению безопасного генетического конструирования. В 1981 году вышла книга А. Азимова «Выбор катастроф» [Азимов 2002]. Хотя это была одна из первых попыток систематизировать различные глобальные риски, основное внимание в ней уделено отдалённым событиям, вроде расширения Солнца, и главный пафос книги в том, что человек сможет преодолеть глобальные риски. В 1983 году Б. Картер предложил антропный принцип. В рассуждениях Картера была и вторая часть, которую он решил не публиковать, а только доложить на заседании Королевского общества, так как понимал, что она вызовет ещё больший протест. Позднее ее популяризовал Дж. Лесли [Leslie 1996]. Эта вторая половина рассуждений стала известна как Doomsday argument , DA – Доказательство Конца Света. Вкратце суть ее в том, что исходя из прошлого времени жизни человечества и предположения, что мы находимся примерно в середине его существования, мы можем оценить будущее время существования человечества. Например, если я беру случайную морскую свинку из вольера, и узнаю, что её возраст – 2 года, то я могу предположить, что он с большой вероятностью примерно равен среднему возрасту свинок в вольере (так как маловероятно что я достану очень молодую или очень старую свинку), а значит, средний возраст свинок в вольере тоже 2 года, а ожидаемая продолжительность жизни – 4 года с определённой вероятностной достоверностью. (А не 2,1 года и не 400 лет.) Иначе говоря, Картер спросил: насколько вероятно то, что мы обнаруживаем себя так рано в истории цивилизации, в предположении, что человечество заселит всю галактику в течение миллионов лет. И ответ был такой: это очень маловероятно, если считать, что человечество заселит всю Галактику, но вполне вероятно, если считать, что человечество обречено на гибель в ближайшие несколько тысяч лет. Картер предложил DA в более строгой математической форме, основанной на теореме Байеса, которая давала не вероятность вымирания человечества во времени, а поправку к вероятности уже известных рисков в сторону их увеличения. В такой форме результаты получались очень плохими: например, при ряде достаточно правдоподобных предположений, вероятность в 1 % преобразовывалась в 99 %. Независимо от Картера похожую теорию разработал Ричард Готт, и опубликовал её в журнале Nature в 1993 году [Gott 1993]. В ней вероятность будущего времени существования системы выражалась на прямую через прошлое время. (С вероятностью в 50 процентов система просуществует от 1/3 до 3 периодов времени, которые она уже просуществовала, если считать, что она наблюдается в случайный момент времени.) Если учитывать только время жизни Homo Sapiens , то с учётом того, что наш вид уже существует около 200 тысяч лет, это давало ожидаемое время существования от 66 до 600 тысяч лет, что выглядит вполне разумным. Однако если учесть рост населения Земли – и взять среднее не по времени, а по числу живших людей – то ожидаемое время жизни человечества сокращалась до 1000 лет. При некоторых предположениях оно сокращается до нескольких десятков лет. DA – крайне запутанная тема, и сейчас вышли десятки статей за и против него. В начале 80-х возникает новая теория вымирания человечества в результате применения ядерного оружия – теория о «ядерной зиме». В ходе компьютерного моделирования поведения атмосферы оказывается, что затемнение в результате выброса сажевых частиц в тропосферу будет длительным и значительным. Вопрос о том, насколько реально такое затемнение и какое падение температуры может пережить человечество, остаётся открытым. В 80-е появлялись и первые публикации о рисках экспериментов на ускорителях. В 1985 году вышла книга Э. Дрекслера «Машины созидания» [Drexler 1985], посвящённая радикальным нанотехнологиям – то есть созданию самовоспроизводящихся нанороботов. Дрекслер показал, что такое событие имело бы революционные последствия для экономики и военного дела. Он рассматривает различные сценарии глобальной катастрофы, связанной с нанороботами. Первый – это «серая слизь», то есть неограниченное размножение нанороботов, над которыми потерян контроль, в окружающей среде. За несколько дней они могли бы полностью поглотить биосферу Земли. Второй риск – это «нестабильная гонка вооружений». Нанотехнологии позволят быстро и крайне дёшево создавать оружие невиданной разрушительной силы. В первую очередь речь идёт о микроскопических роботах, способных поражать живую силу и технику противника. «Нестабильность» этой гонки вооружений состоит в том, что в ней «начавший первым получает всё», и невозможно равновесие двух противоборствующих сил, как это было во времена холодной войны. В 1996 году выходит книга канадского философа Дж. Лесли «Конец света. Наука и этика человеческого вымирания» [Leslie 1996], которая радикально отличается от книги Азимова в первую очередь своим пессимистическим тоном и сосредоточенностью на ближайшем будущем. В ней рассмотрены все новые открытия гипотетических сценариев катастрофы, в том числе нанороботы и DA и делается вывод, что шансы вымирания человечества составляют 30 процентов в ближайшие 200 лет. С этого момента интерес к теме постоянно растёт и обнаруживаются всё новые и новые потенциально катастрофические сценарии. Одновременно во второй половине XX века происходит развитие синергетики и обращение к системному анализу будущего и системному анализу разных катастроф. Следует отметить работы Пригожина, Ханзена и российских авторов С. П. Курдюмова, Г. Г. Малинецкого, А. П. Назаретяна и др. В работах Малинецкого показана принципиальная неустойчивость сложных систем, даётся теория режимов с обострениями и применяется к будущей истории человечества. А.П. Назаретян создаёт гипотезу «техно-гуманитарного баланса» и показывает, что нарушение этого баланса может привести к тому, что средства разрушения превзойдут запреты на их использование, что может привести к гибели человечества. А.Д. Панов исследует сингулярную точку эволюции в районе 2030 года, в которой «автомодельной аттрактор планетарной истории» перестаёт работать. С конца прошлого века Дж. Лавлок [Lovelock 2006] и, независимо, А.В Карнаухов [Карнаухов 1994] в России развивают теорию о возможности необратимого глобального потепления. Суть ее в том, что если обычное потепление, связанное с накоплением углекислого газа в атмосфере, превысит некоторый очень небольшой порог (1-2 градуса), то огромные запасы гидратов метана на морском дне и в тундре, накопившиеся там за время недавних оледенений, начнут выделятся. Метан является в десятки более сильным парниковым газом, чем углекислый газ, и это может привести к дальнейшему росту температуры Земли, что запустит другие цепочки с положительной обратной связью. Например, сильнее начнёт гореть растительность на