Блог Алексея Турчина

TL; DR: Великий фильтр парадокса Ферми можно избежать, выбирая случайную стратегию. Однако, если все цивилизации будут действовать случайным образом, это будет фактической причиной парадокса Ферми. Использование мета-случайной стратегии позволяет избежать эту проблему.
-------
«Смерть в Дамаске» – это проблема теории решений о попытках избежать всезнающего агента, который способен предсказать ваше поведение. Проблема в рамках теории решений вкратце звучит так:

Смерть: «Я убью тебя в Дамаске завтра, но, если ты уедешь в Алеппо, я буду ждать тебя в Алеппо».
Точная формулировка "Смерти в Дамаск" также включает в себя стоимость реализации мер защиты: «Вы сейчас находитесь в Дамаске. Смерть стучит в вашу дверь и говорит вам, что я приду к вам завтра. Вы цените свою жизнь на 1000 долларов и хотите избежать смерти. в Дамаске или заплатить 1 доллар, чтобы бежать в Алеппо. Если вы и смерть завтра в одном городе, вы умрете. В противном случае вы выживете. Хотя смерть говорит вам сегодня, что вы встретитесь завтра, она уже предсказала, останетесь вы или сбежите еще вчера и она должен придерживаться своего предсказания, несмотря ни на что. К несчастью для вас, смерть является идеальным предиктором ваших действий. Вся эта информация вам известна. "

Смерть может предсказать любые мои движения, поэтому нет причин убегать. Этот парадокс исследован в статье «Обманывая смерть в Дамаске» (https://intelligence.org/files/DeathInDamascus.pdf), где было предложено возможное решение: истинный генератор случайных чисел используется для выбора между пребыванием в Дамаске и бегством в Алеппо, и, следовательно, у меня есть 0,5 шанса выживания.

Парадокс Ферми – это тип проблемы, похожий на «Смерть в Дамаске». Ферми-парадокс говорит нам, что другие цивилизации не наблюдаются по неизвестной причине, и одним из решений является «Большой фильтр», который убивает все молодые цивилизации, и для нас такой фильтр впереди. Это означает, что все цивилизации перед нами совершили ту же ошибку, которая привела к их кончине, и поскольку мы являемся типичной цивилизацией, мы сделаем ту же ошибку. Однако мы не знаем, какая именно это всеобщая ошибка. Может быть, нам не следует экспериментировать с адронным коллайдером. Может быть, ИИ всегда появляется, убивает всех, а потом самоуничтожается (само создание ИИ не может объяснить парадокс Ферми, поскольку ИИ распространится по вселенной). Но может быть решение не создавать ИИ смертельно, так как только ИИ может управлять рисками синтетической биологии и других катастрофических рисков.

Другими словами, какую бы рациональную стратегию мы ни использовали, это именно то, что убило все предыдущие цивилизации: если мы убежим в Алеппо, Смерть будет ждать. В оригинальной проблеме Смерть всеведущая; в случае парадокса Ферми всеведение заменяется рассуждением: поскольку мы типичны, мы будем делать все те же ошибки.

В попытке обмануть Смерть, чтобы избежать типичного Большого фильтра, мы (предполагая, что здесь имеется какая-то форма глобальной координации политики) можем в будущем применить случайную стратегию. Например, мы могли бы использовать генератор случайных чисел, чтобы выбрать, какие технологии должны развиваться, и от которых отказываться. В этом случае, у нас есть шанс не развить ту самую опасную технологию, которая является универсальным убийцей.

Но что, если эта случайная стратегия сама является великим фильтром? То есть, что если отказ от некоторых технологий нашу цивилизацию ослабит и будут способствовать исчезновению? В этом случае мы могли бы реализовать мета-случайную стратегию. Сначала мы используем случайную монету для выбора: следует ли вообще попробовать стратегию случайного отказа от разных технологий или надо идти вперед без каких-либо игр с парадоксом Ферми.

Теперь попробуем оценить вероятность успеха случайной стратегии. Если бы эта стратегия была бы очень эффективной, например, если бы она спасла бы 1 из 10 цивилизаций, тогда как общее число цивилизаций в наблюдаемой вселенной равно 100, мы все равно ожидаем наблюдать 10 цивилизаций (и, поскольку другие цивилизации будут наблюдать каждый другие, они не будут реализовывать стратегию, так как для них нет парадокса Ферми). Итак, если стратегия будет очень эффективной, парадокса Ферми не будет, и нет необходимости в такой стратегии. Таким образом, стратегия имеет смысл, если она дает вероятность выживания только 1 / N, где N - общее число цивилизации в прошлом световом конусе, которые погибли из-за позднего фильтра. Другими словами, если мы ожидаем, что прошлый световой конус имел бы 100 цивилизаций, все из которых были бы уничтожены, мы должны выбрать около 7 (как 2 в 7 степени = 128) случайных двоичных выборов в нашей стратегии, и мы, в лучшем случае, будем иметь 0,01 шанса на выживание, что лучше, чем 0, но все еще очень мало.

Теперь мы могли бы использовать ту же логику не для того, чтобы избежать Великого фильтра, а для объяснения наблюдаемого парадокса Ферми. Если почти все цивилизации используют случайные стратегии, они в основном погибают, именно потому, что они пробовали неоптимальное поведение. Таким образом, парадокс Ферми становится самоисполняющимся пророчеством. Почему цивилизация может согласиться на такую, казалось бы, безрассудную игру? Потому что это заменяет непознаваемую вероятность выживания с небольшой, но фиксированной вероятностью выжить. Однако в случае стратегии с мета-случайностью -  это не объяснение парадокса Ферми, так как по крайней мере половина цивилизаций вообще не будет пытаться обмануть.

Для рисков астероидной опасности существует Туринская шкала, которая имеет пять цветовых уровней, а для измерения ураганов используется шкала Саффира-Симпосна, тоже с пятью уровнями. Основная задача подобных шкал не сколько измерение, сколько коммуникация для широкой публики и лиц принимающих решений уровня риска, чтобы они могли принять нужные решения.
Обычно для коммуникации масштаба глобальных рисков используются довольно туманные высказывания о вероятности вроде: “с вероятностью в 1 процент человечество погибнет от ядерной войны”. Однако вероятность наиболее серьезных рисков практически невозможно измерить, так как это однократные уникальные события в будущем, а среди ученых множество разногласий об их оценках. А кроме того, понятие «вероятность» не включает в себя ряд других важных аспекта риска: тайминг, характер изменения вероятности со временем, степень неопределенности, соотношение с другими рисками, вероятность успеха предотвращения. В результате высказывания о вероятности глобальных рисков полны когнитивных искажения и вызывают здоровый скептицизм.
Чтобы избежать эти трудности, мы предлагаем информировать о глобальных рисках с помощью самоочевидной шкалы, которая содержит шесть цветов от белого до пурпурного. Если вероятность риска может быть определена, то каждый цвет соответствует определенному определенному интервалу вероятности на промежутке в следующие сто лет. Каждый уровень риска также представлен через канонический пример (а для редких рисков – и через частоту повторяемости).

Пурпурный – риск около 1 в настоящее время – канонический пример: Карибский кризис
Красный – риск с вероятностью более 10 процентов в следующие 100 лет – пример: недружественный ИИ
Оранжевый – риски от 0.1 до 10 процентов в следующие 100 лет – тотальная ядерная война, ведущая к гибели человечества.
Желтый – риски от 0.001 до 0.1 процента в 100 лет – раз в миллион лет – риски извержения супервулкана, ведущие к гибели человечества.
Зеленый – риски 0.00001 до 0.001 в 100 лет – раз в 100 миллионов лет - Пример: астероидная опасность уровня астероида, который упал во времена вымирания динозавров.

Белый – менее 0.00001 – раз в миллиарды лет – Солнце превратится в красного гиганта.
И хотя наша шкала определена через вероятности, как мы уже сказали, для самых серьезных рисков вероятности очень трудно оценить. В этих случаях шкала коммуницирует размер риска через уровень необходимых усилий по его предотвращению, то есть эксперты оценивают риск сразу через цветовую шкалу, минуя уровень вычисления вероятностей. (А каждый цвет в нашей таблице сопоставлен и необходимому уровню усилий, см таблицу внизу). Точно также и шкала ураганов Саффира-Симпсона коммуницирует не скорость ветра, а степень разрушения построек – и соответственно, то, насколько глубоко надо прятаться.
Шкала опубликована в ведущем футурологическом журнале Futures в спец. выпуске по глобальным рискам.
Here's the abstract:
Existential risks threaten the future of humanity, but they are difficult to measure. However, to communicate, prioritize and mitigate such risks it is important to estimate their relative significance. Risk probabilities are typically used, but for existential risks they are problematic due to ambiguity, and because quantitative probabilities do not represent some aspects of these risks. Thus, a standardized and easily comprehensible instrument is called for, to communicate dangers from various global catastrophic and existential risks. In this article, inspired by the Torino scale of asteroid danger, we suggest a color-coded scale to communicate the magnitude of global catastrophic and existential risks. The scale is based on the probability intervals of risks in the next century if they are available. The risks’ estimations could be adjusted based on their severities and other factors. The scale covers not only existential risks, but smaller size global catastrophic risks. It consists of six color levels, which correspond to previously suggested levels of prevention activity. We estimate artificial intelligence risks as “red”, while “orange” risks include nanotechnology, synthetic biology, full-scale nuclear war and a large global agricultural shortfall (caused by regional nuclear war, coincident extreme weather, etc.) The risks of natural pandemic, supervolcanic eruption and global warming are marked as “yellow” and the danger from asteroids is “green”.

The paper is published in Futures https://www.sciencedirect.com/science/article/pii/S001632871730112X
If you want to read the full paper, here's a link on preprint: https://philpapers.org/rec/TURGCA

http://immortality-roadmap.com/xriskstab1.jpg
http://immortality-roadmap.com/xriskstab2.jpg

Нарисовал карту выживания человечества в убежищах и бункерах -  в целом успех этого предприятия довольно безнадёжен, ибо строить убежища долго и дорого, и мало глобальных катастроф, где они могут быть полезны.

http://effective-altruism.com/ea/12x/the_map_of_shelters_and_refuges_from_global_risks/

Вкратцевая русская версия карты о рисках инопланетян

По сути угроза расстрелом при Сталине выполняла роль денег в экономике, в которой реальная роль обычных денег была искусственно сведена к нулю. Но "деньги" эти были отрицательными - то есть каждый старался получить их как можно меньше. В качестве транзакций выступали доносы, а "миллионерами" были те, кто имел наименьший риск расстрела, но при этом наибольшую способность угрожать расстрелом другим. система эта работала относительно эффективно - то есть позволяла делать атомную бомбу и ракету, но при этом ее эффектиность была конечна, так как она работала только за счет сжигания человеческого капитала. На входе эта система получила страну с огромной массой лишнего народа - крестьянством, которую она и сожгла, на выходе получилась страна неспособная себя прокормить, с вымирающей деревней, и еще тяжелой психологической травмой в анамнезе.

Внезапно невероятная мысль возникла в моём правом полушарии, и я прямо почувствовал, как она распространяется из него в левое, охватывая весь мой мозг. Мысль была настолько сногсшибательная, что я отбросил книгу (я сидел на диване и читал “Так говорил Заратустра" Ницше) и схватил тетрадку, чтобы сразу ее записать и одновременно проверить, найти, быть может, очевидную ошибку и успокоится.
Было примерно 5 часов дня 20 июня 1990 года, а в 9 вечера должен был начаться выпускной вечер у нас в школе, где я снова должен был увидеть Надю. Увидеть ее, возможно, в один из последних разов, так как летом она возвращалась в Болгарию, а потом поступала в институт.
Я записал мысль: она была очевидна как дважды два. Я не понимал, как такое не приходило в голову всем и каждому, и как это мне не пришло в голову раньше - ведь я столько думал о бессмертии. Возможно, меня к этому подтолкнула идея о вечном возвращении Ницше - я о ней знал и раньше, но не о ней была та страница Заратустры, на которой я остановил чтение.
Фактически, моя мысль была надстройкой над идеей вечного возвращения, которая полностью видоизменяла суть дела.
Я записал мысль под таким названием: Модернизированное дионисийское бессмертие. И сразу я представил ворох возможных возражений: а вдруг вселенная не бесконечна? А вдруг я превращусь в овощ? А вдруг я забуду эту мысль? И все их я мог опровергнуть.
В тот момент, когда мысль распространилась по моей голове - причем это было именно телесно-физическое ощущение движение идеи, я почувствовал, как сзади меня исчез нависавший все эти годы камень - страх смерти. Я был внезапно счастлив и свободен.
Я заварил крепкий чай-чайфирь, чтобы не спать всю ночь на дискотеке. Я вышел из дома окрыленный, и одновременно ощущая свою невероятную ценность - ведь никто этого не знал, и вряд ли кто-то прочтет и поймет мою запись. В голове крутились невероятные сценарии и одновременно я чувствовал горечь, - я хотел поделиться своим открытием с Надей, но чувствовал, что она не поймет и не захочет меня слушать.
Наряженные выпускницы качались как водоросли на танцполе. Я вспомнил, что Надя рассказывала, как недавно ее одноклассница по болгарской школе, невыдержав промывания мозгов родителями, побежала к окну, выбросилась и разбилась. А ведь в каком-то мире она не умерла. Громкая музыка вызывала у меня чувство торможения. Я смотрел на этот мир, и понимал, что он закончится. Что всего этого не будет. Когда-нибудь случится катастрофа, и все это исчезнет, а я - нет.
Я поднялся наверх в один из школьных коридоров, уже начался рассвет, и музыка неслась снизу из актового зала. Сейчас они танцуют, но потом они, и Надя исчезнут. Этот мир обречен. Я пил свой чайфирь, но он почти не действовал.
Потом мы пошли гулять по утренней Москве в сторону Красной площади. Но Надя с нами не пошла, она сказала, что уже ходила утром на площадь, когда у них был выпускной в болгарской школе.
Я вернулся домой, повторяя свое открытие: в бесконечной вселенной всегда найдется такой же мир, как этот, с той только разницей, что я в нем не умер в момент смерти здесь. И субъективно это значит, что я никогда не умру. Но для этого нужно два условия: чтобы вселенная была на самом деле бесконечной, и чтобы у меня не было души: чтобы я был ничем большим, чем просто информацией о расположении атомов.
Я тогда не знал, что в тумбочке у меня лежит книга из библиотечки Квант о зарождении вселенной, где рассказана теория Линде о хаотической инфляции, из которой следовала бесконечность вселенной.

Идея” бессмертия” натыкается на естественное возражение о невозможности актуальной бесконечности в линейном времени. Даже если мы переживем гибель солнца через 4 миллиард лет и гибель вселенной через триллион, то что будет через 10 в 100 степени лет? а через 10 в 10000?
При этом в самом определении бессмертия постулируется только отсутствие смерти, но не бесконечность будущего времени. Эта бесконечность возникает индуктивно, так как если я живу в каждый следующий ммент времени, то получается бесконечная последовательность.
Бен Герцель предложил удачное выражение “potentially infinite life extension” для замены слова “бессмертие". Но это только маскирует проблему.
На самом деле бессмертие превращается в бесконечность только при введении бесконечного линейного времени. Но даже в современной физике - это не единственный вариант.
Потому что есть такая вещь в общей теории относительности, как замкнутые временные кольца. (Closed timeline curves) Такие объекты возникают, например, при описании черных дыр.
Если некое существо находится в таком кольце, то оно может быть бессмертно, но при этом конечно во времени. Просто его состояния будут повторяться по кругу бесконечное число раз.
Здесь уже вопрос этики - что лучше - смерть или зацикливание в кольце? Поскольку кольцо можно сделать неограниченно большим (например, 10 триллионов лет), то оно может быть неограниченно “хорошо”. Даже если мы сейчас не находимся в таком кольце, мы можем к нему плавно построится, так сказать, влиться по касательной.
Более того, как только мы уходим от линейного времени, у нас появляется возможность экспериментировать (пока что мысленно) и с более сложными топологиями.
Например, с восьмерками, сетями, аттракторами, перпендикулярным временем, в котором время - не линия, а плоскость, завернутая, например, в ленту Мёбиуса.
Итак, бессмертие - это дифференциальная характеристика бытия, говорящая о непрерывности жизненной функции в локальной окрестности момента “сейчас", а вечность - это топология всего жизненного пути, которая может быть сколь угодно сложна, но при этом не содержать в себе сингулярностей и бесконечностей. Или содержать их в неком позитивном смысле (бесконечно интесивный опыт).

Однажды, когда я работал над книгой “Структура глобальной катастрофы” на русском языке, в 2008 году, я отнес ее рецензенту, которым согласился по старой памяти быть друг мужа моей мамы, геолог Аранович. Разговор зашел о проекте зонд Стивенсона - гипотетическом устройстве, которое позвояет достичь ядра Земли, проплавляя его с помощью огромной капли расплавленного железа.
Милан Циркович написал статью против этого, так как справедливо заключил, что такой зонд оставит после себя проплавленный канал с более мягким веществом, и в результате может произойти дегазация ядра земли, то есть гигантское вулканическое извержение, которое полностью изменит состав земной атмосферы и приведет к гибели всего живого.
На это наш друг сказал нам, что они в их их институте придумали усовершенствованную конструкцию зонда для отправки в центр Земли, которая проще, дешевле, и сможет погружаться со скоростью около 1000 км в месяц. Этот зонд представляет собой особым образом сконструированный ядерный реактор, который проплавяет под собой кору и мантию. Нечто подобное, кстати, обсуждалось в фильме “Китайский синдром”, когда речь шла о возможных последствиях авариии на ядерной станции. При этом детали конструкции реактора-проплавлятеля засекречены, а на его реализацию нет денег. Я призвал его не создавать такую штуку, так как если это сработает, то это будет простейшим и самым дешевым способом уничтожить человечество (или создать оружие Судного дня для глобального шантажа).
В этой истории меня поразил не новый способ уничтожить человечество, а та легкость, с которой я его обнаружил. Ведь если твои ближайшие знакомые из тусовки, не связанной с глобальными рисками, знают новый способ уничтожить человечество (хотя и не вполне осознают его в качестве такового), то сколько же еще способов известно самым разным ученым в самых разных областях знания!
У меня есть патологическая склонность к составлению полных исчерпывающих списков, и я конечно не мог удержаться от того, чтобы составить список глобальных рисков. Без труда я достиг примерно 100 позиций, хотя реальную опасность представляют не все из них. Затем я решил сделать из них нечто вроде таблицы Менделеева, то есть упорядочить риски по ряду параметров, чтобы затем иметь возможность предсказывать еще не обнаруженные риски.
В интернете есть ряд подобных списков: топ 5 или топ 15. Все они страдают от несистематичности. Близкие во времени риски соседствуют с дальними во времени, а очень вероятные (вроде рисков синтетической биологии) - с гипотетическими, вроде пролета блуждающей черной дыры.
Для своей карты рисков я выбрал два основных параметра: базовый механизм риска и историческая эпоха, когда он может случится. Любая карта будущего должна опираться на некую глобальную модель будущего, и здесь в качетве таковой выбрана курцвейловская модель, где определяющим фактором истории является экспоненциальное развитие технологий, ведущая к созданию сверхтехнологий к середине 21 века.
Кроме того, в карте риски поделены на три группы: основные (выделены жирным), возможные и гипотетические (курсив). В будущем я хотел бы к кажому пункту в карте приделать ссылку на вики-страницу, которая разъясняет этот риск.
Я, конечно, хочу услышать предложения о том, какие риски упущены в этой карте. Если ваши идеи слишком страшные, чтобы публиковать открыто, пишите в личку. Если вы полагаете, что даже разглашение вашей идеи увеличивает суммарную вероятность гибели человечесвта, просто обозначьте ее.
Я думю, что карта рисков необходима для их эффективного предотвращения. И я надеюсь, что она никого не вдохновит желать уничтожить мир.
Внимание! Призы на новые риски не предлагаются. Предложение о призах относилось только к предыдущей карте, пути предотвращения рисков.
пдф скачать: immortality-roadmap.com/typriskrus.pdf