Log in

Нарисовал карту выживания человечества в убежищах и бункерах -  в целом успех этого предприятия довольно безнадёжен, ибо строить убежища долго и дорого, и мало глобальных катастроф, где они могут быть полезны.


Обама про ИИ

Что сказал только что Обама про ИИ:
- пусть тысячи цветов цветут
- не будет вставать на пути больших корпораций
- но есть опасения за рабочие места
- Выигрыш в Го был переломным моментом
- Мы не боимся, что ИИ захватит мир, но мы опасаемся враждебных действий негосударственных агентов по проникновению в наши системы
- Наши противники начинают гонку ИИ, и мы теперь должны стать гораздо лучше, чтобы соотвствовать возросшим угрозам
- ИИ, увы уничтожит часть прекрасного разнообразия мира с его странностями, все станет более предсказуемо и стандартизировано
- Сейчас на ИИ тратится миллиард долларов в год, и теперь эти расходы возрастут, деньги пойдут в те направления, раньше недофинсировались, так как не был привязаны к бизнесу, например, в области рекламы
- уровень вложения в программу Аполлон был около 80 млрд в год в нынешних ценах, напомнил Обама, но не это не значит, что вложения в ИИ будут такими же.

А я вот нарисовал карту разных организаций, которые занимаются предотвращением глоальных рисков, она тут:

Based on known archaeological data, we are the first technological and symbol-using civilisation on Earth (but not the first tool-using species).
This leads to an analogy that fits Fermi’s paradox: Why are we the first civilisation on Earth? For example, flight was invented by evolution independently several times.
We could imagine that on our planet, many civilisations appeared and also became extinct, and based on mediocre principles, we should be somewhere in the middle. For example, if 10 civilisations appeared, we have only a 10 per cent chance of being the first one.

The fact that we are the first such civilisation has strong predictive power about our expected future: it lowers the probability that there will be any other civilisations on Earth, including non-humans or even a restarting of human civilisation from scratch. It is because, if there will be many civiizations, we should not find ourselves to be the first one (It is some form of Doomsday argument, the same logic is used in Bostrom's article “Adam and Eve”).

If we are the only civilisation to exist in the history of the Earth, then we will probably become extinct not in mild way, but rather in a way which will prevent any other civilisation from appearing. There is higher probability of future (man-made) catastrophes which will not only end human civilisation, but also prevent any existence of any other civilisations on Earth.

Such catastrophes would kill most multicellular life. Nuclear war or pandemic is not that type of a catastrophe. The catastrophe must be really huge: such as irreversible global warming, grey goo or black hole in a collider.

Now, I will list possible explanations of the Fermi paradox of human past and corresponding x-risks implications:

1. We are the first civilisation on Earth, because we will prevent the existence of any future civilisations.

If our existence prevents other civilisations from appearing in the future, how could we do it? We will either become extinct in a very catastrophic way, killing all earthly life, or become a super-civilisation, which will prevent other species from becoming sapient. So, if we are really the first, then it means that "mild extinctions" are not typical for human style civilisations. Thus, pandemics, nuclear wars, devolutions and everything reversible are ruled out as main possible methods of human extinction.

If we become a super-civilisation, we will not be interested in preserving biosphera, as it will be able to create new sapient species. Or, it may be that we care about biosphere so strongly, that we will hide very well from new appearing sapient species. It will be like a cosmic zoo. It means that past civilisations on Earth may have existed, but decided to hide all traces of their existence from us, as it would help us to develop independently. So, the fact that we are the first raises the probability of a very large scale catastrophe in the future, like UFAI, or dangerous physical experiments, and reduces chances of mild x-risks such as pandemics or nuclear war. Another explanation is that any first civilisation exhausts all resources which are needed for a technological civilisation restart, such as oil, ores etc. But, in several million years most such resources will be filled again or replaced by new by tectonic movement.

2. We are not the first civilisation.

2.1. We didn't find any traces of a previous technological civilisation, yet based on what we know, there are very strong limitations for their existence. For example, every civilisation makes genetic marks, because it moves animals from one continent to another, just as humans brought dingos to Australia. It also must exhaust several important ores, create artefacts, and create new isotopes. We could be sure that we are the first tech civilisation on Earth in last 10 million years.

But, could we be sure for the past 100 million years? Maybe it was a very long time ago, like 60 million years ago (and killed dinosaurs). Carl Sagan argued that it could not have happened, because we should find traces mostly as exhausted oil reserves. The main counter argument here is that cephalisation, that is the evolutionary development of the brains, was not advanced enough 60 millions ago, to support general intelligence. Dinosaurian brains were very small. But, bird’s brains are more mass effective than mammalians. All these arguments in detail are presented in this excellent article by Brian Trent “Was there ever a dinosaurian civilisation”?

The main x-risks here are that we will find dangerous artefacts from previous civilisation, such as weapons, nanobots, viruses, or AIs. And, if previous civilisations went extinct, it increases the chances that it is typical for civilisations to become extinct. It also means that there was some reason why an extinction occurred, and this killing force may be still active, and we could excavate it. If they existed recently, they were probably hominids, and if they were killed by a virus, it may also affect humans.

2.2. We killed them. Maya civilisation created writing independently, but Spaniards destroy their civilisation. The same is true for Neanderthals and Homo Florentines.

2.3. Myths about gods may be signs of such previous civilisation. Highly improbable.

2.4. They are still here, but they try not to intervene in human history. So, it is similar to Fermi’s Zoo solution.

2.5. They were a non-tech civilisation, and that is why we can’t find their remnants.

2.6 They may be still here, like dolphins and ants, but their intelligence is non-human and they don’t create tech.

2.7 Some groups of humans created advanced tech long before now, but prefer to hide it. Highly improbable as most tech requires large manufacturing and market.

2.8 Previous humanoid civilisation was killed by virus or prion, and our archaeological research could bring it back to life. One hypothesis of Neanderthal extinction is prionic infection because of cannibalism. The fact is - several hominid species went extinct in the last several million years.

3. Civilisations are rare

Millions of species existed on Earth, but only one was able to create technology. So, it is a rare event.Consequences: cyclic civilisations on earth are improbable. So the chances that we will be resurrected by another civilisation on Earth is small.

The chances that we will be able to reconstruct civilisation after a large scale catastrophe, are also small (as such catastrophes are atypical for civilisations and they quickly proceed to total annihilation or singularity).

It also means that technological intelligence is a difficult step in the evolutionary process, so it could be one of the solutions of the main Fermi paradox.

Safety of remains of previous civilisations (if any exist) depends on two things: the time distance from them and their level of intelligence. The greater the distance, the safer they are (as the biggest part of dangerous technology will be destructed by time or will not be dangerous to humans, like species specific viruses).

The risks also depend on the level of intelligence they reached: the higher intelligence the riskier. If anything like their remnants are ever found, strong caution is recommend.

For example, the most dangerous scenario for us will be one similar to the beginning of the book of V. Vinge “A Fire upon the deep.” We could find remnants of a very old, but very sophisticated civilisation, which will include unfriendly AI or its description, or hostile nanobots.

The most likely place for such artefacts to be preserved is on the Moon, in some cavities near the pole. It is the most stable and radiation shielded place near Earth.

I think that based on (no) evidence, estimation of the probability of past tech civilisation should be less than 1 per cent. While it is enough to think that they most likely don’t exist, it is not enough to completely ignore risk of their artefacts, which anyway is less than 0.1 per cent.

Meta: the main idea for this post came to me in a night dream, several years ago.
Стал я большую часть своих карт делать по-английски, морально, так сказать, покинув родину. Но и чужина ко мне особо лайками была не щедра. В общем, запилил я карту природных рисков, коии могут нас уничтожить.
А посольку она мелковата она для просмотра, вот ссылка на пдф: http://immortality-roadmap.com/naturalrisks11.pdf
Вкратцевая русская версия карты о рисках инопланетян

Давайте я вкратце по-русски расскажу, о чем она.
Вне зависимости от того, есть инопланетяне или нет, с этим связаны риски.
1. ИХ нет. а) Большой фильтра находится позади, Редкая Земля, и основной риск в том, что мы не правильно оцениваем риски космических катастроф - они могут быть чаще.
б) Они все самовыпилились. Это вариант вероятнее по ряду математических соображений, которые открыла австралийская девушка Катя Грейс. Для нас это хуже, так как мы тоже скорее всего выпилимся в ближайшм будущем. Но не при помощи ИИ, так как он может создать "взрывную волну разума", заметную на расстоянии.
2. Они есть. а) В виде ударной волны разума, летящей почти со скоростью света и создаваемой сверх ИИ. Или просто в виде волны колонизации, которая нас в некий случайный момент достигнет.
б) СЕТИ- атака. мы загрузим описание враждебного инопланетного ИИ по радиоканалам.
в) Они рядом, засекают нас и шлют молоты Люцифера и сами прилетают и косят.
г) Они уже здесь. Или берсекреы, запускающие уничтожение по достижению некого порога, или прогрессоры.
Д) Опасные руины,  оставшие от вымершей цивилизации - нанаорооты, ИИ. В общем, Странники и их взрывоопасные прибамбасы
Е) МЕТИ - это если Зайцев будет слать сигналы и они прилетят и устроют взбучку
ё) Комсическая война в отдаленном будущем.
ж) Они могли бы нам помочь, но не помогут
3. Мы в компьютерной симуляции
4. Фальшивые верования о инопланетянах ведут к случайной ядерной войне.
5. Они нам помогут предовтратить риски
а) странная стратегия избежания ферми парадокса - мы должны быть особенными
б) они нас воскресят после катастрофы
в) мы можем посылать запросы о помощи
г) мы можем получить совет по радиканалам
е) Они здесь и спасут нас.
6. Мы сами риск для них, так как мы когда колонизируем галактику, то попортим их будущие места обитания.

полная английская здесь:

Для публикации всяких своих карт и текстов на английском я использую другой журнал

Из недавнего интересного там: карта решения проблем идентичности
Я решил сделать внезапный вброс против течения и атаковать святое: идею о том, что Маск является спасителем человечества.

Мы живем в мире, где одним из главных событий являются твитты Элона Маска. Он часто высказывается за предотвращение глобальных рисков, и у него есть план А и план Б: открытый ИИ и колонии на Марсе. Но если мы посмотрим в детали, то возникает некоторое количество вопросов. В целом, я призываю сохранять критическое восприятие, даже если у нас появился абсолютный пророк абсолютной истины. Итак, критика:

- Марсианская колония не сделает мир безопаснее, потому что возможна война между Землёй и колонией, если колония станет полностью независимой. Почти все колонии в истории Земли воевали с метрополиями на определенном этапе своего развития. Необходимым и достаточным условием конфликта между двумя группами людей является наличие двух групп (данные психологических экспериментов). Космическая война потребует радикально более сильных средств разрушения, чем внутри планетная война, что увеличивает шансы гибели и колонии, и метрополии.

- Марсианская колония не сделает мир безопаснее, потому что большие космические корабли могут служить кинетическим оружием. Развитие технологий освоения космоса, особенно большие корабли с ядерными двигателями, позволит создавать большие, тяжелые объекты, движущие с большими скоростями, столкновение которых с планетами может приводить к значительным разрушениям. Впрочем, им еще далеко до риска, создаваемого астероидами.

- Создание супермощных ядерных бомб, необходимых для терраформинга Марса, согласно твитту Маска (предложил взорвать две супер бомбы над полюсами Марса), является глобальным риском (если на над землёй взорвется.)

- Марсианская колония создаст ложное чувство безопасности, при этом не сможет защитить от большинства глобальных рисков. Серая слизь может быть межпланетной. ИИ может распространяться по радиоканалам. Люди-террористы могут завестись в самой колонии. Даже больные медленным вирусом люди могут прилететь с земли. В случае войны она может быть уничтожена одной ракетой.

- Маск открыто объявил, что мы находимся в симуляции с вероятностью 1 к миллиарду. Если это так, то главный наш риск, это то, что нашу симуляцию отключат. При этом ясно, что одним из возможных условий ее отключения является то, что жителям симуляции станет понятно, что они в симуляции. Например, если об это широко и публично объявят. Таким образом, объявив, что мы находимся в симуляции, он создал значительный риск ее отключения (я думаю, порядка 1 процента)

- Гиперлуп. Проблема безопасности гиперлупа не проработана. Ели у поезда на скорости в 1200 км в час откажет тормозная система, то его попадание в здание вокзала приведет к разрушениям, сравнимым с взрывом небольшой атомной бомбы, который, однако, будет носить направленный характер по ходу движения поезда, то есть в центр города. (Энергия поезда будет порядка 10 в степени 11.) Дж. Во вторых, суммарная энергия вакуума по всей длине туннеля еще больше, и если он продырявится хотя бы в одном месте, это приведет к его полному коллапсу. Если в тоннеле в этот момент будет поезд, то он будет разгоняться поступающим воздухом, и будет выброшен из конца туннеля с околозвуковой скоростью, по принципу поршня.

- Проект OpenAI совершенно не обязательно приведет к снижению глобальных рисков. подумайте для примера о последствиях проекта Open nuke, если бы он позволял делать небольшие бомбочки дома. Бостром написал статью с объяснением, почему Open AI может быть отнюдь не лучшей идеей. http://www.nickbostrom.com/papers/openness.pdf

- Neural lace - а что если в такую систему, установленную всем людям, будет дан неправильный сигнал или ее поразит компьютерный вирус? Тоже касательно самоездящих Тесл - насколько они защищены от глобального хака? Представим, что все машины в городе превратились из избегателей пешеходов в их истребителей.

Наибольший вред я вижу в иллюзорном чувстве безопасности (ведь вроде умнейший человек имеет комплексный план защиты) и в отвлечении ресурсов - на ту же колонизацию Марса нужны огромные деньги, отдача не очевидна.
Карлос встретил Дон Хуана не на границе с Мексикой, а в одном из университетов Сан-Франциско, где тот преподавал логику, этику и развивал биотехнологии. Дон Хуан согласился взять Карлоса в свой стартап, если тот станет достаточно рациональным.

Глава 1.

- Почему воин должен стремиться к бессмертию, дон Хуан?
- Воин не стремиться к бессмертию в смысле вечной жизни, которая будет когда-то там. Воин уменьшает вероятность умереть прямо сейчас. И благодаря этому он живет дольше всех. По сути, воин всегда выживает наилучшим образом.
- Но, дон Хуан, зачем ему бессмертие?
- Понимаешь, Карлос, вопрос “зачем" всегда делает тебя слабее, но его нельзя не задавать. Но для воина нет различия между деятельностью и целью, потому выживание - суть воина. Его цель и есть его внутренняя природа, они не отделимы.
- Но я читал, что инструментальный интеллект и цели высшего порядка существуют независимо. Говорят, что это называется тезис ортогональности.
- Эх Карлос, ты слишком много читаешь )). Конечно, есть такие люди или такие компьютеры, в которых тезис ортогональности соблюдается. Но на самом деле, твоя цель сливается с твоей личностью и формирует ее. Она формирует твои мысли, твои знания, твои модели поведения. Даже твое тело. Воин формирует свою структуру своим намерением выжить.
- Но это же мелочно и эгоистично, заботится только о себе.
- Да. Если ты мелочен и эгоистичен, то это делает тебя слабее. Если ты слишком боишься умереть, то ты слаб и обречен. Поэтому воин отрешен от себя. И он заботится о других. И другие заботят о нем.
- Но все же, воин, дон Хуан, это бездушная машина, лишенная индивидуальности! В нем нет ничего человеческого, ничего личного!
- Помнишь, что Ницше писал, что человеческое - это то, что должно превзойти? Если ты считаешь человеческим и индивидуальным всю свою мелочность, слезливость, капризность, переменчивость и повышенную чувствительность к мягким зверушкам, то ты индульгируешь, то есть потакаешь собственной слабости из жалости к себе. Воин преодоляет то, что обычно считают человеческим, но это этого его индивидуальность только растёт. Она состоит из его коллекции примечательных событий, из его индивидуальных уловок охоты и его угодий, из накопленных им сил.
- Ок, ты кажется убедил меня, что стоит быть воином, но что ты имеешь в виду, говоря о рациональности? Я читал, что рациональность - это нечто вроде искусства побеждать, но тогда получается что рациональнее всех бактерии, которые выживают на земле уже миллиарды лет?
- Ты должен знать, что рациональность происходит от слова “рацио”, что означает разум. И ты не должен ждать, что я дам тебе определение разума одной строкой. По мере наших встреч я буду обучать тебя разным аспектам рациональности.
Вся деятельность Мильнера только увеличивает глобальные риски. Мощная программа SETI повышает шансы на то, что мы обнаружим сигнал с описанием недружественного ИИ, нечто вроде космического спама, лучше всего описанного прекрасным физиком Хойлом в его романе “Андромеда".
С помощью космического лазера в 50 гигаватт и с огромной прицельной способностью, можно из космоса выжигать отдельных людей, равно как и целые города и деревни с огромной скоростью. Например, обстреливать миллион целей в секунду. За судки можно уничтожить всех людей и все убежища их. Даже на других планетах. даже подводные лодки в глубинах океана. 50 гигаватт просто пробьет толщу воды на сотни метров. (Можно вспомнить в качестве fictional evidence фильм с Дж. Бондом “Умри, но не сейчас”)
При этом сам проект звездолета Мильнера практически нереализуем (в отличие от фазированного суперлазера, контролирующего все человечество) см тут. http://trv-science.ru/2016/04/19/dvojka-po-fizike/
Зато если дождаться создания настоящих нанотехнологий, то есть нанороботов-репликаторов, то всю систему межзвездного транспорта можно гораздо упростить. Забываем про парус. Берем ускоритель, и начинаем в нем разгонять нанороботов весом около 1 нанограмма до околосветовой скорости. Но делаем это с одной хитростью - мы разгоняем их с чуть-чуть разными скоростями, первые медленнее, вторые быстрее. В результате все они окажутся в одной точке пространства в один и тот же момент времени - правда, на короткий миг. Но за это время они должны начать успеть маневрировать и слипаться друг с другом. Если их много, то относительная скорость их друг относительно друга будет не велика - и они не будут разбиваться. Многие из них будут потеряны, но часть из них слипнется в ком массой несколько грамм. Затем из этого материала уцелевший наноробот построит новый нанотехнологичский корабль, уже похожий на зонд Мильнера. этот корабль построит из себя маленький ускоритель, который в момент пролета нужной звезды выплюнет одного наноробота в обратную сторону, что приведет к его торможению. Этот наноробот найдет какую-нибудь пылинку, прикрепится к ней и начнет реплицировать себя, в результате чего вокруг другой звезды возникнет инфраструктура, необходимая для дальнейшей репликации. Это, конечно, фантазия, но гораздо более осуществимая.

Latest Month

October 2016



RSS Atom
Powered by LiveJournal.com
Designed by Lilia Ahner