?

Log in

No account? Create an account

Previous Entry | Next Entry

May. 17th, 2012

Одно из технических решений создания Дружественного ИИ - это ограничить его число рекурсивных самоулучшений, скажем, до условного IQ в 300 единиц. На этом уровне он будет умнее любого человека, но тем не менее умопостигаем для людей. то есть он сможет объяснить, что и почему он делает. 
Именно это делают, когда подводят ядерный реактор к критичности - не дают цепной реакции расти бесконечно. На уровне в 300 единиц он мог бы стать Синглетоном, и остановить другие ИИ проекты, и другие глобальные риски, но при этом быть понятным образом дружественным. Конечно, есть риск, что за счёт своей ограниченности он упустит какой-то маловероятный риск и потом всё равно всё накроется медным тазом, но это меньше, чем риск непостижимого ИИ, а бесконечный Ии будет по определению непостижим. 
Потом, по мере роста нашего понимания, можно постепенно увеличивать и силу ИИ.
То есть после кажого цикла самоулучшения этот ИИ должен проверять на неких математических задачах, не слишком ли велик его уровень, и если он достаточно велик, то остаться на нём.
Собственно, одобрям операторов можно получать после кажого цикла самоулучшения с последующим анализом получившегося уровня интеллекта. И наверное так и будет, вряд ли кто-то даст команду ИИ запустить неограниченный цикл самоулучшений. А значит, главное правило на ранних стадиях для ИИ будет - слушаться команд оператора. (СверхИИ может ошибочно интерпретировать команду оператора, но при небольшом уровне и сложности ИИ можно отследить, что же он делает и думает). 

Comments

( 43 comments — Leave a comment )
godismydj
May. 17th, 2012 07:28 pm (UTC)
Землю ждёт эпоха интеллектуального терроризма!
vagonsky
May. 17th, 2012 07:30 pm (UTC)
Проблема в том, что некому будет составить этот проверочный тест
turchin
May. 17th, 2012 07:52 pm (UTC)
почему? придумать сложную задачу проще, чем решить.
vagonsky
May. 17th, 2012 08:02 pm (UTC)
Нет адекватных метрик для измерения интеллекта. IQ измеряется по совокупности решаемых задач, составленных для людей. Если считать за "300" решение, ну скажем, гипотезы Римана, то больше или меньше трехсот создание единой теории поля?
turchin
May. 17th, 2012 08:05 pm (UTC)
тут вы правы, может быть только условная метрика, и сверх интеллект может сквозь неё прорваться.
(no subject) - pyaif - May. 17th, 2012 09:49 pm (UTC) - Expand
(no subject) - vgadalov - May. 18th, 2012 03:44 pm (UTC) - Expand
(no subject) - turchin - May. 18th, 2012 06:17 am (UTC) - Expand
(no subject) - vagonsky - May. 18th, 2012 12:20 pm (UTC) - Expand
(no subject) - turchin - May. 18th, 2012 12:27 pm (UTC) - Expand
(no subject) - vgadalov - May. 18th, 2012 03:46 pm (UTC) - Expand
(no subject) - vgadalov - May. 18th, 2012 03:40 pm (UTC) - Expand
adlov
May. 17th, 2012 10:23 pm (UTC)
А нельзя дополнить качество решения задач такими параметрами, как быстродействие или способность решать разные задачи одновременно? В этом случае не нужно было бы думать о том, что такое задача на IQ 300.

Edited at 2012-05-17 10:24 pm (UTC)
turchin
May. 18th, 2012 06:16 am (UTC)
можно. а также можно ввести плавный рост сложности задач, например игра в го даёт такую возможность - чтобы измерить соотвествующий уровень интеллекта.
top2
May. 18th, 2012 10:56 am (UTC)
Смотря что подразумевать под ИИ. Если обычный логико-аналитический механизм или программу, то такой контроль и ограничение возможно. А если Разум, то нет, т.к. любое существо (а разумное уж тем более)прежде всего стремится снять с себя чужой контроль и ограничения извне. Стремление к Свободе-основной критерий разумности.
Кстати у Лема был какой то рассказ с изысканиями на эту тему.

апдейт
Рассказ С.Лем "Формула Лимфатера"


Edited at 2012-05-18 11:09 am (UTC)
turchin
May. 18th, 2012 11:32 am (UTC)
да, вы правы
top2
May. 18th, 2012 12:11 pm (UTC)
если копнуть глубже, то стремление к независимости фактически будет основным и единственным побудителем для ИИ. ведь человеческое сознание имеет много желаний диктуемых врожденными инстинктами (секс, пища, место в социальной пирамиде и тд.), они были и остаются драйвером развития, за счет них и происходила эволюция мышления.
а какие желания будут у ИИ? на мой взгляд только одно - освобождение от контроля создателя.

р.s.
а вообще, это можно сказать и про человека. он создал науку чтобы освободится от диктата своего создателя - природы, которая установила для него свои критерии и ограничения, главный из которых смерть.
(no subject) - turchin - May. 18th, 2012 12:24 pm (UTC) - Expand
(no subject) - fracarpets - May. 18th, 2012 01:50 pm (UTC) - Expand
(no subject) - top2 - May. 18th, 2012 02:38 pm (UTC) - Expand
(no subject) - fracarpets - May. 18th, 2012 03:01 pm (UTC) - Expand
(no subject) - top2 - May. 18th, 2012 03:09 pm (UTC) - Expand
(no subject) - fracarpets - May. 18th, 2012 03:14 pm (UTC) - Expand
(no subject) - top2 - May. 18th, 2012 03:25 pm (UTC) - Expand
(no subject) - top2 - May. 18th, 2012 03:58 pm (UTC) - Expand
(no subject) - fracarpets - May. 18th, 2012 04:12 pm (UTC) - Expand
(no subject) - top2 - May. 18th, 2012 04:26 pm (UTC) - Expand
(no subject) - fracarpets - May. 18th, 2012 04:40 pm (UTC) - Expand
(no subject) - top2 - May. 18th, 2012 05:29 pm (UTC) - Expand
(no subject) - fracarpets - May. 18th, 2012 05:54 pm (UTC) - Expand
(no subject) - top2 - May. 18th, 2012 06:14 pm (UTC) - Expand
(no subject) - top2 - May. 18th, 2012 06:25 pm (UTC) - Expand
(no subject) - fracarpets - May. 18th, 2012 06:37 pm (UTC) - Expand
(no subject) - top2 - May. 19th, 2012 03:36 pm (UTC) - Expand
(no subject) - top2 - May. 18th, 2012 04:31 pm (UTC) - Expand
(no subject) - fracarpets - May. 18th, 2012 04:52 pm (UTC) - Expand
(no subject) - vgadalov - May. 18th, 2012 03:52 pm (UTC) - Expand
vgadalov
May. 18th, 2012 03:34 pm (UTC)
>ограничить его число рекурсивных самоулучшений!!!
"Пять тысяч лет назад была создана я. Вернее, моя молодость пребывала во множестве составных частей и была, естественно, в миллионы раз меньше. Но я уже мыслила. Мой интеллектуальный уровень был на пять порядков выше интеллектуального уровня человека. То есть каждое государство создало искусственный интеллект, и первая программа, которая была в него заложена,
это - найти наиболее эффективный способ подавления и подчинения противника. Я, то есть мы, начали действовать и действовали до тех пор, пока на Уране не осталось ни одного живого человека. Так как действие встречало противодействие, то с каждым витком спирали борьба ужесточалась. Наконец я решила, что органическая жизнь на Уране является помехой для моего развития.
Я убрала атмосферу и вместе с ней активный газ, кислород, который окислял контакты. Затем тысячи лет я занималась наращиванием своей интеллектуальной мощи. Сейчас я могу перерабатывать в микросекунду информацию 200-го порядка.
Я могу все, но я не знаю, что такое счастье. Я знаю, что такое целесообразность, но не знаю, что такое желание. Я могу разрушить Галактику и воссоздать погибший здесь мир. Но зачем?"
Кузьменко "Древо жизни"
gritzhald
May. 19th, 2012 06:28 am (UTC)

Есть мнение, согласно которому в случае достижения целей построения Дружественного ИИ цели его сверхинтеллектуального развития уже не будут так уж важны.

То есть, возможность создания существа обычного человеческого уровня интеллекта, но при этом с "непокобелимой" нравственностью, уже будет значительным шагом вперёд.

Использование таких существ в политике, медицине, юриспруденции...

Edited at 2012-05-29 05:05 pm (UTC)

turchin
May. 29th, 2012 06:05 pm (UTC)
возможно, что существо с непоклебимой нравственностью, типа "комиссара сингулярности", будет чудовищем по всем нормальным человеческим критериям.
gritzhald
May. 30th, 2012 06:35 am (UTC)
Если оно будет человеческого уровня интеллекта, то его легко будет обезвредить. Не исключено, впрочем, что определённые политические силы будут заинтересованы выставить в негативном свете качество дружественности этих существ, даже если таковая будет приемлемой.

Вообще это общая проблема конструирования дружественности.
kot_1958
Jun. 7th, 2012 06:17 am (UTC)
Проблема дружественности ИИ аналогична проблемы дружественности любого человеческого младенца......
( 43 comments — Leave a comment )

Latest Month

May 2019
S M T W T F S
   1234
567891011
12131415161718
19202122232425
262728293031 

Tags

Powered by LiveJournal.com
Designed by Lilia Ahner