turchin (turchin) wrote,
turchin
turchin

Category:
Одно из технических решений создания Дружественного ИИ - это ограничить его число рекурсивных самоулучшений, скажем, до условного IQ в 300 единиц. На этом уровне он будет умнее любого человека, но тем не менее умопостигаем для людей. то есть он сможет объяснить, что и почему он делает. 
Именно это делают, когда подводят ядерный реактор к критичности - не дают цепной реакции расти бесконечно. На уровне в 300 единиц он мог бы стать Синглетоном, и остановить другие ИИ проекты, и другие глобальные риски, но при этом быть понятным образом дружественным. Конечно, есть риск, что за счёт своей ограниченности он упустит какой-то маловероятный риск и потом всё равно всё накроется медным тазом, но это меньше, чем риск непостижимого ИИ, а бесконечный Ии будет по определению непостижим. 
Потом, по мере роста нашего понимания, можно постепенно увеличивать и силу ИИ.
То есть после кажого цикла самоулучшения этот ИИ должен проверять на неких математических задачах, не слишком ли велик его уровень, и если он достаточно велик, то остаться на нём.
Собственно, одобрям операторов можно получать после кажого цикла самоулучшения с последующим анализом получившегося уровня интеллекта. И наверное так и будет, вряд ли кто-то даст команду ИИ запустить неограниченный цикл самоулучшений. А значит, главное правило на ранних стадиях для ИИ будет - слушаться команд оператора. (СверхИИ может ошибочно интерпретировать команду оператора, но при небольшом уровне и сложности ИИ можно отследить, что же он делает и думает). 
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 43 comments