?

Log in

No account? Create an account

Previous Entry | Next Entry

Закончил перевод статьи "Искусственный интеллект как позитивный и негативный фактор глобального риска."

горд собой, что сделал это раньше срока, которывй заявлял, то есть раньше конца месяца.

хайли рекомендед чтиво.

Э.Юдковский
Искусственный интеллект как позитивный и негативный фактор глобального риска.

Eliezer Yudkowsky
Artificial Intelligence as a Positive and Negative Factor in Global Risk
Выходит в 2007 году в сборнике Риски глобальной катастрофы под редакцией Ника Бострома и Милана Цирковича, Оксфорд.

Док файл с форматированием:
www.avturchin.narod.ru/ai.doc

Текстовая версия:
http://www.proza.ru/texts/2007/03/22-285.html

Оригинал: http://www.singinst.org/reading/corereading/

Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic
Draft of August 31, 2006
Eliezer Yudkowsky
(yudkowsky@singinst.org)
Singularity Institute for Artificial Intelligence
Palo Alto, CA



Введение. (1)



До сих пор основной опасностью искусственного интеллекта (ИИ) было то, что люди слишком рано делали вывод, что они его понимают. Разумеется, эта проблема не ограничена ИИ. Jacques Monod пишет: «забавным аспектом теории эволюции является то, что каждый думает, что понимает её». (Monod, 1974.) Мой отец, физик, жаловался на людей, придумывавших свои собственные физические теории: «интересно знать, почему люди не придумывают свои собственные теории химии?» (Но они делают.) Тем не менее, проблема является особенно актуальной в области ИИ. Область ИИ имеет репутацию того, что она даёт огромные обещания и не исполняет их. Большинство наблюдателей считают, что ИИ труден, и это на самом деле так. Но запутанность не происходит из трудности. Трудно сделать звезду из водорода, но звездная астрофизика не имеет ужасающей репутации обещать сделать звезду и затем не смочь. Критическим выводом является не то, что ИИ труден, а то, что, по неким причинам, людям очень легко думать, что они знают об Искусственном Интеллекте гораздо больше, чем на самом деле.

дальше по ссылкам...

Comments

( 24 comments — Leave a comment )
red_ptero
Mar. 23rd, 2007 06:32 am (UTC)
Большое спасибо
Только что закончил читать Ваш перевод.

Надо бы немного попеарить...

turchin
Mar. 23rd, 2007 07:20 am (UTC)
spasib.

ne propadet nash skorbnij trud....
neo_der_tall
Mar. 23rd, 2007 12:33 pm (UTC)
не пропадет!
пеар сработал. Залил себе на е-букину. Дочту то что читаю щас и следующая - Ваше творение.
turchin
Mar. 23rd, 2007 01:36 pm (UTC)
:)
turchin
Mar. 23rd, 2007 07:16 am (UTC)
Re: Большое спасибо
если знаете какие-нибудь тематические форумы или группы - закиньте туда ссылку. плиз.
red_ptero
Mar. 23rd, 2007 07:22 am (UTC)
Re: Большое спасибо
Пока закинул в два сообщества (см. выше)

Попозже (когда народ проснётся) закину ещё в парочку-тройку
red_ptero
Mar. 23rd, 2007 04:43 pm (UTC)
Сделал кросспост в сообщества по ИИ
turchin
Mar. 23rd, 2007 04:48 pm (UTC)
спасибо!

я тоже закинул в несколько форумов по футурологии - всё таки возрастает шанс, что это попадёт к нужным людям и риск уменьшится.
(Deleted comment)
turchin
Mar. 23rd, 2007 02:43 pm (UTC)
интересная мысль...

отвечу от имени автора.

услужливость Ии не означает Дружественности. Например, спам-бот услужлив для своего создателя. И мозг крылатой ракеты тоже служит её целям.

автор утвержадет, что единичный неправильный экземпляр может быть очень опасен. гугл, кстаит, ведёт огромную программу по ИИ и в России Abbyy

Хотя возможность того, что услужливость станет основой дружественности - имеется. Но доказать или опровергнуть это из своего уровня знаний я не могу. вскрытие покажет:)
studentka_ngu
Mar. 26th, 2007 03:49 am (UTC)
Современные алгоритмы распознавания образов не имеют вообще никакого отношения к тому, как это делает человеческий мозг. Как правило, распознающий "engine" основывается на нескольких простых но ортогональных алгоритмах - например (в распознавании текста), нахождение топологических признаков буквы (подсчитать количество слияний линий при просмотре слева-направа и т.д.). Один такой алгоритм распознает 50% текста, другой (ортогональный ему) - 50% от оставшегося и т.д., потом тысяча рукотворных эвристик используются для доведения качества распознавания до 99%.

Ясно, что это не имеет ничего общего с "интеллектом" и слова "искуственный интеллект" было использовано только для привлечения инвесторов и грантов. См. далее
http://turchin.livejournal.com/236925.html?thread=1601405#t1601405
turchin
Mar. 26th, 2007 09:30 am (UTC)
ещё подумал о вашем посте:

а) из того, что человек подаёт на грант на некую тему, не следует, что тема ложная.

б) в течение 19 века предпринималось множество попыток сделать самолёт,с огромными вложениями денег (50 000 usd в случае с одним американцем, котоый построил катаплуьту на параходе и на ней почти убился), все они потепели провал и именно поэтому сложилось мнение, что самолёты невозможны. Братья Райт смогли построить свой самолёт, потому что произошёл качественный скачок в двигателях внутреннего сгорания. Их самолёт стоил гораздо дешевле.
studentka_ngu
Mar. 26th, 2007 07:19 pm (UTC)
Тусовка "искуственный интеллект" в течение 1950-х-1970-х подарила миру много изобретений (начиная от обработки списков, распознавания образов и т.д.), но все эти изобретения не имеют никакого отношения к "интеллекту". Слова "искусственный интеллект" использовались для маркетирования их исследований, которые иначе бы просто не были достаточно "яркими", чтобы получить финансирование.

Представим, что человек хочет построить трактор, но ему дают финансирование только на прибор для мгновенной телепортации на Марс. Тогда он обзывает свой трактор "марс-телепортер" и, используя друзей в НАСА и туманные математические формулы, утверждает, что eventually эволюция трактора приведет к "настоящему" телепортеру.
turchin
Mar. 26th, 2007 07:24 pm (UTC)
и с этим я вполне соглашусь, допуская, что некоторые люди действительно верили в возможность лёгкого создания ИИ.

Сам Юдковский писал в своей статье "систематические ошибки в мышлении при оценке глоблаьных рисков" о том, что разъяснение психологических мотивов не опровергает тех идей, за которые ратуют люди на примере плохого романа о падении астроида на землю. из того что роман плохой не следует, что падение астероида невозможно.

ngu - нижегорожский университет?
red_ptero
Mar. 23rd, 2007 04:53 pm (UTC)
Вопрос можно?
А что такое "эволюционная кибернетика Турчина"?

Ссылку на неё нашел здесь
http://community.livejournal.com/ai_ru/23928.html

С Вами никак не связана?
turchin
Mar. 23rd, 2007 04:57 pm (UTC)
Re: Вопрос можно?
это работы Валентина Турчина

Он не мой родственник, просто случайное овпадение фамилий. :) и интересов.

studentka_ngu
Mar. 26th, 2007 03:42 am (UTC)
Полная хуйня. Слова "Искуственный интеллект" использовали несколько раз в истории, чтобы получить и растранжирить деньги из разных источников. Я например встречалась с "отцом искуственного интеллекта" Джоном Маккарти (http://www-formal.stanford.edu/jmc) и рублю тему.

Сначала были "персептроны" в 60-е (под них пробовали выбить деньги у военных), потом "экспертные системы" в 70-е-80-е (под них пробовали выбить деньги у венчурных капиталистов, см. историю компании Symbolics), потом "нейронные сети" в начале 90-х (которые не имеют никакого отношения к нейронам).

Типичный трюк, используемый "искусственно-интеллектуальщиками" выглядел так: берем какой-нибудь метод (например альфа-бета процедура для игры в шахматы в 60-е) или ту фигню, которую назвали "нейронными сетями" - и объявляем, что это якобы имеет отношение к интеллекту. Человеческий мозг не может освободится от ассоциации при недостатке информации - поэтому венчурные капиталисты никогда бы не выложили деньги за эээ "алгоритм нахожения коэффициентов функций с обратной связью", но легко выложат деньги за "само-тренируемые нейронные сети" (разумеется, если дружбаны изобретателя подпоют как консультанты инвестора).

Возможно, что фон-неймановский компьютер или вообще любой конечный автомат - просто является неподходящей базой для имплементации "интеллекта" (кстати, для начала, нужно выяснить, что это такое).

Тема полностью раскрыта в

The Brain Makers by HP Newquist
http://www.amazon.com/Brain-Makers-HP-Newquist/dp/0672304120/ref=sr_1_2/104-2851629-0850320?ie=UTF8&s=books&qid=1174879407&sr=1-2
turchin
Mar. 26th, 2007 09:01 am (UTC)
то есть вы полагаете, что невозможен процесс оптимизации, оптимизирующий сам себя? Иначе говоря, программа, которыя может понимать и переписывать собственный исходный код?
studentka_ngu
Mar. 26th, 2007 07:10 pm (UTC)
Существуют много сложных процессов, которые не имеют никакого отношения к интеллекту. Например, генерация организмом распознающих антител для противостояния инфекциям (включая (!) инфекции новыми типами бактерий и вирусов).

"Интеллект" должен включать самоосознание. Я не утверждаю, что построение искуственного интеллекта невозможно в принципе, но выражаю сомнение в двух вещах:

1. что это возможно на базе фон-неймановского процессора (т.е. компьютера)

2. что люди из тусовки "искусственный интеллект" имеют хоть какое-то отношение к теме. Они периодически называют "искуственным интеллектом" всякие простые фокусы. Так и имунную систему организма можно назвать "разумной".
turchin
Mar. 26th, 2007 07:18 pm (UTC)
я вполне согласен с вашим утверждением, что возможное, самосознание требует чего-то большего, чем фон-нейменовского компьютера (хотя будущие компьютерв могу содержать квантовые элементы и даже живые нейроны) и с тем, что в головах тусовки много всякой каши.

Но с точки зрения ИИ как фактора риска, его самосознани не имеет значения. Например, не важно, обладает самосознанием лев или компьютеный вирус. Достаточно, чтобы он мог всё лучше и лучше достигать неких целей во внешнем мире.

cybersoph
Apr. 13th, 2007 07:51 pm (UTC)
Проблема "понимания" компьютером программы или текста сводилась с задаче "распознавания смысла". Более полувека трудились исследователи в данном направлении пока,наконец, в этом году ученые из РАЕН не смогли открыть "формулу смыла" и преодолеть, таким образом, проблему "формализации смысла" текстов. http://www.acconcept.ru/news/news.php?id=124
Так что теперь не существует особых препятствий, чтобы научить компьютер "мыслить".
turchin
Apr. 13th, 2007 07:59 pm (UTC)
интересно. а где сама формула:)?
cybersoph
Aug. 20th, 2007 08:59 pm (UTC)
Формула Смысла
интересно. а где сама формула:)?

Зайдите на мой пост: http://cybersoph.livejournal.com
no_gritzko_here
Apr. 15th, 2007 06:12 am (UTC)
Теперь понятно, почему тема ИИ так вдруг пошла в Гугл. У них слишком много денег!
( 24 comments — Leave a comment )

Latest Month

May 2019
S M T W T F S
   1234
567891011
12131415161718
19202122232425
262728293031 

Tags

Powered by LiveJournal.com
Designed by Lilia Ahner