Суперпамять
Исследованием памяти впервые начал заниматься Герман Эббингауз, создатель кривой забывания. Участники его экспериментов заучивали бессмысленные слоги. Затем ученый перемешивал их, и процесс повторялся. Так он хотел выяснить, как запоминание зависит от числа повторений, количества заучиваемого материала, интервалов между заучиваниями.
Эббингауз сделал такие выводы:
- осмысленная информация запоминается быстрее и лучше;
- сложность заучивания напрямую не связана с объемом информации;
- есть порог количества повторений (то есть, чтобы выучить стихотворение, может быть достаточно 3-4 повторений, и лучше оно не запомнится, если повторить 10 раз);
- лучше человек запоминает информацию в начале и в конце отрывка, который заучивается;
- быстрее и лучше всего запоминается информация, необходимая человеку в жизни.
На кривой забывания Эббингауз отобразил результаты своих исследований: 60% информации мозг забывает через 1 час, 5% через 12 часов, еще 15% через неделю, далее процесс забывания замедляется до минимума.
Способы устранения[править]
Использование другой функции активацииправить
Рисунок 2. Графики функций активации: sigmoid, tanh, ReLU, softplus
Как уже упоминалось выше, подверженность нейронной сети проблемам взрывающегося или затухающего градиента во многом зависит от свойств используемых . Поэтому правильный их подбор важен для предотвращения описываемых проблем.
Tanhправить
$\tanh(x) = \frac{e^x — e^{-x}}{e^x + e^{-x}}$
Функция аналогична сигмоиде, но множество возможных значений: $$. Градиенты при этом сосредоточены около $0$,. Однако, эта функция также насыщается в обоих направлениях, поэтому также может приводить к проблеме затухающего градиента.
ReLUправить
$h(x) = \max(0, x)$
Функция проста для вычисления и имеет производную, равную либо $1$, либо $0$. Также есть мнение, что именно эта функция используется в биологических нейронных сетях. При этом функция не насыщается на любых положительных значениях, что делает градиент более чувствительным к отдаленным слоям.
Недостатком функции является отсутствие производной в нуле, что можно устранить доопределением производной в нуле слева или справа. Также эту проблему устраняет использование гладкой аппроксимации, Softplus.
Существуют модификации ReLU:
- Noisy ReLU: $h(x) = \max(0, x + \varepsilon), \varepsilon \sim N(0, \sigma(x))$.
- Parametric ReLU: $h(x) = \begin{cases} x & x > 0 \\ \beta x & \text{otherwise} \end{cases}$.
- Leaky ReLU: Paramtetric ReLU со значением $\beta = 0.01$.
Softplusправить
$h(x) = \ln(1 + e^x)$
Гладкий, везде дифференцируемый аналог функции ReLU, следовательно, наследует все ее преимущества. Однако, эта функция более сложна для вычисления. Эмпирически было выявлено, что по качеству не превосходит ReLU.
Графики всех функций активации приведены на рисунок 2.
Изменение моделиправить
Для решения проблемы может оказаться достаточным сокращение числа слоев. Это связано с тем, что частные производные по весам растут экспоненциально в зависимости от глубины слоя.
![Суперинтеллект содержание а также возможность искусственного суперинтеллекта [ править ]](https://sariola.ru/wp-content/uploads/0/b/a/0baaca55b9810116221d1c9aba0a31d9.jpeg)
В рекуррентных нейронных сетях можно воспользоваться техникой обрезания обратного распространения ошибки по времени, которая заключается в обновлении весов с определенной периодичностью.
Использование Residual blocksправить
Рисунок 3. Устройство residual block
В данной конструкции вывод нейрона подается как следующему нейрону, так и нейрону на расстоянии 2-3 слоев впереди, который суммирует его с выходом предшествующего нейрона, а функция активации в нем — ReLU (см. рисунок 3). Такая связка называется shortcut. Это позволяет при обратном распространении ошибки значениям градиента в слоях быть более чувствительным к градиенту в слоях, с которыми связаны с помощью shortcut, то есть расположенными несколько дальше следующего слоя.
Регуляризация весовправить
Регуляризация заключается в том, что слишком большие значения весов будут увеличивать функцию потерь. Таким образом, в процессе обучения нейронная сеть помимо оптимизации ответа будет также минимизировать веса, не позволяя им становиться слишком большими.
Обрезание градиентаправить
Образание заключается в ограничении нормы градиента. То есть если норма градиента превышает заранее выбранную величину $T$, то следует масштабировать его так, чтобы его норма равнялась этой величине:
$\nabla_{clipped} = \begin{cases} \nabla & || \nabla || \leq T \\ \frac{T}{|| \nabla ||} \cdot \nabla & \text{otherwise} \end{cases}.$
См. такжеправить
- Нейронные сети, перцептрон
- Обратное распространение ошибки
- Регуляризация
- Глубокое обучение
- Сверточные нейронные сети
Deep learning: глубокое обучение для разных целей
Глубокое обучение — подраздел машинного обучения. Алгоритмам глубокого обучения не нужен учитель, только заранее подготовленные (размеченные) данные.
Самый популярный, но не единственный метод глубокого обучения, — искусственные нейронные сети (ИНС). Они больше всего похожи на то, как устроен человеческий мозг.
Нейронные сети — это набор связанных единиц (нейронов) и нейронных связей (синапсов). Каждое соединение передаёт сигнал от одного нейрона к другому, как в мозге человека. Обычно нейроны и синапсы организованы в слои, чтобы обрабатывать информацию. Первый слой нейросети — это вход, который получает данные. Последний — выход, результат работы. Например, несколько категорий, к одной из которых мы просим отнести то, что было отправлено на вход. И между ними — скрытые слои, которые выполняют преобразование.
По сути, скрытые слои выполняют какую-то математическую функцию. Мы её не задаём, программа сама учится выводить результат. Можно научить нейросеть классифицировать изображения или находить на изображении нужный объект. Помните, как reCAPTCHA просит найти все изображения грузовиков или светофоров, чтобы доказать, что вы не робот? Нейронная сеть выполняет то же самое, что и наш мозг, — видит знакомые элементы и понимает: «О, кажется, это грузовик!»
А ещё нейросети могут генерировать объекты: музыку, тексты, изображения. Например, компания Botnik скормила нейросети все книги про Гарри Поттера и попросила написать свою. Получился «Гарри Поттер и портрет того, что выглядит как огромная куча пепла». Звучит немного странно, но как минимум с точки зрения грамматики это сочинение имеет смысл.
Сегодня нейронные сети могут применяться практически для любой задачи. Например, при диагностике рака, прогнозировании продаж, идентификации лиц в системах безопасности, машинных переводах, обработке фотографий и музыки.
Чтобы обучить нейросеть, нужны гигантские наборы тщательно отобранных данных. Например, для распознавания сортов огурцов нужно обработать 1,5 млн разных фотографий. Не получится просто слить рандомные картинки или текст из интернета — их нужно подготовить: привести к одному формату и удалить то, что точно не подходит (например, мы классифицируем пиццу, а в наборе данных у нас фото грузовика). На разметку данных — подготовку и систематизацию — уходят тысячи человеко-часов.
Эволюция с возможной интеграцией NI, IT и AI
В 2005 году Алексей Ерёмин в монографии «Ноогенез и теория интеллекта» предложил новую концепцию ноогенеза в понимании эволюции интеллектуальных систем. Эволюция интеллектуальных способностей может происходить при одновременном участии естественного (биологического) интеллекта (НИ), современных достижений в области информационных технологий (ИТ) и будущих научных достижений в области искусственного интеллекта (ИИ).
Эволюция скорости взаимодействия между компонентами интеллектуальных систем
Первым человеком, измерившим скорость (в диапазоне от 24,6 до 38,4 метра в секунду), с которой сигнал проходит по нервному волокну в 1849 году, был Гельмгольц . На сегодняшний день измеренные скорости нервной проводимости составляют 0,5 — 120 м / с. Скорость звука и скорость света были определены ранее в XVII веке. К 21 веку стало ясно, что они определяют в основном скорости физических носителей сигналов-информации, между интеллектуальными системами и их компонентами: звук (голос и звук) ~ 300 м / с, квантово-электронный ~ м / с (скорость радиоэлектромагнитных волн, электрического тока, световых, оптических, телекоммуникационных).
3⋅108{\ displaystyle 3 \ cdot 10 ^ {8}}
Эволюция компонентов интеллектуальных систем
В 1906 году Сантьяго Рамон-и-Кахаль обратил внимание ученых на центральное значение нейрона и установил доктрину нейронов, согласно которой нервная система состоит из отдельных отдельных клеток. По современным данным, в мозгу взрослого человека насчитывается около 86 миллиардов нейронов.
Эволюция связей между компонентами интеллектуальных систем
Синапс — от греческого синапсиса (συνάψις), что означает «соединение», в свою очередь от συνάπτεὶν (συν («вместе») и ἅπτειν («закреплять»)) — был введен в 1897 году Чарльзом Шеррингтоном
Актуальность измерений в этом направлении подтверждается как современными комплексными исследованиями сотрудничества, так и связями информационных, генетических и культурных, обусловленных структурами на нейронном уровне мозга, и важностью сотрудничества в развитии цивилизации. В связи с этим А.Л
Ерёмин проанализировал известные данные об эволюции количества связей для взаимодействия в интеллектуальных системах. Связи, контакты между биологическими объектами, можно считать появившимися в многоклеточности ~ 3–3,5 миллиарда лет назад. Система высокоскоростных соединений специализированных клеток, передающих информацию с помощью электрических сигналов, нервная система, за всю историю жизни появилась только в одной крупной эволюционной ветви: у многоклеточных животных ( Metazoa ) и появилась в эдиакарский период (около 635 г. -542 миллиона лет назад). В ходе эволюции (филогении) количество связей между нейронами увеличилось с одного до ~ 7000 синоптических связей каждого нейрона с другими нейронами в мозгу человека. Было подсчитано, что мозг трехлетнего ребенка имеет примерно 1 квадриллион синапсов. В индивидуальном развитии (онтогенезе) количество синапсов с возрастом уменьшается до ~ . По другим данным, расчетное количество неокортикальных синапсов в мужском и женском мозге уменьшается в течение жизни человека с ~ до ~ .
1015{\ displaystyle 10 ^ {15}}1014{\ displaystyle 10 ^ {14}}1.4⋅1014{\ Displaystyle 1.4 \ cdot 10 ^ {14}}1.2⋅1014{\ Displaystyle 1.2 \ cdot 10 ^ {14}}
Количество человеческих контактов трудно подсчитать, но « число Данбара » ~ 150 устойчивых человеческих связей с другими людьми зафиксировано в науке, предполагаемый когнитивный предел количества людей, с которыми возможно поддерживать стабильные социальные отношения, согласно другим авторам — диапазон 100–290. В мозгу были выявлены структуры, отвечающие за социальное взаимодействие. С появлением Homo sapiens ~ 50-300 тысяч лет назад актуальность сотрудничества, его эволюция в человеческой популяции возросла количественно. Если 2000 лет назад на Земле было 0,1 миллиарда человек, 100 лет назад — 1 миллиард, к середине ХХ века — 3 миллиарда, а сейчас человечество — 7,7 миллиарда. Таким образом, общее количество «устойчивых связей» между людьми, социальных отношений внутри населения можно оценить числом ~ ».
1012{\ displaystyle 10 ^ {12}}
| Параметр | Результаты измерений (пределы) | |
|---|---|---|
| Количество компонентов интеллектуальных систем | ~ — 1010{\ displaystyle 10 ^ {10}}1011{\ displaystyle 10 ^ {11}} | |
| Количество связей между компонентами | ~ — 1012{\ displaystyle 10 ^ {12}}1014{\ displaystyle 10 ^ {14}} | |
| Скорость взаимодействия между компонентами (м / с) | ~ — 102{\ displaystyle 10 ^ {2}}3⋅108{\ displaystyle 3 \ cdot 10 ^ {8}} |
Первая теорема Гёделя о неполноте
Ладно, давайте разберём что-то по сложнее. Например, первую теорему Гёделя о неполноте. Суть её сводится к тому, что в любой непротиворечивой системе утверждений существует такое правдивое утверждение, которое невозможно доказать. То есть эта система не полна. Для обоснования приводится выражение вида «это выражение невозможно доказать». Давайте проанализируем его, как мы умеем..
Если оно ложно, значит доказать его всё же можно. А если можно доказать, то оно правдиво. Противоречие — отбрасываем. Если же оно правдиво и непротиворечиво, а ложность мы уже отвергли, то получается, что мы его доказали. А оно говорит о своей недоказуемости. Опять противоречие — снова отбрасываем. А так как мы только что доказали, что оно не может быть ни правдивым, ни ложным, значит оно абсурдно.
Тут Гёдель заявляет, что мы же не смогли доказать утверждение, которое говорит о своей собственной недоказуемости, что получается правда и теорема как бы доказана
Однако, тут важно помнить, что невозможность правдивости мы уже только что показали. А суть тут в том, что понятие истинности (и как следствие доказуемости) в принципе не применимо к абсурдным утверждениям
Это всё равно, что спрашивать «Когда вы перестали пить по утрам?» у человека, который в жизни в рот не брал. По сути, выражение Гёделя — не более чем слегка завуалированный парадокс лжеца, где утверждение эффективно отрицает само себя. Важный вывод из этих рассуждений заключается в том, что введение в рассуждение абсурдного утверждения не поможет ничего доказать или опровергнуть, кроме собственно абсурдности этого утверждения.
Цитаты
- ^ , Глава 2.
- , п. 22.
- С. 135-137.
- , п. 7.
- , п. 7-9.
- , п. 10-11.
- , п. 11-13.
- , п. 59.
- С. 56-57.
- , стр. 52, 59-61.
- Саган, Карл (1977). Драконы Эдема. Случайный дом.
- С. 37-39.
- , п. 39.
- С. 48-49.
- С. 36-37, 42, 47.
- , стр. 3-4, 6, 9-12.
- ^ С. 209-221.
- , стр. 16-19.
- Мюльхаузер, Люк и Луи Хельм. 2012. «Взрыв разведки и машинная этика». В книге «Гипотезы сингулярности: научная и философская оценка» под редакцией Амнона Идена, Джонни Сёракера, Джеймса Х. Мура и Эрика Стейнхарта. Берлин: Springer.
- Бостром, Ник. 2003. «Этические вопросы передового искусственного интеллекта». В «Когнитивных, эмоциональных и этических аспектах принятия решений людьми и в искусственном интеллекте» под редакцией Ивы Смит и Джорджа Э. Ласкера, 12–17. Vol. 2. Виндзор, О. Н.: Международный институт перспективных исследований в области системных исследований / кибернетики.
- Элиэзер Юдковски (2008) в
- , С. 155-163.
Пересчитываем действительные числа
Ну ок, мы показали, что вещественные числа пересчитать всё же можно. Но как именно это сделать? Давайте сформулируем самый простой алгоритм..
Возьмём пустой ряд вещественных чисел и начнём заполнять его так: берём случайное вещественное число и проверяем есть ли оно уже в нашем ряду. Если оно уже есть — генерируем новое. И так далее, пока не встретим число, которое ещё не посчитали. Добавляем его в конец ряда и всё по новой.
Понятно, что для произвольного вещественного числа вероятность получить именно его на очередной итерации бесконечно мала. Но так как у нас есть неограниченное число попыток, то математическое ожидание, что оно нам попадётся в ряду хотя бы раз, равно единице. А это значит, что для каждого вещественного числа неизбежно будет получен уникальный натуральный номер в ряду. А следовательно, все бесконечные множества равны между собой по своей мощности.
Соображения по дизайну
Бостром выразил озабоченность по поводу того, какие ценности должен иметь суперинтеллект. Он сравнил несколько предложений:
- Предложение согласованного экстраполированного волеизъявления (CEV) состоит в том, что оно должно иметь ценности, на которых люди будут сходиться.
- Предложение о моральной правоте (MR) состоит в том, что оно должно ценить моральную правоту.
- Предложение о моральной допустимости (MP) состоит в том, что оно должно ценить соблюдение границ моральной допустимости (и в остальном иметь ценности CEV).
Бостром разъясняет эти термины:
Отвечая Бострому, Сантос-Ланг выразил обеспокоенность тем, что разработчики могут попытаться начать с одного вида сверхразума.
Возможность искусственного суперинтеллекта
Прогресс в машинной классификации изображений Уровень ошибок ИИ по годам. Красная линия — частота ошибок обученного человека.
Философ Дэвид Чалмерс утверждает, что общий искусственный интеллект — очень вероятный путь к сверхчеловеческому интеллекту. Чалмерс разбивает это утверждение на аргумент, что ИИ может достичь эквивалента человеческого интеллекта, что его можно расширить, чтобы превзойти человеческий интеллект, и что его можно еще больше усилить, чтобы полностью доминировать над людьми в произвольных задачах.
Что касается эквивалентности на человеческом уровне, Чалмерс утверждает, что человеческий мозг — это механическая система, и поэтому его следует эмулировать с помощью синтетических материалов. Он также отмечает, что человеческий интеллект смог эволюционировать биологически, что повысило вероятность того, что инженеры-люди смогут повторить это изобретение. В частности, эволюционные алгоритмы должны уметь создавать ИИ человеческого уровня. Что касается расширения и усиления интеллекта, Чалмерс утверждает, что новые технологии искусственного интеллекта, как правило, можно улучшить, и что это особенно вероятно, когда изобретение может помочь в разработке новых технологий.
Если бы исследования сильного ИИ позволили создать достаточно интеллектуальное программное обеспечение, оно могло бы перепрограммироваться и улучшать себя — функция, называемая «рекурсивное самосовершенствование». Тогда он мог бы даже лучше совершенствоваться и мог бы продолжать делать это в быстро растущем цикле, что привело бы к сверхразуму. Этот сценарий известен как интеллектуальный взрыв . Такой разум не будет иметь ограничений человеческого интеллекта и может изобрести или открыть практически все, что угодно.
Компоненты компьютеров уже значительно превосходят по скорости человеческие возможности. Бостром пишет: «Биологические нейроны работают с максимальной скоростью около 200 Гц, что на целых семь порядков медленнее, чем современный микропроцессор (~ 2 ГГц)». Более того, нейроны передают спайковые сигналы через аксоны со скоростью не более 120 м / с, «тогда как существующие ядра электронной обработки могут оптически общаться со скоростью света». Таким образом, простейшим примером суперинтеллекта может быть эмулированный человеческий разум, работающий на гораздо более быстром оборудовании, чем мозг. Человекоподобный рассуждающий, который может мыслить в миллионы раз быстрее, чем современные люди, будет иметь доминирующее преимущество в большинстве задач по рассуждению, особенно в тех, которые требуют поспешности или длинных цепочек действий.
Еще одно преимущество компьютеров — модульность, то есть их размер или вычислительная мощность могут быть увеличены. Нечеловеческий (или модифицированный человеческий) мозг может стать намного больше современного человеческого мозга, как и многие суперкомпьютеры . Бостром также поднимает возможность коллективного суперинтеллекта : достаточно большое количество отдельных систем рассуждений, если они достаточно хорошо взаимодействуют и координируются, могут действовать в совокупности с гораздо большими возможностями, чем любой субагент.
Также могут быть способы качественно улучшить человеческое мышление и процесс принятия решений. Кажется, что люди больше отличаются от шимпанзе по способу мышления, чем по размеру мозга или скорости. Люди превосходят животных, не являющихся людьми, во многом благодаря новым или улучшенным способностям к рассуждению, таким как долгосрочное планирование и использование языка . (См. Эволюцию человеческого интеллекта и познания приматов .) Если есть другие возможные усовершенствования рассуждений, которые окажут такое же большое влияние, это повысит вероятность создания агента, который превосходит людей так же, как люди превосходят шимпанзе.
Все вышеперечисленные преимущества справедливы для искусственного суперинтеллекта, но неясно, сколько из них справедливо для биологического суперинтеллекта. Физиологические ограничения ограничивают скорость и размер биологического мозга во многих отношениях, которые неприменимы к машинному интеллекту. Таким образом, писатели о суперинтеллекте уделили гораздо больше внимания сценариям сверхразумного ИИ.
Проблема останова
Наконец, мы добрались до проблемы останова. Суть её заключается в том, чтобы написать такой анализатор, который бы для любого алгоритма мог сказать завершится тот когда-нибудь или же будет исполняться бесконечно долго. Сотню лет назад Алан Тьюринг доказал невозможность существования такого алгоритма. И я думаю вы уже понимаете каким вымышленным персонажем он для этого воспользовался.
Итак, предположим, что такой анализатор существует и обозначим его знаком «стоп». Он принимает произвольный алгоритм и возвращает флаг истинности. Теперь напишем нашего Санту таким образом, что он вызывает анализатор на самом себе и поступает ровно противоположно его решению: уходит в бесконечную рекурсию, если анализатор говорит, что алгоритм останавливается, но успешно завершается, если анализатор говорит, что остановки не произойдёт.
Понятное дело, что анализатор на таком алгоритме не сможет вернуть ни правду, ни ложь, так как Санта сформулирован в форме абсурда. Значит такого анализатора не существует? Да нет же, существовать он может, но должен бросить ошибку, так же как и для любого другого некорректного кода. В данном же случае текст ошибки может быть примерно такой: «алгоритм не корректен, так как его поведение зависит от результата работы анализатора».
По сути, рассуждения Тьюринга говорят нам не о том, что анализатора быть не может, а то, что классической (бинарной) логики не достаточно для представления результата его работы — нужна как минимум троичная, в которой представим в том числе и вердикт о некорректности кода.
Разбиение множества по предикату
Поднимемся на уровень выше, к теории множеств, где мы можем образовывать подмножества используя произвольный предикат, то есть функцию, которая возвращает правду или ложь. Возьмём, например, предикат «стрижёт» и разделим всё население Земли на тех кто стрижёт сам себя и тех, кого стригут другие. Первых обозначим бритой рожицей так как они могут себе позволить стричься хоть каждый день. А вторых — заросшей, так как для них сходить к цирюльнику — это целая эпопея.
Так как мы разделили всё население по предикату на два подмножества, то так же верны и утверждения, что объединение этих подмножеств равно всему населению планеты. А пересечение является пустым множеством, ибо никто не может и стричь себя сам, и не стричь одновременно.
Доведение до абсурда
Давайте рассмотрим, как понятие корректности помогает нам делать логические выводы, на примере популярного в математике метода «доказательства от противного».
Пусть у нас есть уравнение: . Правдиво оно или ложно?
Допустим, что оно ложно. Тогда после вычисления левой и правой частей мы получим, что суждение тоже ложно. Однако, у нас есть аксиома тождества утверждающая, что любое число равно самому себе. Получаем противоречие: зелёная стрелка упирается в красный прямоугольник. То есть эта ветка рассуждений абсурдна и поэтому отбрасывается. А значит исходное уравнение не может быть ложным.
Но может ли оно быть правдивым? Что ж, рассмотрим и эту гипотезу. Из неё вытекает, что тоже правдиво, что соответствует аксиоме тождества. И никаких противоречий не возникает. А значит эта ветка рассуждений вполне себе корректна. Таким образом мы доказали, что исходное уравнение не может быть ни чем иным, как правдой.
Может показаться, что проверка второй гипотезы уже лишняя, когда опровергнута первая. Ведь если утверждение не ложно, то оно должно быть правдиво. На этот счёт в классической логике даже есть отдельная аксиома «исключённого третьего». Однако, не стоит забывать, что произвольно взятое утверждение может оказаться не только правдивым или ложным, но и попросту некорректным. И в этом случае та аксиома не применима, как и вся классическая логика. Поэтому прежде чем брать такое утверждение в оборот классической логики, необходимо доказать его корректность. Ну либо всё же использовать не классическую, многозначную логику.
Внешние ссылки [ править ]
| vтеЭкзистенциальный риск от искусственного интеллекта | |
|---|---|
| Концепции |
|
| Организации |
|
| Люди |
|
| Другой |
|
| Категория |
Неполнота
Возьмём, для примера, выражение, утверждающее свою собственную правдивость и попробуем его проанализировать.
Если оно правдиво, то оно утверждает, что оно правдиво, что не противоречит исходному предположению. А если оно ложно, утверждая, что оно правдиво, значит оно ложно, что тоже подтверждает исходное предположение. Получается, что это утверждение не несёт в себе достаточно информации, чтобы определить его истинность. А значит его требуется дополнить ещё каким-то суждением, которое бы что-то говорило об истинности данного утверждения.
Конкретно в данном случае нам для полноты не хватает аксиомы, позволяющей установить истинность подобных утверждений. Звучать она может, например, так: выражения, утверждающие свою собственную правдивость, не корректны. Просто потому, что они не дают нам никакой полезной информации для дальнейших рассуждений. Назовём её «аксиомой Мюнхгаузена» в честь известного персонажа, вытаскивавшего самого себя из болота за волосы.
Потенциальная угроза человечеству
Было высказано предположение, что, если системы ИИ быстро станут суперинтеллектуальными, они могут предпринять непредвиденные действия или превзойти человечество. Исследователи утверждали, что в результате «интеллектуального взрыва» самосовершенствующийся ИИ может стать настолько мощным, что его не остановить для людей.
Что касается сценариев вымирания человечества, определяет сверхразум как возможную причину:
Теоретически, поскольку суперинтеллектуальный ИИ способен вызвать практически любой возможный результат и помешать любой попытке помешать реализации его целей, может возникнуть множество неконтролируемых, непредвиденных последствий . Он может убить всех других агентов, убедить их изменить свое поведение или заблокировать их попытки вмешательства. Элиэзер Юдковски иллюстрирует такую инструментальную конвергенцию следующим образом: «ИИ не ненавидит вас и не любит вас, но вы созданы из атомов, которые он может использовать для чего-то еще».
Это представляет собой проблему управления ИИ : как создать интеллектуального агента, который будет помогать своим создателям, избегая при этом непреднамеренного создания сверхразума, который нанесет вред его создателям. Опасность неправильной разработки управления «с первого раза» состоит в том, что сверхразум может захватить власть над окружающей средой и не дать людям выключить ее. Поскольку сверхразумный ИИ, скорее всего, будет иметь способность не бояться смерти и вместо этого будет рассматривать ее как ситуацию, которой можно избежать, которую можно предсказать и избежать, просто отключив кнопку питания. Потенциальные стратегии управления ИИ включают «управление возможностями» (ограничение способности ИИ влиять на мир) и «мотивационный контроль» (создание ИИ, цели которого соответствуют человеческим ценностям).
Билл Хиббард выступает за просвещение общественности по вопросам суперинтеллекта и за общественный контроль над развитием суперинтеллекта.
Прогнозы
Большинство опрошенных исследователей ИИ ожидают, что машины в конечном итоге смогут соперничать с людьми по уровню интеллекта, хотя нет единого мнения о том, когда это, вероятно, произойдет. В 2006 году AI @ 50 конференции, 18% участников сообщили, что ожидают, что к 2056 году машины смогут «моделировать обучение и все другие аспекты человеческого интеллекта»; 41% участников ожидали, что это произойдет где-то после 2056 года; и 41% ожидали, что машины никогда не достигнут этого рубежа.
В опросе 100 наиболее цитируемых авторов в области искусственного интеллекта (по состоянию на май 2013 г., согласно академическому поиску Microsoft), средний год, к которому респонденты ожидали машины, «которые могут выполнять большинство человеческих профессий не хуже, чем обычный человек» ( при условии, что нет глобальная катастрофа происходит) с достоверностью 10% составляет 2024 (среднее значение 2034, ст. отклонение 33 года), с доверительной вероятностью 50% — 2050 (среднее значение 2072, ст. отклонение 110 лет), а с достоверностью 90% — 2070 (среднее значение 2168, ст. . dev. 342 года). Эти оценки исключают 1,2% респондентов, которые сказали, что ни один год никогда не достигнет 10% уверенности, 4,1%, которые сказали «никогда», для 50% уверенности, и 16,5%, которые сказали «никогда», для 90% уверенности. Респонденты назвали в среднем 50% вероятности того, что машинный суперинтеллект будет изобретен в течение 30 лет после изобретения машинного интеллекта примерно человеческого уровня.
