Искусственный интеллект. Этапы. Угрозы. Стратегии - Бостром Ник. Страница 47

Какие когнитивные способности окажутся для агента полезными, зависит как от его конечных целей, так и от ситуации, в которой он находится. Если у агента есть доступ к советам надежного эксперта, у него может отсутствовать потребность в собственном интеллекте и знаниях. Если с наличием интеллекта и знаний связаны определенные затраты — например, времени и усилий, потраченных на их приобретение, или дополнительные требования к хранению и обработке информации, — то агент может предпочесть меньше знать и быть менее интеллектуальным15. То же самое верно, когда агент в качестве одной из конечных целей выбирает незнание определенных фактов или когда он сталкивается со стимулами, основанными на приоритетных обязательствах, социальных сигналах и ожиданиях16.

В мире людей подобные причины встречаются практически на каждом шагу: на свете много информации, которая не имеет значения для достижения наших целей; довольно часто мы полагаемся на навыки и опыт других; устойчивое мнение, что приобретение знаний требует слишком больших затрат времени и усилий; значимость незнания определенного рода, — все мы живем в условиях, в которых способность выполнять приоритетные обязательства, улавливать социальные сигналы и соответствовать прямым ожиданиям окружающих даже ценой собственного эпистемологического состояния нам часто кажется важнее, чем простой рост когнитивных способностей.

Есть особые случаи, когда когнитивное улучшение способно привести к огромному скачку возможностей агента добиваться конечной цели. Особенно­ если эти цели непомерно огромны, а сам актор является потенциальным­ кандидатом на роль первого сверхразума и обладателя решающего стратегического­ преимущества, что даст ему власть формировать по своему усмотрению будущее земной цивилизации и использовать все доступные космические ресурсы тоже согласно собственным предпочтениям. По крайней мере, в таких случаях инструментальная цель когнитивного улучшения окажется для рационального разумного агента очень важной.

Технологическое совершенство

У многих агентов могут появляться инструментальные причины искать более совершенные технологии, что, по сути, является заинтересованностью найти более эффективные пути, чтобы трансформировать имеющиеся у них системы исходных условий в значимые результаты. Скажем, программный агент будет видеть инструментальную ценность в более эффективных алгоритмах, способных ускорить на том же самом оборудовании его мыслительные функции. Аналогично агенты, чья деятельность может быть направлена на определенные строительные работы в материальном мире, найдут инструментальную ценность в более совершенных инженерных технологиях, которые позволят им быстрее создавать самые разнообразные конструкции — более надежные, более дешевые, с меньшим расходом материала и меньшими затратами сил. Конечно, это предполагает компромисс, так как потенциальную выгоду придется оценивать в сопоставлении с соответствующими расходами — не только на новейшие разработки, но и на обучение работе с новым оборудованием и новыми программами, а также на интеграцию нововведений в уже существующую техническую среду.

Сторонников новейших технологий, уверенных в их превосходстве над имеющимися вариантами, часто поражает, что другие люди не разделяют их энтузиазма. Но неприятие новых и номинально более совершенных технологий не обязательно является следствием невежества или иррациональности. Значимость технологии и степень ее нормативности зависят не только от контекста ее применения, но и от точки зрения, с которой она оценивается: что благо для одних, для других — зло. Поэтому, хотя ткацкие станки и повысили экономическую эффективность текстильной промышленности, у традиционных луддитов, опасавшихся, что эти новшества сделают их ткацкие специальности никому не нужными, были веские инструментальные основания препятствовать распространению прогресса. Речь идет о том, что если под «технологическим совершенством» понимать значимую инструментальную цель интеллектуальных агентов, тогда этот термин нужно рассматривать в особом смысле: инновационная технология должна быть встроена в конкретный­ социальный контекст, а связанные с ней выгоды и издержки лучше оценивать с учетом конечных целей конкретных агентов.

Представляется, что могущественный синглтон — сверхразумный актор, не имеющий ни серьезной конкуренции, ни оппозиции, а следовательно, способный по своему усмотрению определять общемировую и даже вселенскую политику, — должен иметь инструментальную причину совершенствовать технологии, которые позволят ему изменить мир в соответствии с его предпочтениями17. Возможно, к ним относится и такая концепция, связанная с освоением космоса, как зонды фон Неймана. Столь же полезной для достижения чрезвычайно разнообразных конечных целей может стать молекулярная нанотехнология или еще более совершенная технология производства материальных объектов18.

Получение ресурсов

И наконец, получение ресурсов является еще одной общей инструментальной целью, необходимой по той же причине, что и технологическое совершенство — поскольку для создания материальных объектов требуются как инновационные технологии, так и ресурсы.

Человеческому существу вообще свойственно находиться в постоянном поиске нужных ресурсов, чтобы удовлетворять свои насущные потребности. Но, как правило, люди стремятся получить в свое распоряжение ресурсы в таком объеме, который намного превышает минимальный уровень этих потребностей. Отчасти ими движет довольно специфический мотив — стремление приумножить свое благополучие. Во многом поиск новых ресурсов определяется социальными соображениями, такими как приобретение высокого статуса, общественного влияния, полезных знакомств, а также заведение любовных связей и создание семьи. Немногие люди ищут дополнительные ресурсы ради благотворительных целей; некоторые люди, напротив, — для удовлетворения своих дорогостоящих, отнюдь не связанных с благом общества потребностей.

Весьма соблазнительно предположить — учитывая все сказанное, — что у сверхразумного актора, не знающего мира, где существует социальная конкуренция, не будет инструментальных оснований накапливать ресурсы больше какого-то оптимального уровня. Например, вычислительные ресурсы нужны сверхразуму, чтобы поддерживать свои умственные возможности и управлять своей виртуальной средой. Но это предположение может оказаться совершенно необоснованным.

Во-первых, ценность ресурсов определяется их возможным применением, а оно, в свою очередь, зависит от доступной технологии. При наличии зрелой технологии для достижения практически любой цели можно брать лишь основные ресурсы: время, пространство, вещество и энергия. Эти основные ресурсы можно конвертировать в жизнь. Увеличенные вычислительные ресурсы потребуются для многого: использовать сверхскоростную работу сверхразума в течение более длительного времени; совершенствовать физические жизни и материальные миры и создавать их симуляции — виртуальные жизни и цивилизации. Дополнительные материальные ресурсы понадобятся для повышения уровня безопасности, например разработки вспомогательных резервных систем и систем круговой обороны. Подобные крупномасштабные проекты могут потребовать такого объема ресурсов, который превысит возможности одной планеты.

Во-вторых, благодаря прогрессивным технологическим разработкам принципиально сократятся издержки, связанные с добычей дополнительных ресурсов за пределами Земли. Если зонды фон Неймана могут быть построены, то с их помощью будет освоена большая часть космического пространства (при условии, что во Вселенной нет других разумных цивилизаций) — а все расходы сведутся к стоимости строительства и запуска всего лишь одного такого зонда. Столь низкие затраты на приобретение внеземных ресурсов означают, что такая экспансия имела бы смысл даже в случае совсем незначительного выигрыша. Например, даже если конечные цели сверхразума связаны лишь с происходящим в очень небольшом космическом пространстве, скажем, занятом его родной планетой, у него могут быть инструментальные причины искать доступ к внеземным ресурсам. Эти дополнительные ресурсы можно было бы направить на решение первоочередных задач, связанных прежде всего со средой обитания сверхразума: создать высокоскоростные компьютеры, чтобы рассчитывать оптимальные способы использования земных ресурсов; выстроить сверхмощные укрепительные системы для защиты его убежища. Поскольку затраты на добычу дополнительных ресурсов должны будут снижаться, процесс оптимизации и усиления защиты можно продолжать бесконечно, несмотря на то что он станет приносить все менее и менее заметные результаты19.