Три закона роботехники

Три закона роботехники (англ. Three Laws of Robotics) — обязательные правила поведения для роботов в научной фантастике, впервые полностью сформулированные Айзеком Азимовым в рассказе «Хоровод».

Цитаты

Утопично предположение, будто Три Закона Роботехники Азимова можно было бы заложить в фундамент интеллектронного программирования. <…> Но и робота, снабженного каким-то эрзацем личности, невозможно сделать совершенно безопасным для окружения, учитывая такую рефлексию, которая, правда, не может считаться доказательством, но на след его наводит. <…> В принципе же моральную оценку такого поступка можно дать лишь постольку, поскольку удаётся проследить уходящие максимально далеко причинные цепочки, запущенные данным действием. Тот, кто смотрит дальше и замечает такие возможные последствия своих действий, которых кто-либо другой на его месте не в состоянии предвидеть, порой действует не так, как этот другой. Но чем дальше в будущее уходит предвидение последствий действия, тем значительнее в предикции будет участие вероятностных факторов. Добро и зло скорее в виде исключения образуют полярную дихотомию: включение в оценку пробабилистического элемента делает принятие решения всё более трудным. Поэтому гипотетический робот, имеющий аксиологически очень сильную защиту, в ходе реальных событий, презентующих присущую им степень сложности, чаще всего бы замирал, не зная, как поступить, тем самым уподобляясь тем восточным мудрецам, которые бездействие чтили превыше действия, кое в запутанных ситуациях просто не может быть этически не рискованным. Но робот, охваченный параличом в ситуациях, требующих активности, не был бы наиболее совершенным из всех технических устройств, и поэтому в конце концов сам конструктор вынужден был бы оставить некоторый люфт его аксиологическим предохранителям. Впрочем, это только одна препона среди обильного их множества, поскольку теория решений показала нам сравнительно недавно, скажем, на примерах типа так называемого парадокса Эрроу <…>. Того же, что логически оказывается невозможным, ни цифровая машина, ни какой-либо робот, так же, как и человек, реализовать не сумеет. Сверх того — и это уже третий пункт доказательства, — разумное устройство — это не более чем самопрограммирующийся комплекс, то есть прибор, способный преобразовывать — даже фундаментально — действовавшие до того законы собственного поведения под влиянием опыта (или обучения). А поскольку заранее невозможно точно предвидеть ни чему, ни каким образом такое устройство будет научаться, машина она или человек, то и невозможно конструктивно гарантировать появление этически совершенных предохранителей активности. Иначе говоря, «свободная воля» есть признак любой системы, снабженной свойствами, которые мы отождествляем с интеллектом. Вероятно, можно было бы вмонтировать в систему типа робота определённый аксиологический минимум, но он подчинялся бы ему лишь в такой степени, в какой человек подчиняется особо сильным инстинктам (например, инстинкту самосохранения). Однако же известно, что даже инстинкт самосохранения можно преодолеть. Стало быть, программирование аксиологии мозгоподобной системы может быть только пробабилистичным, а это означает всего лишь, что такое устройство может выбирать между добром и злом. — частью — парафраз идей не Лема

— Станислав Лем, «Фантастика и футурология», книга 2 (II. Роботы и люди), 1970

• см. Вл. Гаков, «Заповеди Исаака», 1992

Айзек Азимов

	— Начнём с Трёх Основных Законов Роботехники — трёх правил, которые прочно закреплены в позитронном мозгу. <…> Первое: робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред. <…> Второе: <…> робот должен повиноваться всем приказам, которые даёт человек, если эти приказы не противоречат Первому Закону. <…> И третье: робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому или Второму Законам.
	“Now, look, let’s start with the three fundamental Rules of Robotics — the three rules that are built most deeply into a robot’s positronic brain. <…> We have: One, a robot may not injure a human being, or, through inaction, allow a human being to come to harm.” <…> Two, <…> a robot must obey the orders given it by human beings except where such orders would conflict with the First Law. <…> And three, a robot must protect its own existence as long as such protection does not conflict with the First or Second Laws.”
	— «Хоровод», 1942

	— Прежде чем робот обретёт физическую возможность нарушить Первый закон, в нём так много должно поломаться, что он десять раз успеет превратиться в кучу лома.
	"Before it's physically possible in any way for a robot to even make a start to breaking the First Law, so many things have to break down that it would be a ruined mess of scrap ten times over."
	— «Выход из положения», 1945

— Если хорошенько подумать, Три Закона Роботехники совпадают с основными принципами большинства этических систем, существующих на Земле. Конечно, каждый человек наделен инстинктом самосохранения. У робота это Третий Закон. Каждый так называемый порядочный человек, чувствующий свою ответственность перед обществом, подчиняется определённым авторитетам. <…> А у роботов это — Второй Закон. Кроме того, предполагается, что каждый так называемый хороший человек должен любить своих ближних, как себя самого, вступаться за своих друзей, рисковать своей жизнью ради других. Для робота это — Первый Закон.

— «Улики», 1946

— Машина призвана заботиться не об отдельном человеке, а обо всём человечестве. Следовательно, для них Первый Закон должен звучать так: «Ни одна Машина не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред». — в его романе «Роботы и Империя» (1985) это впервые названо Нулевым Законом роботехники, который, однако, как показано в т.ч. далее в тексте романа (неоригинально, т.к. значительно раньше было, например, в произведениях Станислава Лема), применим лишь на коротком промежутке времени; вопреки этому «закон» ущербно расширен Азимовым в четырёх приквелах и сиквелах трилогии «Основание», где Р. Д. Оливо и некоторые организации выведены идеалистическими «пестунами человечества»

— «Разрешимое противоречие», 1950

	В Трёх Законах было как раз столько двусмысленности, чтобы обеспечивать конфликты и неопределённости, необходимые для новых рассказов, и этого, к моему великому облегчению, оказалось достаточно для выдумывания новых углов зрения на шестьдесят одно слово Трёх Законов.
	— сборник «Остальное о роботах» (1964), предисловие к рассказу «Первый закон» (1956)

В тот момент, когда я придумал Законы, я не понимал, что человечество уже давным-давно пользуется ими. «Три закона инструментов» звучат следующим образом: 1. Инструмент должен быть безопасным для использования. (Это же очевидно! У ножей и мечей имеются рукоятки. А инструмент, который может причинить вред тому, кто взял его в руки — если, конечно, человек знает об опасности, — никогда не будет использован, каким бы полезным он ни казался.) 2. Инструмент должен выполнять свои функции при условии, что он не представляет ни для кого никакой опасности. 3. Инструмент должен оставаться в целости и сохранности во время его использования, если только его уничтожение не продиктовано соображениями безопасности или если это не входит в его функцию. Никто никогда не цитирует эти три закона, поскольку все принимают их как должное. Каждый закон, если о нём говорят вслух, будет встречен дружным восклицанием вроде: «Ну, это же любому ясно!» В таком случае давайте сравним «Три закона инструментов» c Тремя законами роботехники, и вы увидите, что они полностью совпадают. А разве может быть иначе? Ведь робот, или, если желаете, компьютер, является инструментом, которым пользуется человек.

— «Законы роботехники », 1989

«Три основных правила роботехники» <…> со временем стали известны как «Три закона роботехники Азимова», <…> как оказалось впоследствии (я никак не мог этого предположить), стали самыми знаменитыми, их очень часто цитируют, да и вообще мне представляется, что они — самое важное из того, что я написал. (И я сделал это в двадцать один год, что заставляет меня снова и снова спрашивать себя: а сделал ли я что-нибудь полезное с тех пор, чтобы оправдать своё существование?) <…> «Хоровод» <…> был первым рассказом, в котором я чётко сформулировал Три закона роботехники, <…> и они имеют для меня тройное значение: а) они помогали мне строить сюжет и позволили написать множество коротких рассказов, а также романов о роботах, в которых я постоянно изучал следствия Трёх законов роботехники; б) это моё самое знаменитое литературное творение, которое цитируется по поводу и без повода. Если все, что я написал, когда-нибудь забудут, Три закона роботехники останутся последними; в) отрывок из «Хоровода» <…> был первым случаем использования слова «роботехника» в английском языке. Таким образом, я стал изобретателем нового термина, <…> причём Оксфордский словарь английского языка не жалеет места на то, чтобы полностью процитировать Три закона роботехники.

— «Хроники роботов», 1990