Три закона роботехники

Материал из Викицитатника
Перейти к навигации Перейти к поиску

Три закона роботехники (англ. Three Laws of Robotics) — обязательные правила поведения для роботов в научной фантастике, впервые полностью сформулированные Айзеком Азимовым в рассказе «Хоровод».

Цитаты[править]

  •  

Утопично предположение, будто Три Закона Роботехники Азимова можно было бы заложить в фундамент интеллектронного программирования. <…> Но и робота, снабженного каким-то эрзацем личности, невозможно сделать совершенно безопасным для окружения, учитывая такую рефлексию, которая, правда, не может считаться доказательством, но на след его наводит. <…> В принципе же моральную оценку такого поступка можно дать лишь постольку, поскольку удается проследить уходящие максимально далеко причинные цепочки, запущенные данным действием. Тот, кто смотрит дальше и замечает такие возможные последствия своих действий, которых кто-либо другой на его месте не в состоянии предвидеть, порой действует не так, как этот другой. Но чем дальше в будущее уходит предвидение последствий действия, тем значительнее в предикции будет участие вероятностных факторов. Добро и зло скорее в виде исключения образуют полярную дихотомию: включение в оценку пробабилистического элемента делает принятие решения всё более трудным. Поэтому гипотетический робот, имеющий аксиологически очень сильную защиту, в ходе реальных событий, презентующих присущую им степень сложности, чаще всего бы замирал, не зная, как поступить, тем самым уподобляясь тем восточным мудрецам, которые бездействие чтили превыше действия, кое в запутанных ситуациях просто не может быть этически не рискованным. Но робот, охваченный параличом в ситуациях, требующих активности, не был бы наиболее совершенным из всех технических устройств, и поэтому в конце концов сам конструктор вынужден был бы оставить некоторый люфт его аксиологическим предохранителям.
Впрочем, это только одна препона среди обильного их множества, поскольку теория решений показала нам сравнительно недавно, скажем, на примерах типа так называемого парадокса Эрроу <…>. Того же, что логически оказывается невозможным, ни цифровая машина, ни какой-либо робот, так же, как и человек, реализовать не сумеет. Сверх того — и это уже третий пункт доказательства, — разумное устройство — это не более чем самопрограммирующийся комплекс, то есть прибор, способный преобразовывать — даже фундаментально — действовавшие до того законы собственного поведения под влиянием опыта (или обучения). А поскольку заранее невозможно точно предвидеть ни чему, ни каким образом такое устройство будет научаться, машина она или человек, то и невозможно конструктивно гарантировать появление этически совершенных предохранителей активности. Иначе говоря, «свободная воля» есть признак любой системы, снабженной свойствами, которые мы отождествляем с интеллектом. Вероятно, можно было бы вмонтировать в систему типа робота определенный аксиологический минимум, но он подчинялся бы ему лишь в такой степени, в какой человек подчиняется особо сильным инстинктам (например, инстинкту самосохранения). Однако же известно, что даже инстинкт самосохранения можно преодолеть[1]. Стало быть, программирование аксиологии мозгоподобной системы может быть только пробабилистичным, а это означает всего лишь, что такое устройство может выбирать между добром и злом. — частью — парафраз идей не Лема

 

см. в статье

  Станислав Лем, «Фантастика и футурология», книга 2 (II. Роботы и люди), 1970

Айзек Азимов[править]

  •  

— Начнём с Трёх Основных Законов Роботехники — трёх правил, которые прочно закреплены в позитронном мозгу. <…> Первое: робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред. <…> Второе: <…> робот должен повиноваться всем приказам, которые даёт человек, если эти приказы не противоречат Первому Закону. <…> И третье: робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому или Второму Законам.

 

“Now, look, let’s start with the three fundamental Rules of Robotics — the three rules that are built most deeply into a robot’s positronic brain. <…> We have: One, a robot may not injure a human being, or, through inaction, allow a human being to come to harm.” <…> Two, <…> a robot must obey the orders given it by human beings except where such orders would conflict with the First Law. <…> And three, a robot must protect its own existence as long as such protection does not conflict with the First or Second Laws.”

  «Хоровод», 1942
  •  

— Если хорошенько подумать, Три Закона Роботехники совпадают с основными принципами большинства этических систем, существующих на Земле. Конечно, каждый человек наделен инстинктом самосохранения. У робота это Третий Закон. Каждый так называемый порядочный человек, чувствующий свою ответственность перед обществом, подчиняется определенным авторитетам. <…> А у роботов это — Второй Закон. Кроме того, предполагается, что каждый так называемый хороший человек должен любить своих ближних, как себя самого, вступаться за своих друзей, рисковать своей жизнью ради других. Для робота это — Первый Закон.

 

“If you stop to think of it, the three Rules of Robotics are the essential guiding principles of a good many of the world’s ethical systems. Of course, every human being is supposed to have the instinct of self-preservation. That’s Rule Three to a robot. Also every ‘good’ human being, with a social conscience and a sense of responsibility, is supposed to defer to proper authority <…>. That’s Rule Two to a robot. Also, every ‘good’ human being is supposed to love others as himself, protect his fellow man, risk his life to save another. That’s Rule One to a robot.”

  «Улики», 1946
  •  

— Машина призвана заботиться не об отдельном человеке, а обо всем человечестве. Следовательно, для них Первый Закон должен звучать так: «Ни одна Машина не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред». — в его романе «Роботы и Империя» (1985) это впервые названо Нулевым Законом роботехники, который, однако, как показано в т.ч. далее в тексте романа (неоригинально, т.к. значительно раньше было, например, в произведениях Станислава Лема), применим лишь на коротком промежутке времени; вопреки этому «закон» ущербно расширен Азимовым в четырёх приквелах и сиквелах трилогии «Основание», где Р. Д. Оливо и некоторые организации выведены идеалистическими «пестунами человечества»

 

"The Machines work not for any single human being, but for all humanity, so that the First Law becomes: 'No Machine may harm humanity; or, through inaction, allow humanity to come to harm.' "

  — «Разрешимое противоречие», 1950
  •  

В Трёх Законах было как раз столько двусмысленности, чтобы обеспечивать конфликты и неопределённости, необходимые для новых рассказов, и этого, к моему великому облегчению, оказалось достаточно для выдумывания новых углов зрения на шестьдесят одно слово Трёх Законов.

 

There was just enough ambiguity in the Three Laws to provide the conflicts and uncertainties required for new stories, and, to my great relief, it seemed always to be possible to think up a new angle out of the sixty-one words of the Three Laws.

  — сборник «Остальное о роботах» (1964), предисловие к рассказу «Первый закон» (1956)
  •  

В тот момент, когда я придумал Законы, я не понимал, что человечество уже давным-давно пользуется ими. «Три закона инструментов» звучат следующим образом:
1. Инструмент должен быть безопасным для использования. (Это же очевидно! У ножей и мечей имеются рукоятки. А инструмент, который может причинить вред тому, кто взял его в руки — если, конечно, человек знает об опасности, — никогда не будет использован, каким бы полезным он ни казался.)
2. Инструмент должен выполнять свои функции при условии, что он не представляет ни для кого никакой опасности.
3. Инструмент должен оставаться в целости и сохранности во время его использования, если только его уничтожение не продиктовано соображениями безопасности или если это не входит в его функцию.
Никто никогда не цитирует эти три закона, поскольку все принимают их как должное. Каждый закон, если о нем говорят вслух, будет встречен дружным восклицанием вроде: «Ну, это же любому ясно!»
В таком случае давайте сравним «Три закона инструментов» c Тремя законами роботехники, и вы увидите, что они полностью совпадают. А разве может быть иначе? Ведь робот, или, если желаете, компьютер, является инструментом, которым пользуется человек.

 

I did not realize, at the time I constructed those laws, that humanity has been using them since the dawn of time. Just think of them as “The Three Laws of Tools,” and this is the way they would read:
1. A tool must be safe to use.
(Obviously! Knives have handles and swords have hilts. Any tool that is sure to harm the user, provided the user is aware, will never be used routinely whatever its other qualifications.)
2. A tool must perform its function, provided it does so safely.
3. A tool must remain intact during use unless its destruction is required for safety or unless its destruction is part of its function.
No one ever cites these Three Laws of Tools because they are taken for granted by everyone. Each law, were it quoted, would be sure to be greeted by a chorus of “Well, of course!”
Compare the Three Laws of Tools, then, with the Three Laws of Robotics, law by law, and you will see that they correspond exactly. And why not, since the robot or, if you will, the computer, is a human tool?

  — «Законы роботехники» (The Laws Of Robotics), 1989
  •  

Эти законы, как оказалось впоследствии (я никак не мог этого предположить), стали самыми знаменитыми, их очень часто цитируют, да и вообще мне представляется, что они — самое важное из того, что я написал. (И я сделал это в двадцать один год, что заставляет меня снова и снова спрашивать себя: а сделал ли я что-нибудь полезное с тех пор, чтобы оправдать своё существование?)
<…> они имеют для меня тройное значение:
а) они помогали мне строить сюжет и позволили написать множество коротких рассказов, а также романов о роботах, в которых я постоянно изучал следствия Трёх законов роботехники;
б) это моё самое знаменитое литературное творение, которое цитируется по поводу и без повода. Если все, что я написал, когда-нибудь забудут, Три закона роботехники останутся последними;
в) отрывок из «Хоровода» <…> был первым случаем использования слова «роботехника» в английском языке. Таким образом, я стал изобретателем нового термина (как и слов «позитронный» и «психоистория»), причём Оксфордский словарь английского языка не жалеет места на то, чтобы полностью процитировать Три закона роботехники.

 

Those laws, as it turned out (and as I could not possibly have foreseen), proved to be the most famous, the most frequently quoted, and the most influential sentences I ever wrote. (And I did it when I was twenty-one, which makes me wonder if I’ve done anything since to continue to justify my existence.)
<…> their importance to me was threefold:
a) They guided me in forming my plots and made it possible to write many short stories, as well as several novels, based on robots. In these, I constantly studied the consequences of the Three Laws.
b) It was by all odds my most famous literary invention, quoted in season and out by others. If all I have written is someday to be forgotten, the Three Laws of Robotics will surely be the last to go.
c) The passage in “Runaround” <…> happens to be the very first time the word “robotics” was used in print in the English language. I am therefore credited, as I have said, with the invention of that word (as well as of “robotic,” “positronic,” and “psychohistory”) by the Oxford English Dictionary, which takes the trouble—and the space—to quote the Three Laws.

  — «Хроники роботов» (The Robot Chronicles), 1990
Об отдельных законах
  •  

— Прежде чем робот обретёт физическую возможность нарушить Первый закон, в нём так много должно поломаться, что он десять раз успеет превратиться в кучу лома.

 

"Before it's physically possible in any way for a robot to even make a start to breaking the First Law, so many things have to break down that it would be a ruined mess of scrap ten times over."

  «Выход из положения», 1945

Примечания[править]

  1. Лишь в некоторых поздних новеллах Азимов написал об этом, — например, в «...Яко помниши его» (1974).