‘Задача трех законов заключалась в том, чтобы нарушить их интересными способами. Поэтому истории о них особенно занимательны. Поэтому три закона являются лишь моральными примерами того, как не должно быть. В них есть пробелы».
Как работают три закона робототехники Айзека Азимова и зачем их придумали?
Три закона робототехники — это набор обязательных правил, которым должен следовать искусственный интеллект (ИИ), чтобы не навредить людям. Эти законы используются только в научной фантастике, но считается, что если будет изобретен настоящий искусственный интеллект, то он должен иметь эти законы из соображений безопасности.
- Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
- Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
- Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
- A robot may not injure a human being or, through inaction, allow a human being to come to harm.
- A robot must obey orders given it by human beings except where such orders would conflict with the First Law.
- A robot must protect its own existence as long as such protection does not conflict with the First or Second Law.
Кто придумал и почему
Короткий и правильный ответ: автор SFISAACASIMOV, биографию которого можно прочитать здесь. Но все не так просто. Давайте посмотрим, откуда взялась эта идея.
До Азимова почти все фантастические произведения о роботах были написаны в стиле романов о Франкенштейне. Другими словами, все существа, созданные людьми, восстали против своих создателей.
Этот вопрос стал одним из самых популярных в мире научной фантастики в 1920-х и 1930-х годах, и было написано множество историй о роботах, восставших против своих создателей и уничтоживших их. Мне ужасно надоели предостережения, звучащие в подобных произведениях.
Однако, за небольшим исключением, Азимов обратил свое внимание на два рассказа. Фильм «Хелен О’Рой», написанный Лестером Дель Реем, рассказывает историю женщины-робота, которая влюбляется в своего создателя и становится для него идеальной женой. А я, робот Отто Биндера, описывает непонятого робота Адама Линка, который действует вопреки принципам чести и любви.
Последний рассказ настолько понравился Азимову, что после знакомства с Биндером он начал писать свой собственный рассказ о Благородном роботе. Однако, когда он пришел с рукописью к своему другу и замечательному редактору Джону Кэмпбеллу, тот отклонил ее на том основании, что она очень похожа на «Хелен О’Рой».
Отклонение вопросов было обычным делом, и Азимов и Кэмпбелл регулярно встречались, чтобы обсудить новинки в мире воображения. 23 декабря 1940 года, обсуждая очередной рассказ Азимова о роботах, Кэмпбелл сформулировал три правила, которые мы сегодня называем Законом о роботах. Но он сказал, что его привлекло только то, что Азимов уже написал. Сам Айзекс всегда отдавал Кэмпбеллу честь написать закон. Однако один из друзей Азимова позже сказал, что закон возник в результате взаимных отношений между двумя мужчинами, с чем они согласились.
Как работают
В идеальной ситуации, как известно Азимову, эти три закона заложены в самих основах математической модели активного мозга (как в фантастически названном мозге робота с искусственным интеллектом). Принципы, которые невозможно создать. И если робот попытается их сломать, он потерпит неудачу.
В своей работе автор подробно описывает всевозможные причины и последствия нарушения этих законов. Автор также рассматривает, как они понимаются роботами, как соблюдаются нежелательные последствия в трех законах или как роботы могут косвенно вредить людям, не зная об этом. Азимов признался, что он намеренно сделал законы неясными, чтобы обеспечить больше конфликта и неопределенности в новом повествовании. Другими словами, он отрицал их обоснованность, но утверждал, что эти правила — единственный способ сделать роботов безопасными для людей.
В результате этих законов Азимов позже сформулировал Четвертый закон робототехники, который ставит ее на первое место. Читать:.
0. Роботы не могут причинить вред человечеству или нанести вред человечеству своим бездействием.
0. Роботы не могут ни навредить человечеству, ни, в результате своего бездействия, не допустить, чтобы человечеству был нанесен ущерб.
Эти законы могут относиться к человеческим отношениям, правительству и другим сферам. Например, слово «робот» можно заменить словом «государство».
- Государство не должно вредить людям или своим бездействием допустить, чтобы им был причинён вред.
- Государство должно выполнять свои функции, если они не противоречат Первому Закону.
- Государство должно заботиться о своей безопасности, если это не противоречит Первому и Второму Законам.
Есть хороший отрывок из «Доказательств», где один из персонажей говорит
Когда все эти законы применяются в полной мере, будь то робот или очень хороший человек.
‘Ассоциация будущего у Азимова состоит исключительно из шовинистов. У людей гораздо больше прав, чем у роботов. Три закона робототехники созданы для поддержания такого социального класса».
Появление и формулировка
Многие предшественники Азимова описывали искусственно созданных человекоподобных существ как монстров со злыми намерениями. Выделились несколько авторов произведений о мирных андроидах. Рассказ Лестера Дель Рея «Хелен О’Рой» и книга Отто Биндера «Я, робот» побудили Азимова предпринять аналогичный проект.
Результаты не удовлетворили Джона Кэмпбелла, издателя удивительного журнала научной фантастики, в котором публиковался автор. В истории Дель Рей было много параллелей. Азимов продолжал писать на эту тему и обсуждал ее с издателем. В ходе обсуждения Кэмпбелл выдвинул принципы, которые весь мир знает как три закона робототехники. Эти правила действовали в работах Азимова. Издатель просто указал, что автор
Закон роботов обеспечивает работу следующей машины.
- Робот не может навредить человеку или позволить нанести ему вред в результате бездействия.
- Робот обязан подчиняться командам человека за исключением тех, что не соответствуют Первому закону.
- Робот должен следить за собственной сохранностью, если это не идет вразрез с Первым или Вторым законом.
В произведениях Азимова эти принципы были заложены практически во все машины. Если бы одно из правил было нарушено и робот распознал это, его позитронный мозг был бы серьезно поврежден. Однако фантастику любят, чтобы объяснить конфликты, с которыми сталкивается главный герой.
Три правила робототехники
Таким образом, автор писал не о совершенной машине, действующей по идеальному алгоритму, а о разумных противоречиях в законе. Необычные обстоятельства и либеральное толкование могут привести к переходу через запретную черту, а ущерб от строгого следования закону может перевесить пользу.
Герой книги Азимова должен внимательно наблюдать за своими помощниками и, если возникают проблемы, часто выяснять причины с помощью специального робота-психолога. Писатель намеренно создал три закона робототехники, потому что из них невозможно построить интересный сюжет. В некоторых своих работах он даже позволял роботам изменять строгие правила.
Однако целью автора было не напугать читателей, а дать им возможность по-другому взглянуть на машины. Азимов хотел, чтобы люди забыли свой страх перед машинами и поняли, что они могут быть полезными и верными спутниками. Автор утверждал, что разработанные им принципы подходят не только для литературы, но и для реализации на машинном языке.
Не навреди!
Жажда жизни превосходит все другие человеческие желания. Мощные машины с быстрой реакцией воспринимаются как очевидная угроза.
Поэтому первый закон робототехники защищает людей от атак машин.
Если человеку угрожает опасность, верный робот спасет его. Здесь стоит вспомнить еще два закона. Это происходит потому, что жизнь по определению важнее, чем следование инструкциям и поддержание нормального функционирования машины. Кажется, что нет никаких противоречий или неясных толкований, но реальность гораздо сложнее.
Как понять Первый закон
Какой ущерб могут нанести роботы? Да, атаки на сервер запрещены, но что произойдет, если машина случайно ударит человека? Этот механизм подчиняется законам физики. Если живой организм неожиданно проходит мимо, его нельзя сразу остановить. Каждую секунду мозг робота должен оценивать расстояние и скорость движения человека, а тело робота должно быть напичкано датчиками и камерами.
Обработка такого количества информации отнимает так много машинного времени и ресурсов, что робот просто не справляется со своей основной работой.
Первое правило робототехники
Следующий вопрос: что считать человеком? Люди давно научились различать своих собратьев, они узнают, кто живой соотечественник, а кто мертвый, кукла, чучело или любой другой предмет, похожий на человека. Научить компьютер делать это очень сложно, а без ошибок алгоритмы распознавания функционировать не могут. Цена ошибки — не одна, а целая жизнь. А что произойдет, если убийство или другое преступление против человека будет совершено на глазах у робота?
Один человек также может быть спасен, пожертвовав другим. Существует слишком много сложных ситуаций, когда огромное количество роботов отключается из-за законов робототехники. Машины просто ломаются, когда понимают, что они не подчиняются первому закону. Еще одно уточнение: что считается нанесением телесных повреждений человеку? Ведь травмы бывают не только естественными. Моральная травма не облегчает человеческую боль, и не все люди могут общаться без вреда, не говоря уже о машинах.
Поскольку пока невозможно перевести человеческую мораль в математическую формулу, невозможно полностью предотвратить травмы, наносимые роботами. Айзек Азимов обсуждал эти вопросы в своей книге, но его литературные герои всегда находили выход из сложных ситуаций. В жизни невозможно предсказать весь ход событий.
В воображаемой вселенной Азимова этим законам должен был следовать почти каждый робот. Это были не просто предложения или рекомендации — законы были заложены в программное обеспечение. Кроме того, эти правила нельзя обойти, переписать или пересмотреть.
Общие системы
Многие ученые, современные философы и даже целые организации рассматривали вопрос о том, что представляют собой эти законы. Например, исследователи компании Gilead Amit использовали законы Азимова в качестве отправной точки. И они придумали что-то вроде этого:.
Робот не может причинить вред человеку. Или позволить одному человеку причинить вред другому. Робот не может выдавать себя за человека, если только различие между человеком и машиной не размыто.
Исследователи Google установили дополнительные правила. Один из них следующий.
Искусственный интеллект не должен без необходимости вредить другим искусственным интеллектам, преследуя свои собственные цели.
Идеальный ИИ
В отчете за 2018 год CambridgeConsultants, ведущая консалтинговая компания STEM, определила критерии идеального искусственного интеллекта в связке с человеком, то есть как единой системы
Ответственность: должно быть конкретное лицо, ответственное за последствия поведения автономной системы. Это необходимо не только для обеспечения правовой защиты, но и для обеспечения обратной связи, мониторинга результатов и внедрения изменений.
Подотчетность: вы должны быть в состоянии объяснить заинтересованным сторонам (часто неспециалистам), в чем заключаются действия. Это необходимо для обеспечения доверия.
Точность: необходимо выявлять, контролировать, оценивать и, при необходимости, устранять причины ошибок.
Прозрачность: должна быть возможность тестирования, анализа (государственного или частного), критики и оспаривания результатов работы автономной системы. Результаты аудитов и оценок должны быть общедоступны и учитываться.
Беспристрастность: способ использования данных должен быть разумным, а конфиденциальность должна соблюдаться. Это помогает устранить предвзятость и предотвратить интеграцию других проблемных моделей поведения.
Мы согласны, что этот подход несколько отличается от подхода, предложенного Азимовым. Поэтому, учитывая все, что мы узнали об искусственном интеллекте за десятилетия после того, как знаменитые писатели-фантасты написали три закона робототехники, мы можем смело заключить, что он действительно устарел. Тем не менее, они породили множество сложных сюжетов в научной фантастике. Но лучше оставить их в книгах навсегда…
По крайней мере, пока мы не начнем использовать роботов в качестве слуг 😉.
Три закона робототехники Азимова элегантны. Но в то же время они просто бред», — сказал однажды журналистам робототехник и писатель-фантаст Дэниел Уилсон.
Три закона роботехники
Три закона робототехники в научной фантастике — это основные правила поведения роботов, которые впервые были введены Айзеком Азимовым в рассказе «Круговой обход» (1942). (1942).
- Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
- Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
- Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам
Айзек Азимов в своих работах вводил различные модификации трех законов, иногда противопоставляя их друг другу, как бы проверяя законы «на грани» в различных условиях.
Нулевой Закон робототехники
В одном случае Айзек Азимов добавил нулевой закон робототехники, отдав ему предпочтение перед тремя основными законами. Этот закон настаивал на том, что роботы должны действовать на благо всего человечества, а не только отдельных людей. Вот как выражает это робот Даниил Оливо в своем романе «Основание и Земля»:.
0. Робот не может причинить вред человечеству или своим бездействием навредить самому себе.
Впервые он пронумеровал этот закон — это произошло в романе «Роботы и империя», но сама концепция была сформулирована еще раньше Сьюзен Кельвин в рассказе «Нерешенное противоречие».
Первыми роботами, которые подчинились нулю закона — по своему желанию — были Жискар Ревентров и Даниэль Оливо. Это показано в одной из последних сцен фильма «Империя с роботами», где роботам пришлось игнорировать человеческие команды ради прогресса всего человечества. Закон нуля не был заложен в позитронный мозг Гискарда и Дэниела — они пытались достучаться до него через более чистое понимание детективного опыта Дэниела, через более тонкое восприятие концепции поражения. Однако Гискар не был убежден, насколько полезной она будет для человечества, что негативно сказалось на его мозге. Будучи телепатом, Гискал передал свои телепатические способности Дэниелу, прежде чем тот стал недееспособным. Тысячи лет спустя Даниэль Оливо смог полностью адаптироваться и следовать Закону Нуля.
Французский переводчик Жак Брекар непреднамеренно выразил Закон Нуля до того, как Азимов прямо описал его. Ближе к концу романа появляется стальная пещера, где Элайджа Бейли замечает, что первый закон запрещает роботам причинять вред людям, если только они не убеждены, что это будет полезно в будущем. Французский перевод («Les Cavernes D’Acier (EN)», 1956) передает мнение Бейли несколько иначе.
Роботы не могут причинять вред людям, пока не докажут, что в долгосрочной перспективе это будет полезно для всего человечества.
Нулевой закон в фильме «Я, робот» (2004)
В частности, рациональное развитие первого закона при нулевом значении было предложено Кино I, создателем Робота 2004. Он решает ограничить свободу жителей планеты, чтобы они случайно не навредили друг другу и их будущее соответствовало не первому закону, а самому закону нуля. Что еще более интересно, так это то, что в фильме таким образом показано противоречие между первым анти-абсурдом и законом нуля.
Действительно, когда речь идет об интересах человечества, система не может рассматривать людей по отдельности. Это означает, что ничто не мешает ему нарушать права и свободы любого или каждого (фактически, он уже вел себя подобным образом, за исключением того, что с помощью позитронных суперкомпьютеров, которые «возвращают противоречия», они пытаются уменьшить ущерб до предела). Во время войны, а часто и в мирное время, люди наносят ущерб себе, окружающим и своей культуре. Поэтому, согласно Закону Нуля, совершенно разумно держать людей под постоянным наблюдением, а не выполнять приказы таких неинтеллектуальных существ.
