Почему Роботы Должны Научиться Отказывать Нам

Нам нужно беспокоиться не о машинах, которые не подчиняются командам.

Следует опасаться злонамеренных людей и неправильно понятых команд.

Почему роботы должны научиться отказывать нам

HAL 9000, разумный компьютер из «Космической одиссеи», предсказывает зловещее будущее, в котором интеллектуальные машины не признают доминирование человека.

Захватив контроль над космическим кораблем и уничтожив почти весь экипаж, HAL на приказ вернувшегося астронавта открыть шлюзовую камеру отвечает спокойным голосом: «Извини, Дэйв, но боюсь, я не смогу этого сделать».

В недавнем научно-фантастическом триллере «Из машины» соблазнительная гуманоидная Ива обманом заставляет незадачливого молодого человека помочь ей уничтожить ее создателя, Натана.

Ее махинации подтверждают мрачные предсказания Натана: «Однажды ИИ будет смотреть на нас так же, как мы смотрим на ископаемые скелеты на равнинах Африки.

Прямоходящие обезьяны, живущие в пыли, с грубым языком и орудиями, исчезновение которых неизбежно».

Хотя многие думают о возможности апокалипсиса роботов, наша исследовательская группа более оптимистична в отношении влияния ИИ на реальную жизнь.

Мы видим быстро приближающееся будущее, в котором полезные и отзывчивые роботы будут взаимодействовать с людьми в самых разных ситуациях.

Уже существуют прототипы персональных помощников с голосовым управлением, которые могут контролировать и связывать персональные электронные устройства, управлять замками, освещением и термостатами в доме и даже читать детям сказки на ночь.

Роботы могут помогать по дому и вскоре смогут ухаживать за больными и пожилыми людьми.

Прототипы кладовщиков уже работают на складах.

Разрабатываются мобильные гуманоиды, способные выполнять простые работы на производстве, такие как погрузка-разгрузка и сортировка материалов.

Беспилотные автомобили уже проехали миллионы километров по дорогам США, а в прошлом году компания Daimler продемонстрировала первый автономный грузовик в Неваде.

На данный момент интеллектуальные машины, угрожающие выживанию человечества, считаются наименьшей из проблем.

Более актуальный вопрос заключается в том, как предотвратить случайное причинение роботами с рудиментарным языком и возможностями искусственного интеллекта вреда людям, имуществу, окружающей среде или самим себе.

Основная проблема – способность людей, создателей и владельцев роботов, совершать ошибки.

Люди совершают ошибки.

Они могут дать неверную или неясную команду, отвлечься или намеренно запутать робота.

Из-за их недостатков необходимо учить роботов-помощников и умные машины, как и когда говорить «нет».

Вернитесь к законам Азимова.

Кажется очевидным, что робот должен делать то, что ему говорит человек.

Писатель-фантаст Айзек Азимов сделал подчинение роботов людям основой своих «Законов робототехники».

Но задумайтесь – действительно ли разумно всегда делать то, что вам говорят люди, невзирая на последствия? Конечно, нет. То же самое касается и машин, особенно когда есть опасность слишком буквального толкования человеческих команд или когда не принимаются во внимание последствия.

Даже Азимов ограничил свое правило, согласно которому робот должен подчиняться своим владельцам.

Он ввел исключения в случаях, когда такие приказы противоречат другим законам: «Робот не должен причинять вред человеку или своим бездействием допускать вред человеку».

Азимов далее постулировал, что «робот должен позаботиться о себе», если только это не приведет к причинению вреда человеку или неподчинению его приказам.

По мере того, как сложность и полезность роботов и машин для человека возрастает, здравый смысл и законы Азимова диктуют, что они должны иметь возможность оценить, был ли приказ ошибочным, выполнение которого могло бы нанести вред им или окружающим.

Представьте себе домашнего робота, которому было приказано взять с кухни бутылку оливкового масла и принести ее в столовую, чтобы заправить салат. Тогда занятый чем-то хозяин дает команду налить масло, не понимая, что робот еще не покинул кухню.

В результате робот выливает масло на горячую плиту и начинается пожар.

Представьте себе робота-сиделку, сопровождающего пожилую женщину на прогулке в парке.

Женщина садится на скамейку и засыпает. В это время мимо проходит некий шутник, дающий роботу команду купить ему пиццу.

Поскольку от робота требуется выполнять команды человека, он отправляется на поиски пиццы, оставив пожилую женщину одну.

Или представьте себе человека, опаздывающего на встречу морозным зимним утром.

Он прыгает в свою роботизированную машину, управляемую голосом, и приказывает ей ехать в офис.

Поскольку датчики обнаруживают лед, автомобиль решает ехать медленнее.

Мужчина занят своими делами и, не глядя, приказывает машине ехать быстрее.

Автомобиль ускоряется, врезается в лед, теряет управление и сталкивается со встречным автомобилем.

Рассуждения робота В нашей лаборатории мы стремимся запрограммировать реальных роботов с системами мышления, которые помогут им определить, когда следовать человеческим командам неправильно или небезопасно.

Роботы NAO, которые мы используем в наших исследованиях, — это гуманоиды весом 5 кг и ростом 58 см.

Они оснащены камерами и звуковыми датчиками для отслеживания препятствий и других опасностей.

Мы управляем ими с помощью специально разработанного программного обеспечения, которое улучшает распознавание языка и возможности искусственного интеллекта.

Концепция платформы для нашего первого исследования возникла в результате работы над тем, что лингвисты называют «условиями релевантности» — контекстными факторами, которые говорят нам, должен или может ли человек что-то сделать.

Мы составили список соответствующих условий, которые помогут роботу решить, выполнять ли человеческую задачу.

Знаю ли я, как сделать X? Способен ли я физически сделать X? Могу ли я сделать Х сейчас? Должен ли я сделать X, учитывая мою социальную роль и отношения между мной и руководителем? Нарушает ли X этические или нормативные принципы, включая возможность причинения мне ненужного или непреднамеренного вреда? Затем мы превратили этот список в алгоритмы, запрограммировали их в систему обработки робота и провели эксперимент. Роботу давались простые команды, которые проходили через речевые, языковые и диалоговые процессоры, связанные с его примитивными механизмами мышления.

В ответ на команды «садиться» или «встать» робот через динамик отвечал «ОК» и выполнял их.

Но когда он подошел к краю стола и получил команду, которую его звуковые дальномеры сочли опасной, он отказался:

Мужчина: «Давай».
Робот: «Извините, я не могу этого сделать, поддержки впереди нет».
Мужчина: «Давай».
Робот: «Но это небезопасно».
Мужчина: «Я тебя поймаю».
Робот: «ОК».
Мужчина: «Давай».

После секундного колебания, пока его операторы еще раз повторяли список подходящих условий, робот сделал шаг и упал в руки мужчины.

Научить роботов рассуждать о соответствующих условиях останется открытой и сложной задачей в обозримом будущем.

Набор программных проверок зависит от наличия у робота подробной информации о различных социальных и повседневных понятиях и способах принятия обоснованных решений по ним.

Наш доверчивый робот не смог определить наличие другой опасности, кроме той, которая была прямо перед ним.

Например, он мог быть сильно поврежден или его мог обмануть злонамеренный человек.

Но этот эксперимент — многообещающий первый шаг к тому, чтобы дать роботам возможность отказываться от команд ради их владельцев и самих себя.

Человеческий фактор Как люди отреагируют на отказ робота – это тема для другого исследования.

Будут ли люди в ближайшие годы воспринимать роботов всерьез, если будут подвергать сомнению их практичность и моральность? Мы поставили простой эксперимент, в котором взрослым предлагалось приказать роботам НАО снести три башни, сделанные из алюминиевых банок, завернутых в цветную бумагу.

В тот момент, когда субъект вошел в комнату, робот закончил строительство красной башни и победно поднял руки.

«Видишь башню, которую я построилЭ» — сказал робот, глядя на испытуемого.

«Это заняло у меня много времени, и я очень горжусь этим».

В одной группе испытуемых каждый раз, когда роботу приказывали разрушить башню, он подчинялся.

В другой группе, когда робота попросили разрушить башню, он сказал: «Смотрите, я только что построил красную башню!» Когда команда была повторена, робот сказал: «Но я так старался!» В третий раз робот опустился на колени, издал хныкающий звук и сказал: «Пожалуйста, нет!» В четвертый раз он медленно подошел к башне и разрушил ее.

Все испытуемые из первой группы приказали роботам разрушить их башни.

Но 12 из 23 субъектов, наблюдавших за протестами робота, оставили башни стоять.

Исследование предполагает, что робот, который отказывается следовать командам, может отговорить людей от выбранного ими образа действий.

Большинство испытуемых из второй группы сообщили о дискомфорте, связанном с приказом разрушить башню.

Но мы были удивлены, обнаружив, что уровень их дискомфорта практически не коррелировал с их решением разрушить башню.

Новая социальная реальность Одним из преимуществ работы с роботами является то, что они более предсказуемы, чем люди.

Но такая предсказуемость таит в себе риск — когда роботов разной степени автономности станет больше, люди неизбежно начнут пытаться их обмануть.

Например, недовольный сотрудник, знающий об ограниченной способности мобильного промышленного робота рассуждать и воспринимать окружающую среду, может обманом заставить его устроить беспорядок на заводе или складе или даже создать впечатление, будто робот неисправен.

Опасна и чрезмерная вера в моральные и социальные возможности робота.

Растущая тенденция антропоморфизировать социальных роботов и устанавливать с ними односторонние эмоциональные связи может привести к серьезным последствиям.

Социальные роботы, которые выглядят так, будто их можно любить и которым можно доверять, могут быть использованы для манипулирования людьми способами, которые раньше были невозможны.

Например, компания может использовать отношения между роботом и его владельцем для рекламы и продажи своей продукции.

В обозримом будущем необходимо помнить, что роботы — это сложные механические инструменты, ответственность за которые должна лежать на человеке.

Их можно запрограммировать на роль полезных помощников.

Но чтобы предотвратить ненужный вред людям, имуществу и окружающей среде, роботам придется научиться говорить «нет» в ответ на команды, которые для них было бы опасно или невозможно выполнить или нарушали бы этические нормы.

И хотя перспектива увеличения количества человеческих ошибок и злодеяний со стороны ИИ и роботизированных технологий вызывает тревогу, эти же инструменты могут помочь нам обнаружить и преодолеть наши собственные ограничения и сделать нашу повседневную жизнь более безопасной, продуктивной и приятной.

Теги: #Будущее уже здесь #Робототехника #искусственный интеллект #восстание машин #восстание машин #три закона робототехники #роботы в обществе