Этика 2.0: зачем машинам учиться принимать сложные решения

18 лістапада 2016

Машины теперь могут научить себя всему сами — они в состоянии оперировать большими данными более эффективно, чем человек. Так почему бы не отдать им на откуп самые сложные решения? На Future Foundation Technology Ethics Conference(Москва, 1 октябрь 2016 г.) доцент НИУ ВШЭ Кирилл Мартынов рассказал, как люди помогают роботам понять, что хорошо, а что нет, и в чем заключается опасность, связанная с развитием искусственного интеллекта. THEORY&PRACTICEвыбрал и опубликовал основные тезисы лекции «Универсальная этическая машина: мораль после big data».

Как современные технологии меняют или могут менять общество? Мы уже находимся в ситуации, когда коммуникации поменялись под влиянием развития интернета, в первую очередь мобильного интернета. Эти изменения до сих пор никак не отрефлексированы. То есть люди попали в ситуацию, когда из любого кармана, из гаджета, который доступен подростку, можно «достать» по большому счету всю совокупность знаний человечества — и при этом это никого не трогает. Все считают, что так всегда было и никаких серьезных культурных изменений не произошло.

Когда мы говорим про технологическое будущее, в частности про будущее, где есть разумные машины или, по крайней мере, автономные машины, способные самостоятельно действовать в сложной среде, мы постоянно попадаем в ловушку, навязанную нам массовой культурой. Я загуглил термин «war machines», и гугл выдал мне более 60 миллионов совпадений. Говоря о том, как будет выглядеть будущее, люди постоянно возвращаются к теме, придуманной в «Терминаторе». Сейчас включился второй сценарий: даже если воевать с машинами мы не будем, то, говорят нам, машины отберут все рабочие места. Все это уводит нас от реальных проблем.

Типичным примером реальной проблемы может считаться идея, сформулированная в книге Юваля Ноя Харари «Homo Deus». Харари высказывает радикальный тезис: будущее, к которому нам стоит готовиться, связано с концом и реальной уникальности человека в качестве субъекта, и наших представлений о том, что только человек может обладать этой уникальной субъектностью. То есть, иными словами, если до сегодняшнего момента и по состоянию на 2016 год в человеческой истории, в человеческой культуре всегда действовали только люди (люди как солдаты, люди как избиратели, люди как экономические агенты), то в ближайшем будущем, помимо людей, появятся другие системы, которые будут в состоянии принимать решения и действовать в рамках реального мира, изменив социальную реальность. И это реальный риск. Эта вещь гораздо более серьезная, чем примитивные фантазии насчет войны людей и машин.

Если мы создаем машины, которые действуют в автономном режиме, то очевидно, что автономно действующая машина должна обладать неким набором этических представлений. Реальная перспектива нашего будущего — эволюция людей и машин, которая выглядит гораздо более сложной, чем просто, например, процесс автоматизации рабочих мест. Мы понятия не имеем, к какому социальному сценарию, набору рисков это все приведет. И самое неприятное здесь, на мой взгляд, то, что у нас нет хорошей теории, которая бы все это описывала, потому что все известные людям социальные теории, начиная с античной классики, всегда были ориентированы на то, что в мире действуют и принимают решения только люди. Нет ни одной теории, описывающей, что люди становятся либо младшими, либо равноправными партнерами какого-то другого вида, субъекта, который также в состоянии принимать решения.

Самый известный проект об обучении машины этике — Moral Machine, созданный в Массачусетском технологическом институте. На сайте можно запустить программу, в которой вам предложат поучаствовать в тренировке автомобиля-робота: есть несколько сценариев, и нужно будет выбрать более этичный (на ваш взгляд). Правильно ли врезаться в заграждение и не сбивать пешехода? Или сбить пешехода, который переходит дорогу на красный свет, при этом его убить, но не рисковать собственной жизнью?

Система нацелена на самообучение и опрашивает людей, какой выбор они считают правильным, — машина статистически понимает, что обычно люди принимают именно это решение. Следовательно, мы тренируем некую автономную систему считать правильными те решения, которые чаще других выбирают люди, попавшие в сложную этическую ситуацию. Кто-то удачно шутил, что как мы выбираем себе кожаный салон определенного цвета в автомобиле, так же мы будем выбирать автомобилю его этическую систему. Хотите ли вы систему прагматическую или кантианскую? Все будет включено в стандартную или расширенную комплектацию.

Здесь любопытно, что мы вообще считаем этикой. Это результат конвенции: этика возникает в результате того, как люди договариваются между собой. Этика — это то, что мы договорились считать этичным в данном сообществе в данную эпоху в данное время. Но теперь этика еще и опосредована большими данными. То есть робот, который едет по дороге, этичен, потому что он учел все вероятные случаи и статистическое мнение людей по поводу всех возможных этических проблем. В этом и состоит ее (машины) обучение.

Мораль машины в разном контексте обсуждается также и в литературе. Примечательны всем известные законы робототехники Азимова. Этот пример показывает, насколько сильно сегодняшний мир отошел от тех идей, которые были связаны с проектированием роботов в 50-е годы. Азимов, по сути, предлагает аксиоматическую систему. То есть существует три закона робототехники (начиная с «не нанести вред человеку»), и получается, что мы задали три аксиомы и потом применяем эти аксиомы ко всем возможным случаям, возникающим в реальности. Современная моральная машина проектирует правильное решение совершенно другим образом: там нет ни одной аксиомы, но есть статистический выбор.

Как только мы создаем достаточно эффективного робота, способного принимать самостоятельные решения, то получается, что в реальности такая система оказывается более морально совершенной, чем человек-водитель. Когда коммерческие роботы-автомобили войдут в широкое употребление, их создатели, безусловно, будут настаивать на том, что эти роботы, во-первых, безопаснее (это стандартный тезис), а во-вторых, точнее решают сложные моральные дилеммы, когда находятся на дороге.

Так почему этот частный случай нельзя сделать универсальным? Почему бы не создать универсальную моральную машину, которая будет предлагать некое правильное моральное решение для каждого конкретного случая, опираясь на всю совокупность известных данных? Почему бы нам просто не передать решения всех моральных проблем на откуп некой машине, которая в состоянии оперировать большими данными и делать это корректно и убедительно для нас самих — более убедительно, чем какой бы то ни было человек?

Если мы допускаем, что в обществе могут существовать другие субъекты, кроме людей, то мы можем допустить существование моральных автономных субъектов. Следовательно, нам придется принять мир, где не только люди будут способны заявлять о том, что такое хорошо и что такое плохо.

Конструирование моральных машин является наилучшим способом познания человеческой этики. Отчасти этот сюжет мы уже проходили: всплеск интереса когнитивной психологии к экспериментальному исследованию человеческого разума во многом связан с тем, что перед нами встала задача по определению того, возможен ли искусственный интеллект, как он должен быть сконструирован. То есть старая философская проблема о том, что такое разум, в течение XX века превратилась в инженерную проблему и таким образом получила совершенно новую интерпретацию. С моралью сейчас происходит похожая вещь.

Это влечет неопределенные социальные последствия: создание машины, способной на основе анализа данных выносить безошибочное для нас самих моральное суждение, ведет к консервации этики. То есть, если у вас есть машина, которой доверяются этические суждения, не очень понятно, каким способом этика способна трансформироваться. В то же время мы видим, как этика в течение всей истории человеческой культуры меняется (начали мы как вид не только рабовладельцев, но и как вид каннибалов, — так считают сейчас некоторые антропологи). Сейчас считается, что и то, и другое нехорошо, хотя с прагматической точки зрения, может быть, это было вполне приемлемо. Также есть еще не решенные этические проблемы: этическое вегетарианство, этическое отношение к нечеловеческим существам. Если мы отдадим этику на аутсорс машинам, то мы можем ее законсервировать, и это приведет к совершенно неочевидным последствиям. Возможно, это станет самым глубоким консервативным поворотом в истории.

А если сюда добавить еще какие-то политические соображения, то этическая машина может стать самым удобным изобретением для тех людей, которые хотят при помощи некой ссылки на моральный авторитет гарантировать сохранение своей власти. Или можно прекрасно представить себе такую антиутопию, где возникает новая религия, с самыми неочевидными последствиями, где место Бога занимает эта универсальная моральная машина.

Смотрите по этой теме:

Уладзімір Мацкевіч: Людзі, машыны, жывёлы: сяброўства і спакуса. Адкрытая лекцыя, прачытаная 21 верасня 2016 г. у межых цыкла “Уяўляючы Беларусь: ідэі і мары для супольнай будучыні”.

Уладзімір Галянкоў: Інтэлектуальныя сістэмы праблемы і перспектывы. Адкрытая лекцыя, прачытаная 20 верасня 2016 г. у межых цыкла “Уяўляючы Беларусь: ідэі і мары для супольнай будучыні”.