Когда умные машины нарушают закон

1024px-OCPA-2005-08-11-080331

Американский военный дрон MQ-1C Warrior UAV

Гуру криптографии и информационной безопасности Брюс Шнайер отвечает на вопрос сайта Edge.com: «Что вы думаете о машинах, которые думают?» Шнайер считает, что современная правовая система не готова к появлению автономных машин, которые сами принимают решения и, скорее всего, будут нарушать закон. Как можно наказать машину?

В прошлом году двое художников из Швейцарии создали бота Random Botnot Shopper. Бот — компьютер с соответствующим ПО — каждую неделю тратил эквивалент 100 долларов в биткойнах на случайные покупки на анонимных торговых площадках. Это было сделано как арт-проект для выставки в Швейцарии. Умная идея, кроме одной проблемы. По большей части бот покупал вполне легальные вещи — поддельные джинсы Diesel, бейсболку со встроенной скрытой камерой, пару кроссовок Nike… Но помимо этого он купил десять таблеток экстази и поддельный венгерский паспорт.

12 января 2015 года, на следующий день после закрытия выставки, длившейся три месяца, бот был «арестован», то есть конфискован правоохранительными органами.

Что делать, если машина нарушила закон? Традиционно мы в таком случае обвиняем владельца машины. Люди совершают преступления; оружие, отмычка и компьютерный вирус — всего лишь их инструменты. Но по мере того, как машины становятся всё более автономными, связь между машиной и её создателем становится всё тоньше.

Кто виноват, если автономный военный дрон случайно убьёт многочисленных мирных жителей? Военный, ответственный за операцию? Программист, написавший программу распознавания врага, которая дала сбой? Автор конкретного участка кода, отдавшего приказ убивать? А что если программист и понятия не имеет, что его программа используется в военных целях? Что если дрон может сам улучшать собственные алгоритмы на основе данных, собранных другими дронами в прошлых операциях?

Может, наши суды и могут решить, кто здесь виноват, но только потому, что современные дроны, даром что автономны, не слишком умны. А что если они станут умными и автономными одновременно и будут принимать как тактические, так и стратегические решения? Что если дрон на основе имеющихся данных решит предать сторону, построившую его, и начнёт ей вредить?

Общество выработало множество способов — неформальных социальных правил и более формальных законов — чтобы разрешать ситуации неподчинения правилам общежития. Для мелких нарушений у нас есть неформальные механизмы, для более серьёзных — сложная правовая система. Если вы буяните на моей вечеринке, я больше вас не позову. Если вы регулярно нарушаете правила приличия, вас застыдят и подвергнут осуждению. Если вы украдёте у меня что-то, я обращусь в полицию. Попробуйте ограбить банк — и с большой вероятностью вы надолго сядете в тюрьму. Эти правила могут выглядеть несистематизированными, но человечество потратило тысячелетия, чтобы выработать их. Безопасность — понятие одновременно политическое, социальное и психологическое. Например, дверные замки работают только потому, что система неформальных и юридических запретов на кражу делает большинство из нас честными. Таким образом, мы относительно мирно сосуществуем в масштабах, невозможных для любого другого вида на планете.

Как это будет работать, если нарушитель — машина со свободой воли, что бы это ни значило? Машины не понимают ни стыда, ни похвалы. Они не откажутся от каких-то действий только потому, что другие машины что-то об этом подумают. Они не будут соблюдать законы просто потому, что так правильно, и не будут испытывать уважение к авторитетам. Если мы поймаем машину за кражей, как её наказать? Что такое «оштрафовать» машину? Имеет ли смысл лишать машину свободы? Если в машину не заложен инстинкт самосохранения, то даже угроза казни не будет работать.

Вот мы уже говорим о программировании человеческих моральных принципов. Даже если это в принципе осуществимо, мы наверняка где-то ошибёмся, и рано или поздно машины будут нарушать закон.

Это, в свою очередь, поставит под угрозу нашу правовую систему. По сути, она не предотвращает преступления. Её эффективность основана на аресте и наказании преступников постфактум. Наказание должно влиять на мотивацию будущих преступников. Эта схема полностью бесполезна, если эффективного наказания нет.

После атак 11 сентября многие задумались о террористах-смертниках, для которых любое наказание бессмысленно. Это только один пример, изменивший наши взгляды на безопасность. Тот же вопрос возникнет для машин-преступников. Появятся и другие проблемы, которые пока сложно представить. Социальная и правовая системы, успешно справлявшиеся с людьми-преступниками, потерпят неудачу в борьбе с машинами.

Умная машина никогда не думает в точности так, как мы ожидаем. И к последствиям этого факта мы не готовы.

Автор: Брюс Шнайер
Источник: https://www.schneier.com/blog/archives/2015/01/when_thinking_m.html

Tip



Categories: Безопасность, Государство, Законы, Футурология

Tags:

Leave a Reply

18 Комментарий на "Когда умные машины нарушают закон"

Notify of
avatar
romanosrich
Гость

Автопроизводитель отзывает партию машин только если сумма страховых выплат по несчастным случаем с летальным исходом по вине заводского дефекта, превышает расходы по отзыву бракованной партии.
У военных это называется допустимые сопутствующие потери))
Вот такие «человеческие моральные принципы» и будут заложены в автономную машину.

Анонимно
Гость

Хороший слогон — «Когда умные машины нарушают закон дудумы» 🙂

V
Участник

Да мне пофиг, если машины будут убивать людей и грабить порно лавки. Я готов заплатить эту цену за собственного Бендера у себя дома.

V
Участник

Ну и на самом деле, знаете как-то странно что автор статьи считает всех людей по умолчанию преступниками, которые без Закона вдруг сорвутся всех убивать и насиловать и грабить. Я думаю, 80-90 процентов людей и не подумают об этом. А оставшиеся 10-20 можно и посадить. Или просто убить. Или снять реалити шоу. Ну вы понели…

romanosrich
Гость

Установления просты, и их всего три: слепая вера в непогрешимость законов, беспрекословное оным повиновение, а также неусыпное наблюдение каждого за всеми!

Orwell
Гость

Оруэлл нервно переворачивается, только теперь он делает это в несколько раз быстрее.

Анонимно
Гость

Похоже я машина 🙂

Анонимно
Гость

Простите, я гуглю уже два дня и не могу найти ответ..
Все мы знаем, что размер блоков теперь будет огромным, до этой новости я держал полный Bitcoin Core. Теперь моих ресурсов на это не хватит, я решил установить легкий кошелек Electrum.
Возник такой вопрос:
Я создал кошелек, запомнил seed(13 случайных слов), поставил пароль на кошелек.
Если я зайду с левого компьютера в Electrum и введу seed, я получу доступ к мои биткоинам без пароля к кошельку?

Andy
Гость
Надо смотреть описание программы. Если ключ генерируется до ввода пароля, то вы 100% сможете получить доступ по 13 словам без пароля с любого пк с нужным софтом (а пароль будет носить будет зашищать только от кражи вашего пк, то есть если кто то получит доступ к вашему пк, пока вы отвернулись то ему надо ввести пароль, а не просто перевести биткоины на свой кошелек, то есть пароль используется для локального шифрования файла кошелька, только на вашей машине). Если закрытый ключ генерируется после ввода 13 слов и пароля, то эти 13 слов дополнительно шифруются вашим паролем, и тогда вы получите доступ… Read more »
Анонимно
Гость

Я почти уверен, что так и есть (для надёжности всё равно советую уточнить в официальных источниках). Смысл фразы из 13 слов (или 12?) слов как раз в том, чтобы её запомнить и иметь возможность восстановить доступ к биткойнам на любом устройстве.

VOID
Гость

Верно. Вы из сида можете спокойно восстановить доступ на любом ПК. Главное, чтобы сам ПК не был «шпионом».

Asd_skala
Гость

Да, но с оговорками, и все легко проверить с тестовым сидом.
Но нет у меня доверия к этим сидам т.к. программа генерирует их сама не из случайного набора знаков а по словарю и не дает возможности пользователю самому выбрать сид, таким образом в определенный момент дядя может загрузить весь словарь в свой мастер электум и просканировать все комбинации слов получив доступ ко всем кошелькам электума. Возможно и наоборот, выданные сиды уже скомпрометированны и дядя сидит и смотрит как растет баланс…

Анонимно
Гость

почитайте про сложность перебора фразы из 13 слов в зависимости от размера словаря — поймёте, что на данном этапе развития выч техники получается достаточно долго при вменяемом словаре.

Анонимно
Гость
«Вот мы уже говорим о программировании человеческих моральных принципов. Даже если это в принципе осуществимо, мы наверняка где-то ошибёмся, и рано или поздно машины будут нарушать закон. Это, в свою очередь, поставит под угрозу нашу правовую систему. По сути, она не предотвращает преступления. Её эффективность основана на аресте и наказании преступников постфактум. Наказание должно влиять на мотивацию будущих преступников. Эта схема полностью бесполезна, если эффективного наказания нет» Брюс Шнайер, несомненно, профи, но только не в юриспруденции. В современной правовой системе есть хорошо отработанные механизмы, успешно справляющиеся с описываемыми в статье проблемами. В юридической науке существует понятие «источник повышенной опасности». У… Read more »
Анонимно
Гость

А институт суда масштабируется под десятки или сотни миллиардов устройств internet of things?

Анонимно
Гость

Легко. Так же легко, как данный институт масштабируется прямо сейчас под сотни миллионов автомобилей. Или под пару миллиардов смесителей в ванной, которые способны в отсутствие хозяев залить соседей, причинив им имущественный ущерб.

Анонимно
Гость

юридическую ответственность за их действия всегда будут нести люди

Не всегда. Ещё возможна классификация «несчастный случай». А тем временем на горизонте уже маячит вопрос о морали небелковых судей.

Анонимно
Гость

Если событие будет признано несчастным случаем, тогда, очевидно, никто не будет нести ответственность. Но тут рассматривается вопрос, кто будет нести ответственность, когда событие НЕ будет признано несчастным случаем.

Небелковые судьи ни нам, ни нашим ближайшим потомкам не грозят.

wpDiscuz