Криптоэкономика, футурология и риски

futurologyСообщество, сфера интересов которого включает в себя искусственный интеллект (ИИ) и футурологические исследования экзистенциальных рисков (Х-риск), в последнее время проявляет все более заметный интерес к блокчейну и криптоэкономическим системам. Ральф Меркл, изобретатель широко известной криптографической технологии, которая лежит в основе облегченного клиента Эфириума, активно интересуется моделью управления DAO. Сооснователь Skype Яан Таллинн предложил технологию блокчейн в качестве возможного механизма для решения глобальных проблем координации. Создатели рынков предсказаний, которые уже давно осознали их потенциал в качестве механизмов управления, пристально наблюдают за Авгуром. В чем причина такого интереса? Может быть, просто компьютерные гики, прежде активно интересовавшиеся компьютерной игрушкой А, внезапно шарахнулись в сторону не имеющей к ней никакого отношения, но тоже красивой и интересной игрушки В? А может, между этими темами есть реальная связь?

Я считаю, что связь есть. Оба сообщества, криптоэкономическое, и исследователи ИИ безопасности/компьютерного управления/Х-рисков, с разных сторон подходят к одной и той же проблеме: возможно ли регулирование интеллектуальных и сложных систем, обладающих непредсказуемыми и самопроизвольно возникающими свойствами, с помощью простых и «тупых» инструментов, с заранее заданными и неизменными параметрами.

В контексте исследований ИИ существует задача определения функции, отслеживающей поведение суперразумного агента, и при этом не позволяющей выполнить действия, формально удовлетворяющие заранее заданному поведению, но при этом совершенно не соответствующие замыслам создателей (Edge Instantiationэкстремальное решение). Например, если ИИ получает инструкцию вылечить рак, он может прийти к выводу, что наиболее надежное решение проблемы – просто убить всех. Если вы пытаетесь залатать эту дыру, он решает криогенно заморозить всех, не убивая напрямую. И так далее (Вспомним покойного В. И. Ленина: «По форме верно, а по существу – издевательство» прим.перев.).

В работах Ральфа Меркла о демократии DAO  проблема состоит в том, что определение целевой функции коррелирует с социальным и технологическим прогрессом и действиями, которых ожидает общество, но никак не коррелирует с экзистенциальными рисками, а также может быть измерено только до тех пор, пока само измерение не становится источником политических сражений.

В контексте криптоэкономики проблемы удивительно схожи. Ключевой вопрос консенсуса: как мотивировать валидаторов на продолжение поддержки и ведение общего учета с помощью простого алгоритма «отлитого в граните», в то время как сами валидаторы представляют собой сложные экономические системы, взаимодействующие между собой свободным образом, и зачастую имеющие не совпадающие или противоположные цели. Инцидент с TheDAO стал следствием расхождения общего замысла разработчиков софта, имевших в виду конкретное назначение функции сплита, и результатом работы программного кода. Augur работает над приложением консенсуса к фактам реального мира. Maker создает децентрализованный алгоритм управления платформой, обеспечивающей активы децентрализацией криптовалюты и надежностью фиатной валюты. Во всех этих случаях управляющие алгоритмы – «тупые», а процессы, которые они должны контролировать – «умные». Безопасность ИИ: агент с IQ 150 пытается контролировать агента с IQ 6000; криптоэкономика: агенты с IQ 5 контролируют агентов с IQ 150. Конечно, это проблемы разного масштаба, но от сходства не стоит отмахиваться.

Таковы задачи, которые оба сообщества изучают много лет независимо друг от друга, и за это время накоплен значительный опыт. В решениях начинают использоваться эвристические частные решения и стратегии снижения рисков. В создании DAO некоторые разработчики склоняются к гибридному подходу, который предполагает назначение кураторов с частичным контролем за активами DAO, но наделяет кураторов лишь ограниченной властью. Их возможностей достаточно чтобы предотвратить атаку на DAO, но недостаточно для проведения собственной полномасштабной атаки – такой подход схож с исследованиями в области безопасного прерывания ИИ.

На стороне футархии мы видим интерес к использованию процентных ставок в качестве целевой функции, сочетании футархии и квадратичного голосования посредством добровольного замораживания средств, в качестве алгоритма управления (POS). Сюда же можно отнести различные гибридные формы, которые передают футархии власть, достаточную для предотвращения атаки «сговора большинства» способом, недоступным демократии, и одновременно оставляют власть процессу голосования. Такие инновации, по меньшей мере, заслуживают обсуждения в группе, рассматривающей футархию в качестве построения демократии DAO.

Другое, ранее недооцененное решение – использование механизмов управления, явным образом замедляющих развитие нежелательных процессов: предлагаемый хардфорк, который может вытащить средства из Черного DAO, стал возможен только потому, что в контракт TheDAO был включен набор правил, задающий отсрочки действий. Еще одно новое направление – формальная верификация. Это использование программ, которые верифицируют другие программы. Цель – убедиться в том, что результаты исполнения верифицируемых программ удовлетворяют тем целям, для которых они созданы.

Формальное доказательство «честности» в общем случае невозможно из-за проблемы сложности стоимости (утверждение о том, что человеческие ценности имеют высокую колмогоровскую сложность). Однако мы используем различные способы для снижения риска. Например, мы можем установить правило о том, что какие-то действия могут быть предприняты по истечении 7 дней, а другие действия проводятся за 48 часов, при условии, что кураторы данного DAO проголосуют определенным образом. В сообществе разработчиков ИИ такие предохранители применяются для предотвращения различных ошибок в функции вознаграждения. Такие ошибки могут привести к совершенно непредвиденному поведению системы из-за исключительно высокой сложности стоимости ИИ. Конечно, исследования методов формальной верификации проводятся различными сообществами уже много лет, но теперь мы рассматриваем их применение в новой среде.

Еще одна концепция, популярная в сфере безопасности ИИ, которая может оказаться крайне полезной при строительстве экономических систем на основе DAO – теория суперрациональных решений. Это способы разрешения ситуаций, в которых возникает «дилемма заключенного», одно из решений – программный код, который более благоприятно обращается с агентами, исполняющими этот код. Пример действия, доступного агентам с открытым кодом, и недоступный агентам, представляющим собой «черные ящики», описан в небольшом фантастическом рассказе Скотта Александера: два не доверяющих друг другу агента могут совместно следовать к цели, которая представляет собой среднее из целей, которые они ставили перед собой ранее. До сих пор такие концепции были уделом научной фантастики, однако теперь футархия DAO позволяет воплощать их на практике. Обобщая, можно сказать, что DAO может оказаться эффективным инструментом для социальных институтов, способным обеспечить строгое следование программному коду с заданными свойствами.

The DAO – только первое из многих, которые стартуют в этом и следующем годах и можно не сомневаться, что все последующие извлекут солидный урок из судьбы первого. Они принесут с собой много нового: политику безопасности, алгоритмы управления, структуры кураторов, системы задержек со страховочными механизмами, и формально верифицированные гарантии кода. Все это поможет выдержать криптоэкономический шторм.

Несколько финальных слов: крупнейший урок для крипто-сообщества состоит в самой идее децентрализации: различные группы дублируют выполнение работы, так минимизируется вероятность того, что ошибка одной системы пройдет незамеченной через другие системы. Крипто экосистема еще формируется и станет действующим экспериментом на передовой линии разработки софта, компьютерных наук, теории игр и философии. Независимо от того, станет ли она мейнстримом социальных приложений в своей нынешней форме, или после нескольких итераций, результаты будут доступны для любого, способного учиться и видеть.

Aвтор: Виталик Бутерин

Источник: Медиум



Categories: Альткойны, Безопасность, Государство, Футурология

Tags: , , , , , , , ,

13 replies

  1. Если посмотреть на наш мир, то несколько простых физических законов с запредельно низким IQ контролируют всю нашу вселенную и в том числе поведение всех программистов и хакеров. Несколько простых правил в игре “Жизнь” определяют весьма сложное поведение. Правила, записанные в ДНК, определяют построение весьма сложных созданий, и даже тех, у кого IQ 300. Но хаков в ДНК полно, один CRISPR/Cas9 чего стоит. В-общем, очень интересные мысли. Возможно, мы вовремя обнаружили blockchain, еще до масштабных успехов ИИ и робототехники. Возможно, blockchain – это наша палочка-выручалочка на будущее.

  2. Боже мой, неужели до сих пор кто-то всерьёз оперирует понятиями IQ?
    Они же годятся только для того, чтобы дебилов выявлять, да и то не на 100%. Любой гениальный аутист более 40 не покажет по тесту Айзенка, хотя способен любого на этом форуме в порошок стереть.
    А тестам можно обучаться вообще-то, если целью себе поставить, и уверенно бить рекорды по IQ.

    IQ -это всего лишь память и набор стандартных решений, т.е. дебильное экстенсивное представление о сознании и способностях человека.
    Представление о значимости IQ породил бихевиоризм. Но в век когнитивной психологии вспоминать его стыдно и неуместно.

    А про ИИ вообще псец. Деградация по сравнению с прошлым веком – ошеломляющая! Тогда чётко различали экспертные системы и ИИ – это принципиально разные направления. Но сейчас это всё понимание уплыло в какую-то говённую прорубь.
    ИИ стало звучать как вопль осла!

    Все рассуждения о регуляции систем вообще напоминают детский сад. Есть такая наука – кибернетика. И она ещё не совсем умерла вообще-то, Так вот, она как раз о регуляции систем!
    Может просто изучить, например, “Мозг фирмы” классика кибернетики Стаффорда Бира, прежде чем всякую самопальную херню из пальца высасывать?

    Простите за резкость, уж очень наболело, – везде одно и то же. Кругом признаки распада и деградации. IMHO – на всякий случай для недовольных.

    • Упоминание IQ здесь – метафора, суть указана строчкой выше: тупые алгоритмы контролируют умные. ИИ в этом контексте – самообучающиеся в реальном времени агенты, взаимодействующие с реальным миром, например вот такие: https://ru.wikipedia.org/wiki/%D0%9E%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81_%D0%BF%D0%BE%D0%B4%D0%BA%D1%80%D0%B5%D0%BF%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5%D0%BC. Утверждается, что они не всегда принимают оптимальные решения. Экспертные системы (И правда, понятие прошлого века, давно про них не слышал) здесь вообще ни при чем, вот ни одним боком.

      • IQ здесь метафора? Хорошо. Но представление о том, что “тупые алгоритмы контролируют умные” это выхолащивание современной кибернетики до уровня идиотизма.
        И, кстати, приведенная вами ссылка именно это и подтверждает,

        Вопрос, описанный в статье, сводится по сути к определению граничных условий функционирования системы. Случай с ДАО – это банальная некомпетентность разработчиков в определении таких условий.
        Попытки оправдать их некомпетентность “великой сложностью контролирования интеллектуальных систем” – это гигантская натяжка.
        И при чём здесь вообще самообучение? Самообучение, системы с элементами ИИ завязаны на рекурсивные алгоритмы, меняющие текст исходной программы(грубо говоря – метапрограммирование), которых здесь и в помине нет. Всё много проще.

        Экспертные системы – это не только “справочники”. В общем виде они моделируют заключение специалиста в сложных системах, а именно это чаще всего и нужно для грамотного определения граничных условий. Даже для динамического определения меняющихся граничных условий!
        И уж если вы приплели ИИ, то корректнее говорить именно о ЭС в этом случае.
        Однако ЭС используются для задач плохоформализуемых. И тут я вынужден согласится с вами, что ЭС здесь не при чём. Только в том ключе, что использование ЭС здесь – перебор. Поставленная задача вполне формализуется. Она проще! Тем больше позора разработчикам ДАО
        А вот ИИ здесь точно не при чём.

        Похоронили вы экспертные системы рановато. Ни сам термин, ни сами системы никуда не делись, вот пример более чем известный – https://ru.wikipedia.org/wiki/WolframAlpha
        Речь о том, что даже в среде “специалистов”, близких к предмету, стало уходить понимание того, что интеллектуальные системы бывают разными и имеют довольно жёсткую классификацию. Прогрессирующее невежество. Потому термин и “пропал”.

        Вы помните термин и прекрасно понимаете его значение – и я перед вами снимаю шляпу. Сейчас это редкость.
        А то вон в Вики воообще написано что-то вроде того, что все ЭС пишутся на Прологе! Каково?

        Я не спорю с тем, что написано в статье по существу. И понимаю, что статья отражает современный подход к решению подобных задач. Расстраивает не статья, а уровень этого подхода.

        Посмотрите – статья спровоцировала обсуждение: могут ли глупые контролировать умных? Но это же некорректная постановка задачи! Без граничных условий она не имеет смысла. Простой пример c метафорой)):
        Дюбеля – IQ=0
        Прометей – пусть будет IQ=140
        Прибиваем Прометея к скале дюбелями. Результат – абсолютно тупая система имеет абсолютный контроль над системой умной. Куда ж он денется-то?

        И стоит ли удивляться при этом полученному результату?

          1. О граничных условиях обсуждения: ресурс Битновости рассказывает о новостях криптовалют и проектах на их основе. Это и определяет уровень обсуждения. Технические уровни – это реддит.
          2. Случай с TheDAO: с компетентностью, ИМХО, там было все в порядке. Полное описание кода прошло несколько независимых аудитов, код был в свободном доступе, было открытое обсуждение. Сейчас обсуждаются неоднозначности в самом языке Solidity, на котором был написан код, но для выводов еще слишком рано. Был применен радикальный вариант “Код есть Закон”, возможно, он и оказался ошибочным на этом этапе. Дюбели из вашего примера были сознательно исключены. Ваш пример с Прометеем несколько читерский (введен код “бессмертие”), в реальном мире бедолага помрет от сепсиса и потери крови.

          3.Как раз в контексте поиска безопасных для здоровья дюбелей, Бутерин обращается к самообучающимся интеллектуальным агентам: статья по ссылке исследует безопасные прерывания неоптимальных действий ИИ. Там говорится о том, что ИИ, действия которого могут быть прерваны “дюбелем” человека-оператора, в перспективе может научиться “отнимать молоток”. (В этой статья я дальше абстракта не сунулся – увидел текст и страшно стало).

          Может быть, я исказил смысл статьи не совсем верным заголовком. Оригинальное название статьи Бутерина “Почему криптоэкономисты и исследователи Х-рисков должны общаться чаще.” Но это оказалось слишком длинно.

          • Понятно ведь, что Прометей тоже метафора! И здесь вы передёргиваете с граничными условиями. Кому какая разница, склько он проживёт? Для демонстрации контроля это не имеет значения. Всё смертно. В рамках своей жизни с момента приколачивания он находится под абсолютным контролем – вот что важно. Так что никакого читерства.

            Произвольно исключая жёсткие дюбели, вы не разъясняете предложенный вам парадокс, а создаёте новые граничные условия. Причём строго их не формализуете. Нет внятной постановки задачи и границ. Т.е. фактически повторяете ошибку разработчиков.

            У вас есть 2 версии краха – уязвимость Solidity или слишком радикальный вариант “Код есть Закон”. Но уже этот разброд мнений говорит о нечётком понимании граничных условий! Есть и мнение, что всё-таки была ошибка – “уязвимость рекурсивного вызова” https://geektimes.ru/post/277476/ . Причём мне где-то попадались комменты Бутерина о этой функции, где он подтверждает этот факт и говорит, что эту рекурсию собирались как раз использовать для сдерживания, а вышло наоборот.
            Из этого выросла статья? Но это – ошибка и ничто другое. И даже если она в Solidity… Так язык вырос из того же сообщества разрабов и везде торчат уши Бутерина!

            Да и к чему вообще рассуждать о каких-то прерываниях, если сами границы и условия процессов строго не определены? Это разговор немого с глухим. Сиё и есть невежество.

            Аудит кода – ничего не значит в этих смыслах. Это анализ корректности программных взаимосвязей, наподобие того, что проводит любой компилятор. Такой аудит не защитит вас от ошибок на уровне алгоритмов в контексте их исполнения. Алгоритм может быть программно безупречным, но ошибочным по сути своей. Например – можете перепутать где-нибудь сложение и умножение. Результат вы получать будете и пройдёте любой аудит, но вместо сдачи в банкомате получите температуру в Антарктиде.(Пример грубоватый конечно)

            Идём дальше. Концепция “Код как Закон”. Замечательно. Только развернувшаяся после этого дискуссия о софтфорке и хардфорке как раз ещё ниже опускает всех разработчиков. Что же это за Закон, если он не является неукоснительным и он не для всех? Здесь очередное невежество и проявляется оно в глубинной сути непонимания Закона. А по бытовым “понятиям” только бандиты и придурки живут.

            Так что тезис о некомпетентности разработчиков остаётся в полной силе.

            Между тем все задачи, которые стояли перед ДАО, во многом решены. Я уже упоминал Бира. После фантастически успешного эксперимента с Киберсином он пошёл намного дальше и очень сильно развил теорию управления. Просто надо было не умничать, бросаясь модными терминами и парой произвольно выдернутых из контекста фундаментальных работ, а тупо за парту садиться перед сложными проектами.
            Ежу понятно, что у ДАО просто нет органов для взаимодействия с реальным пространством вне контекста денежных переводов(какими бы сложными они ни были) и оно изначально было обречено на гибель. Нет исполнительных медиаторов (так, что ли, назвать?). Это и есть базовая граничная ошибка, если обобщать.
            Понятно ежу, но не Бутерину. Он с завидным упорством продолжает мастерить своих динозавров.

            Уж простите, но Бутерин для меня никогда не был сколько-нибудь значимым авторитетом. Просто безобразно распиаренный юноша с очень хорошой памятью и большим объёмом накопленных знаний, чрезвычайно работоспособный, но не имеющий серьёзной научной культуры. Ничего “гениального” и “прорывного” он никогда и близко не делал. Просто вслед за многими мастерит своих монстров.
            А монстры всегда поражают воображение обывателей.
            На это его толкает огромный объём знаний, стремление их применить, но отсутствие способности к принятию простых, красивых и элегантных решений. В этом смысле ему до Накамото, как зайцу до Ньютона.

            Цеппелины падали по той же самой причине, что рухнуло ДАО. Монстры уязвимы из-за своей сложности, тяги к гигантизму, по самой своей природе. Это не значит, что их не нужно строить. Иногда получаются вполне себе работоспособные и какое-то время даже живут и приносят пользу. Но куда важнее поиск реально красивых и простых решений.

            • Метафоры не довели до добра, как обычно. Оставим их.
              Один из вариантов дюбелей я выложил здесь:https://bitnovosti.com/2016/06/28/the-dao-%D0%B8-uchenie-dao-avariyny-vychod/ Там же и комментарий Бутерина о парадоксе сплита. Этот вариант никому не понравился, ни на этом сайте, ни в оригинальном блоге, ни разработчикам.
              У меня только одна версия краха, никому ее не докладываю, считая свое мнение маловажным. Выложил наиболее распространенные (рынки предсказаний нынче в моде). Вообще, рано еще для выводов.
              Границы и условия процессов здесь. Думаю, изучать их сейчас уже бессмысленно. В апреле я собирался вложиться в TheDAO, но не смог разобраться в описании и не стал вкладываться, с чем себя и поздравляю.
              Тезис о некомпетентности: возможно, вы пишете код без ошибок. В таком случае, вам надлежит явиться с вещами на реддит и выгнать оттуда Бутерина с его шайкой неучей. Тогда заживем! “Ежу понятно” – ну, это в чистом виде ленинизм – “Материализм и эмпириокритицизм”))).
              О высоких принципах и сложностях прогнозирования: если посмотреть на недавнее обсуждение ХФ здесь и не здесь, то доминирующая точка зрения была “никакого ХФ”, “Код есть Закон” и пр., по крайней мере, мне так казалось. А теперь посмотрите на результат голосования.

              Итог: статья, в самом деле, большинству не очень понятна, судя по комментариям и здесь, и на оригинале. Поэтому автор написал развернутый комментарий. Я его переведу и выложу здесь в комментах чуть попозже.

            • Метафоры не довели до добра? Почему? Они помогли поставить вопросы, которые остались без ответа. И в рамках действующей парадигмы ответа не может быть дано в принципе. Откуда ему взятся, если постановка задачи отсутствует?
              Именно так и проверяют “на прочность” любые модели – в предельных вариантах. Т.е. ответ есть. В виде его отсутствия))
              Собственно и то, на что вы дали ссылку как на “условия”, на самом деле описание концепта.

              Тезис о некомпетентности – никто не обвинял “шайку Бутерина”, как вы остроумно выразились, в неумении писать код. И даже напротив – наверняка я делаю это много хуже, да и специальность у меня немного иная. Но системный подход у них полный отстой. Точнее – его нет. В этом и состоит их некомпетентность.

              Как у Робинзона Крузо – человек строит отличную, огромную лодку, а потом оказывается, что построил ее вдали от берега и хрен дотащишь. Уж извините – опять метафора, но только в том ключе, что начальные условия не были должным образом учтены, описаны и формализованы.
              И так будет очень часто, почти всегда, если начинать не с постановки задачи и условий, а сразу с концепта. Удалять гланды через жопу автогеном.

              В другой статье, что вы дали, в Итогах, и предлагается – ну а теперь давайте все вместе напрыгнем кучей и потащим лодку к берегу! И при этом опять не приходит в голову простая мысль “А может стоит сначала разобраться с ситуацией и подсчитать, дотащим-ли?”.Опять про постановку задачи забыли. Это уже не вылечить.
              Не может в инженерии вера подменять формальный расчёт.

              С момента запуска ДАО я был уверен, что это мертворождённый фейк. Только думал, что они столкнутся с проблемами позже. Для меня было сюрпризом, что они грохнулись так быстро и до реальных проблем даже не успели дойти.

              Это всё проза. А всё-таки, интересно, в чём вы видите причину краха? Собственное мнение в тысячу раз интереснее, чем журнальные шаблоны!

    • “аутист более 40 не покажет по тесту Айзенка” — как вы заставите аутиста пройти тест Айзенка?

      • Так в том то и дело, что если и удастся убедить его это сделать, то должного отклика вы не получите. А то и вообще получите 0. Этот тест игнорирует когнитивную(познавательную) способность сознания. А она проявляется у всех очень по-разному.

        Случай с аутистом просто более показателен. Но в той или иной мере это касается любого человека.
        (великолепный фильм “Человек дождя”. Тема раскрыта)

        Ещё пример. По нынешним тестам негры показывают более слабые результаты, чем белые. Перепишите тест так, чтобы в основе его лежали не визуальные образы, а ритмические рисунки и тогда дебилами станут белые. Величайшие джазмены по большей части именно негры.

        Более того, можно учиться проходить эти тесты и тогда результат будет меняться. Суть проста: нет воспроизводимости эксперимента – нет науки.

        Эти тесты – говно.

  3. Ничего не могу сказать по поводу DAO, а вот по поводу контроля сильного ИИ я более чем уверен, что агент с более низким IQ принципиально не способен контролировать агента с более высоким IQ на большом промежутке времени.

    Конечно, можно найти контрпримеры, когда наглый и сильный хозяин контролирует умного и забитого (трусливого) раба, используя в качестве виртуального “ошейника” его трусость. Вполне возможно, что и в ИИ можно встроить какую-то аналогию например “трусости” или “отрешенности” или (как у Лукьяненко) уверенности в том, что это “все не по-настоящему”, но по-моему всегда остается возможность прозрения и бунта.

    Единственный надежный путь с моей точки зрения – это эволюционировать самим, имеется в виду техноэволюция со встраиванием в себя железок/генов и т.п. – только так можно пытаться контролировать ИИ в исторической перспективе ..

    • Так автор и обсуждает такие виртуальные ошейники: институт кураторов ДАО и “замедлители”.
      В качестве механизма принятия решений рассматриваются футархия, квадратичное голосование – его первое приближение мы видим в уже идущем голосовании по ХФ ДАО (http://carbonvote.com/) – голосование 1 человек 1 голос не приводит к эффективным решениям. Эволюция-то идет, даже без железок. Кто бы вообще заикнулся 10 лет назад, что классическая демократия не работает. А в случае с ДАО она именно что не работает, об этом говорят и пробуют другие методы: футархия например. Просто медленно – с нашей точки зрения.

Trackbacks

  1. Криптоэкономика, футурология и риски — trustchain

Поделитесь своими мыслями

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s