Не кинокритик. Не палеонтолог. (plakhov) wrote,
Не кинокритик. Не палеонтолог.
plakhov

Category:

Об Байеса - 2

Окончание, предыдущие серии 1 и 3/2.

Обсуждение предыдущих записей неожиданно для меня скатилось в споры о реальности мультивселенной. Давайте отложим этот интереснейший вопрос, разберём до конца "байесианскую" модель принятия решений в условиях неопределенности, найдём её ограничения и обсудим, почему слушать Элиезера Юдковского следует с определенной осторожностью.

Итак, вы назначаете событиям и гипотезам некоторые числа от 0 до 1, отражающие вашу уверенность в том, что событие наступило или наступит, а гипотеза верна. Далее вы, получая новые данные о происходящем, уточняете эти числа так, как если бы они были вероятностями в более привычном нам "частотном" смысле, например, с использованием формулы Байеса. Когда приходит пора действовать, вы "делаете ставку": определяете для каждого возможного развития событий определённое значение "выигрыша" (или "проигрыша"), умножаете их на соответствующие вероятности, после чего принимаете такое решение, ожидание выигрыша в котором максимально.

В моем понимании, именно такую модель принятия решений принимают за идеал современные рационалисты, когда описывают рациональное принятие решений. Если вы считаете, что это не так, расскажите, как их учение понимаете вы.

Для дальнейших рассуждений нам понадобится обратить внимание на одну важную особенность описанной схемы. Все априорные вероятности, о которых в ней идёт речь, строго больше нуля и строго меньше единицы, в противном случае она не порождает содержательных выводов. Если мы изначально примем априорную вероятность некоторого события ровно за 0, то, как легко видеть, никакое применение формулы Байеса эту цифру не поменяет, апостериорное значение по-прежнему останется нулевым. Аналогично, апостериорная вероятность в этой схеме может оказаться нулевой только вследствие строгого логического противоречия между ожиданиями и наблюдениями, не зависящего от априорных вероятностей, и не имеющего никакого отношения ни к Байесу, ни вообще к теорверу.

Дальнейший аргумент будет построен следующим образом: мы опишем ситуацию, в которой чёткое и формальное следование "рациональной" схеме приводит к абсурдному поведению. В бытовом смысле ситуация очень проста. Скорее всего, после знакомства с ней у вас создастся впечатление, что выбор очевиден, и вовсе не требует каких-либо математизированных рассуждений. Тем не менее, окажется, что вывод, следующий из "рациональной" схемы рассуждений этому очевидному выбору противоречит, а значит, схема не идеальна и имеет серьезные ограничения применимости.

Итак, вот эта ситуация. Некий незнакомец присылает вам письмо, в котором говорится примерно следующее: "Здравствуйте, я очень могущественное существо (Бог, посланник сверхцивилизации IV типа и т.п.), принявшее этот облик для удобства коммуникации. Все мои враги будут подвергнуты бесконечным и вечным мучениям, что вполне в моих силах. Единственный способ показать, что вы не являетесь моим врагом -- совершить символический жест доброй воли, а именно, выслать мне прямо сейчас 3 доллара 50 центов".

Бытовой ответ на вопрос, выслать ли триписят в ответ на такое письмо, в общем, очевиден. Рассмотрим теперь ту же ситуацию с точки зрения современного байесианского рационализма.

Каким может оказаться апостериорное значение вероятности того, что незнакомец говорит правду, после того как мы приняли во внимание все обстоятельства и проделали все вычисления? Допустим, оно оказывается равно p>0. Понятно, что p очень, очень маленькое число, у него гигантское количество нулей после запятой. Тем не менее, поскольку ожидаемый проигрыш в варианте выбора "отказать незнакомцу" равен минус бесконечности, умноженной на p>0, а в варианте "согласиться" равен константе триписят, рациональным решением будет пожертвовать ему немного денег.

Но, может быть, мы могли бы получить p=0? Как уже упоминалось выше, такое могло произойти только в одном случае: в нашей картине мира априори зашиты некие фундаментальные соображения, по которым ситуация, в которой незнакомец говорил бы правду, невозможна. Не "очень-очень маловероятна", а именно логически неконсистентна, принципиально противоречит базовым принципам устройства Вселенной. Эти принципы должны являться для нас абсолютными аксиомами, нерушимыми, что бы мы ни наблюдали, что бы ни происходило вокруг. Это очень сильная установка, она, например, сильнее, чем вера любого религиозного фанатика (потому что для него теоретически можно предположить такой опыт, который заставил бы его усомниться, а для нас почему-то нет). В частности, если тот же незнакомец явится к нам лично, жонглируя миниатюрными галактиками и включая-выключая реальность вокруг вас щелчком пальца, p должно будет остаться равным нулю. Вряд ли наши априорные установки именно таковы.

Байесовские рассуждения для математиков и им сочувствующих выглядят такими естественными и универсальными, что в абзацах выше хочется найти какой-то подвох. Подвоха нет, ситуация явно за пределами их применимости. Что же именно "сломалось"?

Можно изобретать некие ad hoc патчи, например, традиционно объявить, что бесконечных выигрышей или проигрышей не бывает. Для этого, например, начнём учитывать их только с временным дисконтом, от чего вечные муки превратятся в большую, но всё же конечную константу, и неравенство получит шанс "сойтись" в правильную сторону. Мне такой способ спасти байесианство кажется нечестным. Дело не в бухгалтерии, и не в том, что нас самих через миллион лет нам не так жалко, как нас завтра. Проблема именно в том, что противник, уже зная, как мы собираемся рассуждать, может проводить целенаправленную атаку, на которую модель не рассчитана.

Я предлагаю вернуться к dutch book argument, и сделать более решительный вывод: в ситуациях конфликта (иначе говоря, "игры" в том смысле, в котором это слово понимается в теории игр) байесианские рассуждения неприменимы. Выше мы описали один вариант потенциального арбитража, то есть способ вытягивать из предположительно "рационального" актора произвольные выигрыши. Арбитраж работает только в случае игры с неполной информацией, а я не настолько зануда, чтобы строить тут исчерпывающую теорию, но, по-видимому, этим вариантом дело вовсе не ограничивается. Например, в случае игр с полной информацией и нулевой суммой основную теорему (существование равновесия в смешанных стратегиях) обычно описывают в терминах выбора такой-то стратегии с такой-то вероятностью. Как должно стать понятно после некоторого размышления, онтологически это совершенно другие вероятности, формуле Байеса они подчиняться не будут и вообще обращаться с ними следует иначе.

Более глобально, теория игр учит нас, что в ситуации конфликта важно вести себя именно недетерминированно, "вероятностно" (хотя вовсе не полностью хаотически). Это одно из немногих мест в теории, где вероятности вообще возникают "естественным образом", не как отражение неполноты наших знаний об окружающем мире, а как бы из ниоткуда. Вот почему мне кажется, что человек, предлагающий вам всегда вести себя определенным образом, так-то и так-то, потому что это рационально, автоматически должен вызывать здоровые подозрения. Полностью ли он нейтрален? Нет ли у него собственных интересов, отличающихся от ваших?

Не рассказывает ли этот человек заодно, что всесильная злая сущность собирается уничтожить человечество, нанеся нам проигрыш минус бесконечность, но, к счастью, тут может помочь триписят?

Хм, странное совпадение, в нашем случае именно это и происходит...
Subscribe
  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 78 comments
Previous
← Ctrl ← Alt
Next
Ctrl → Alt →
Previous
← Ctrl ← Alt
Next
Ctrl → Alt →