?

Log in

No account? Create an account

Об Байеса - 2 - Не кинокритик. Не палеонтолог.

июл. 11, 2018

12:48 pm - Об Байеса - 2

Previous Entry Поделиться

Окончание, предыдущие серии 1 и 3/2.

Обсуждение предыдущих записей неожиданно для меня скатилось в споры о реальности мультивселенной. Давайте отложим этот интереснейший вопрос, разберём до конца "байесианскую" модель принятия решений в условиях неопределенности, найдём её ограничения и обсудим, почему слушать Элиезера Юдковского следует с определенной осторожностью.

Итак, вы назначаете событиям и гипотезам некоторые числа от 0 до 1, отражающие вашу уверенность в том, что событие наступило или наступит, а гипотеза верна. Далее вы, получая новые данные о происходящем, уточняете эти числа так, как если бы они были вероятностями в более привычном нам "частотном" смысле, например, с использованием формулы Байеса. Когда приходит пора действовать, вы "делаете ставку": определяете для каждого возможного развития событий определённое значение "выигрыша" (или "проигрыша"), умножаете их на соответствующие вероятности, после чего принимаете такое решение, ожидание выигрыша в котором максимально.

В моем понимании, именно такую модель принятия решений принимают за идеал современные рационалисты, когда описывают рациональное принятие решений. Если вы считаете, что это не так, расскажите, как их учение понимаете вы.

Для дальнейших рассуждений нам понадобится обратить внимание на одну важную особенность описанной схемы. Все априорные вероятности, о которых в ней идёт речь, строго больше нуля и строго меньше единицы, в противном случае она не порождает содержательных выводов. Если мы изначально примем априорную вероятность некоторого события ровно за 0, то, как легко видеть, никакое применение формулы Байеса эту цифру не поменяет, апостериорное значение по-прежнему останется нулевым. Аналогично, апостериорная вероятность в этой схеме может оказаться нулевой только вследствие строгого логического противоречия между ожиданиями и наблюдениями, не зависящего от априорных вероятностей, и не имеющего никакого отношения ни к Байесу, ни вообще к теорверу.

Дальнейший аргумент будет построен следующим образом: мы опишем ситуацию, в которой чёткое и формальное следование "рациональной" схеме приводит к абсурдному поведению. В бытовом смысле ситуация очень проста. Скорее всего, после знакомства с ней у вас создастся впечатление, что выбор очевиден, и вовсе не требует каких-либо математизированных рассуждений. Тем не менее, окажется, что вывод, следующий из "рациональной" схемы рассуждений этому очевидному выбору противоречит, а значит, схема не идеальна и имеет серьезные ограничения применимости.

Итак, вот эта ситуация. Некий незнакомец присылает вам письмо, в котором говорится примерно следующее: "Здравствуйте, я очень могущественное существо (Бог, посланник сверхцивилизации IV типа и т.п.), принявшее этот облик для удобства коммуникации. Все мои враги будут подвергнуты бесконечным и вечным мучениям, что вполне в моих силах. Единственный способ показать, что вы не являетесь моим врагом -- совершить символический жест доброй воли, а именно, выслать мне прямо сейчас 3 доллара 50 центов".

Бытовой ответ на вопрос, выслать ли триписят в ответ на такое письмо, в общем, очевиден. Рассмотрим теперь ту же ситуацию с точки зрения современного байесианского рационализма.

Каким может оказаться апостериорное значение вероятности того, что незнакомец говорит правду, после того как мы приняли во внимание все обстоятельства и проделали все вычисления? Допустим, оно оказывается равно p>0. Понятно, что p очень, очень маленькое число, у него гигантское количество нулей после запятой. Тем не менее, поскольку ожидаемый проигрыш в варианте выбора "отказать незнакомцу" равен минус бесконечности, умноженной на p>0, а в варианте "согласиться" равен константе триписят, рациональным решением будет пожертвовать ему немного денег.

Но, может быть, мы могли бы получить p=0? Как уже упоминалось выше, такое могло произойти только в одном случае: в нашей картине мира априори зашиты некие фундаментальные соображения, по которым ситуация, в которой незнакомец говорил бы правду, невозможна. Не "очень-очень маловероятна", а именно логически неконсистентна, принципиально противоречит базовым принципам устройства Вселенной. Эти принципы должны являться для нас абсолютными аксиомами, нерушимыми, что бы мы ни наблюдали, что бы ни происходило вокруг. Это очень сильная установка, она, например, сильнее, чем вера любого религиозного фанатика (потому что для него теоретически можно предположить такой опыт, который заставил бы его усомниться, а для нас почему-то нет). В частности, если тот же незнакомец явится к нам лично, жонглируя миниатюрными галактиками и включая-выключая реальность вокруг вас щелчком пальца, p должно будет остаться равным нулю. Вряд ли наши априорные установки именно таковы.

Байесовские рассуждения для математиков и им сочувствующих выглядят такими естественными и универсальными, что в абзацах выше хочется найти какой-то подвох. Подвоха нет, ситуация явно за пределами их применимости. Что же именно "сломалось"?

Можно изобретать некие ad hoc патчи, например, традиционно объявить, что бесконечных выигрышей или проигрышей не бывает. Для этого, например, начнём учитывать их только с временным дисконтом, от чего вечные муки превратятся в большую, но всё же конечную константу, и неравенство получит шанс "сойтись" в правильную сторону. Мне такой способ спасти байесианство кажется нечестным. Дело не в бухгалтерии, и не в том, что нас самих через миллион лет нам не так жалко, как нас завтра. Проблема именно в том, что противник, уже зная, как мы собираемся рассуждать, может проводить целенаправленную атаку, на которую модель не рассчитана.

Я предлагаю вернуться к dutch book argument, и сделать более решительный вывод: в ситуациях конфликта (иначе говоря, "игры" в том смысле, в котором это слово понимается в теории игр) байесианские рассуждения неприменимы. Выше мы описали один вариант потенциального арбитража, то есть способ вытягивать из предположительно "рационального" актора произвольные выигрыши. Арбитраж работает только в случае игры с неполной информацией, а я не настолько зануда, чтобы строить тут исчерпывающую теорию, но, по-видимому, этим вариантом дело вовсе не ограничивается. Например, в случае игр с полной информацией и нулевой суммой основную теорему (существование равновесия в смешанных стратегиях) обычно описывают в терминах выбора такой-то стратегии с такой-то вероятностью. Как должно стать понятно после некоторого размышления, онтологически это совершенно другие вероятности, формуле Байеса они подчиняться не будут и вообще обращаться с ними следует иначе.

Более глобально, теория игр учит нас, что в ситуации конфликта важно вести себя именно недетерминированно, "вероятностно" (хотя вовсе не полностью хаотически). Это одно из немногих мест в теории, где вероятности вообще возникают "естественным образом", не как отражение неполноты наших знаний об окружающем мире, а как бы из ниоткуда. Вот почему мне кажется, что человек, предлагающий вам всегда вести себя определенным образом, так-то и так-то, потому что это рационально, автоматически должен вызывать здоровые подозрения. Полностью ли он нейтрален? Нет ли у него собственных интересов, отличающихся от ваших?

Не рассказывает ли этот человек заодно, что всесильная злая сущность собирается уничтожить человечество, нанеся нам проигрыш минус бесконечность, но, к счастью, тут может помочь триписят?

Хм, странное совпадение, в нашем случае именно это и происходит...

Comments:

Страница 1 из 2
<<[1] [2] >>
[User Picture]
From:combinator30
Date:Июль 11, 2018 10:11 am
(Link)
IMHO, подвох вот здесь - "Когда приходит пора действовать, вы "делаете ставку": определяете для каждого возможного развития событий определённое значение "выигрыша" (или "проигрыша")...". Вы неявно предполагаете, что значение "выигрыша" (или "проигрыша") может быть равно плюс или минус бесконечности. Но это методологически точно так же неверно, как и предположение о возможности равенства априорной вероятности нулю или единице. И дело тут вовсе не в "честности" или "нечестности".


Edited at 2018-07-11 10:18 (UTC)
(Ответить) (Thread)
[User Picture]
From:plakhov
Date:Июль 11, 2018 10:26 am
(Link)
> Можно изобретать некие ad hoc патчи, например, традиционно объявить, что бесконечных выигрышей или проигрышей не бывает
> Мне такой способ спасти байесианство кажется нечестным.
> Дело не в бухгалтерии <...> Проблема именно в том, что противник, уже зная, как мы собираемся рассуждать, может проводить целенаправленную атаку, на которую модель не рассчитана.

Бесконечность можем заменить на величину 100/p, например.
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]
From:redmassacre
Date:Июль 11, 2018 10:12 am

ух, захватывает дух

(Link)
Спасибо, интересные вопросы затрагиваете.

"Я описываю вполне законченную стройную концепцию, не имеющую никакого отношения к многомировой интерпретации, она ей полностью параллельна, работает что с ней, что без. Я её описываю прежде всего потому, что она популярна и активно популяризируется, и делаю это чуть более строго и подробно, чем это делается обычно, чтобы установить границы её применимости, я не её автор и даже не горячий фанат"

А можно чуть детальнее утилитарные кейсы и/или хотя бы ключевых слов в направлении _границ_применимости_ ?

Это все в итоге для людей или не очень?

Edited at 2018-07-11 10:13 (UTC)
(Ответить) (Thread)
[User Picture]
From:bvn_mai
Date:Июль 11, 2018 10:13 am
(Link)
"... Если вы считаете, что это не так, расскажите, как их учение понимаете вы..." - ну вот именно так, как Вы сейчас только что продемонстрировали - критическое восприятие идей Юдковского и, в частности, понимание ограничений при применении Байесовского подхода к принятию решений.То есть всегда включать голову.

:)

Edited at 2018-07-11 10:17 (UTC)
(Ответить) (Thread)
[User Picture]
From:kaathewise
Date:Июль 11, 2018 10:24 am
(Link)
Хороша только последняя строчка -- сравнить деятельность МИРИ с известным парадоксом мне в голову не приходило, это красиво.

Что касается доводов о несостоятельности байесианства, они, увы, ни о чем.

Полезность для индивидуума любого исхода не только не бесконечна, но и ограничена. Вот и все. Неясно, с чего бы рассмотрение бесконечных ставок представляется вам естественным. Можете ли вы стать в сколь угодно много раз "счастливее", например? Очевидно, нет.
(Ответить) (Thread)
[User Picture]
From:plakhov
Date:Июль 11, 2018 10:33 am
(Link)
Я выше уже ответил combinator30, что дело не в бесконечностях, бесконечность можем заменить величиной 100/p. Запретить выигрыши или проигрыши больше некоторой наперёд взятой константы это интересный, конечно, патч, но он тоже не помогает, просто насчёт этого писать придётся дольше.

Глобально все контрпримеры строятся на основе следующей универсальной дырки. В байесианстве есть https://en.wikipedia.org/wiki/Aumann%27s_agreement_theorem, она довольно неприятная. О ней есть отличное, хотя и длинное эссе http://mason.gmu.edu/~rhanson/deceive.pdf, советую.

TLDR: в байесовской логике можно строго показать при довольно широких предположениях, что два рациональных индивида обязаны в итоге согласиться по любому вопросу, а при ещё более широких можно показать, например, что любое сильное мнение, высказанное кем угодно вслух, должно автоматически менять твою позицию по любому вопросу. Это настолько очевидная уязвимость, что ярлык "рациональности" кажется неуместным.

Edited at 2018-07-11 10:35 (UTC)
(Ответить) (Parent) (Thread) (Развернуть)
Эссе - (Анонимно) (Развернуть)
[User Picture]
From:combinator30
Date:Июль 11, 2018 10:33 am
(Link)
Более глобально, теория игр учит нас, что в ситуации конфликта важно вести себя именно недетерминированно, "вероятностно" (хотя вовсе не полностью хаотически). Это одно из немногих мест в теории, где вероятности вообще возникают "естественным образом", не как отражение неполноты наших знаний об окружающем мире, а как бы из ниоткуда. Вот почему мне кажется, что человек, предлагающий вам всегда вести себя определенным образом, так-то и так-то, потому что это рационально, автоматически должен вызывать здоровые подозрения. Полностью ли он нейтрален? Нет ли у него собственных интересов, отличающихся от ваших?
======================
Вести себя "рационально" значит, грубо говоря, выбирать решение случайно вне зависимости от того, предполагаем ли мы у нашего противника или, скажем, Природы свои собственные интересы. Но частота случайного выбора нами вариантов того или иного решения должна задаваться именно вычисленной апостериорной вероятностью. Именно так с самого начала мы строили свою систему (за что первое время на выставках выслушивали недоумённые вопросы - почему в ответ на одни и те же входные данные ваша система может выдавать разный результат? Может быть, у неё в коде есть скрытый баг?). На таких же принципах, по сути, работает и знаменитая AlphaZero.
(Ответить) (Thread)
[User Picture]
From:andaja
Date:Июль 11, 2018 10:35 am
(Link)
Почему такой разный подход к ограничению для вероятности и ограничению для реворда? В данном случае, как существо живущее со слегка отложенным бесконечным проигрышем, я склонен рассматривать предложение "вечных мук" как лучшую альтернативу ;)

Edited at 2018-07-11 10:36 (UTC)
(Ответить) (Thread)
[User Picture]
From:plakhov
Date:Июль 11, 2018 10:40 am
(Link)
Бесконечность не нужна, это риторический приём. Нужно выбрать достаточно большое число. Если же вы имеете в виду совсем запретить выигрыши и проигрыши больше некоторой не очень большой константы, то давайте в этой ветке https://plakhov.livejournal.com/227597.html?thread=6386189#t6386189
(Ответить) (Parent) (Thread)
From:azesmer
Date:Июль 11, 2018 10:36 am
(Link)
Я правильно понял, что в этой системе рассуждений отправитель не рассматривается, как часть системы? Зря, и непонятно почему.

Он часть системы, как и мы. Соответственно, его собственные рассуждения, при отправке сообщения, должны нами учитываться, как рациональные. А они явно нерациональны. Он собирается напрячься и уничтожить мир за потерю части мира. Или, в единичном случае, потратиться на вечные муки для какого-то существа, если не получит 3.50.

Это явно убыточное предприятие - даже если не заплатит всего лишь один из миллиардов, он должен будет вечно кочегарить у топки (или понести сравнимые энергетически затраты) за весьма конечную сумму. Максимум за цену Эппла или там Майкрософта, не знаю, копейки. Это предельный случай. А так ожидаемый выход еще меньше. На другом конце, исходя их того, что письмо вообще одно, там стоит - "подряжаюсь на ВЕЧНОЕ мучительство, за 3 доллара 50 центов".

В итоге нерациональность такого поведения совершенно очевидна, и в аккураточку на 3.50 меньше рационального выбора "отправить деньги в ответ на письмо".

Ну или существо из иной реальности, и не подвластно нашей системе рациональности, но в таком случае и рассматривать его в системе рациональности бессмысленно. Если мы ничего не делали для такого существа и жили, рационально будет игнорировать его и дальше.
(Ответить) (Thread)
[User Picture]
From:grandrienko
Date:Июль 11, 2018 11:26 am
(Link)
Я думаю, в вашем примере с письмом от предполагаемого Б-га, на самом деле возможных вариантов гораздо больше. Наше понимание природы вещей заставляет нас делать интуитивные предположения и интерпретации ситуации, например, такие: этот Б-г вовсе не будет карать нас вечными муками за отказ прислать деньги, может наоборот он нас за это вознаградит, т.к. он проверял нас на рациональность.
(Ответить) (Thread)
[User Picture]
From:avva
Date:Июль 11, 2018 11:28 am
(Link)
Если не ошибаюсь, вы описали https://en.wikipedia.org/wiki/Pascal%27s_mugging.
(Ответить) (Thread)
[User Picture]
From:plakhov
Date:Июль 11, 2018 12:16 pm
(Link)
Я не знал, что у этого есть общепринятое имя собственное, спасибо. Действительно, частный случай, который я описал, это именно грабёж Паскаля, но проблема, на мой взгляд, гораздо шире: https://plakhov.livejournal.com/227597.html?thread=6389261#t6389261
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]
From:bik_top
Date:Июль 11, 2018 11:31 am

Пари Паскаля

(Link)
Если заменить 3.50 на «взять молельный коврик для намаза и справить на нём ритуальную нужду», то получается пари Паскаля. Можно было прямо на него сослаться, не плодя лишних персонажей.
(Ответить) (Thread)
[User Picture]
From:plakhov
Date:Июль 11, 2018 12:17 pm

Re: Пари Паскаля

(Link)
Не-не, от пари Паскаля это отличается именно наличием оппонента, и отличие существенное. Выше avva уже рассказал, что это, оказывается, называется "грабёж Паскаля".
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]
From:malaya_zemlya
Date:Июль 11, 2018 12:07 pm
(Link)
В предъявленном варианте задачи Байес не очень помогает, потому предлагается умножить очень большое неопределенное число на очень маленькое неопределенное число. Результат может быть любым, в зависимости от контекста, в том числе и триписят,

Если же начать конкретизировать, и, скажем, заменить абстрактные бесконечные муки, на более понятные "вывезем в лес и будем пытать автогеном", то 3.50 заплатятся легко.



Edited at 2018-07-11 12:07 (UTC)
(Ответить) (Thread)
From:azesmer
Date:Июль 11, 2018 12:18 pm
(Link)
Да нет. Мероприятие по вывозу в лес, со всеми накладными, включая подбор статьи для всех участников, скажем, на нынешнее время, несколько десятков тысяч баксов. Соответственно, на меньшие суммы месячных доходов держать бригаду нерационально. Откуда вывод - отправитель врет. Если бы у него такая бригада была, он отправлял бы письма другим людям и на другие суммы.
=> Платить нерационально.
(Ответить) (Parent) (Thread) (Развернуть)
[User Picture]
From:akor168
Date:Июль 11, 2018 12:28 pm
(Link)
"Здравствуйте, я очень могущественное существо (Бог, посланник сверхцивилизации IV типа и т.п.), принявшее этот облик для удобства коммуникации. Все мои враги будут подвергнуты бесконечным и вечным мучениям, что вполне в моих силах. Единственный способ показать, что вы не являетесь моим врагом -- совершить символический жест доброй воли, а именно, выслать мне прямо сейчас 3 доллара 50 центов".


А меняется ли что-то в аргументе, если вместо 3.50 в письме просят выслать дарственную на все ваше имущество, половину имущества? А если просто просят прислать уверение о всяческом почтении, без всяких денег?

Самое интересное, что лично для меня, чем больше просят, чем более вероятна разводка. То есть письмо с уверениями о почтении я пошлю не задумываясь, а вот уже насчет 3.50 подумаю, а если кто-то требует половину моего имущества, то это однозначно мошенник.

Если вернуться к вопросу, каким образом можно установить априорную вероятность того, что в письме написана правда, в ноль, то лично я и здесь не вижу особых проблем. Описанная ситуация попросту не-эстетична. Существо, которое действительно обладает подобными возможностями, не будет так грозить и выманивать мелкий гешефт. Более того, я не могу быть врагом данного существа, хотя бы потому что я до его письма о нем не знал, и если он обладает таким возможностями, то как я могу причинить ему хоть какой-то вред? И зачем мне ему его причинять? Тем более, я гарантированно не могу причинить ему вред, если я про него просто не знаю. Потому такое письмо просто не имеет смысла, если это правда, а вот если чувак хочет собрать себе на новый велосипед то очень даже (я даже не удивлюсь если подобное уже было в истории).
(Ответить) (Thread)
[User Picture]
From:kukutz
Date:Июль 11, 2018 09:17 pm
(Link)
Здравствуйте, я очень могущественное существо (Бог, посланник сверхцивилизации IV типа и т.п.), принявшее этот облик для удобства коммуникации. Все мои враги будут подвергнуты бесконечным и вечным мучениям, что вполне в моих силах. Единственный способ показать, что вы не являетесь моим врагом -- совершить символический жест доброй воли, а именно, выслать мне прямо сейчас письмо с уверениями о почтении не менее чем на 800 символов на адрес kukutz@ya.ru.
(Ответить) (Parent) (Thread) (Развернуть)
From:levgilman
Date:Июль 11, 2018 01:59 pm
(Link)
Есть вариант, что другое всемогущественное существо делает бобо именно тем, кто повёлся на разводку.
К тому же вместо трёх рублей могут быть не вечные, но длительные - и сильнейшие муки, от рака хотя бы, из-за того что человек не совершил самоубийства, поверив в сказки о всемогущем существе, карающем за него.
(Ответить) (Thread)
[User Picture]
From:kray_zemli
Date:Июль 11, 2018 02:02 pm
(Link)
Малая вероятность имеет смысл, если "сыграть" в неё можно большое количество раз. А это не так.

Допустим, каждый месяц вам может упасть кирпич на голову с вероятностью 0.1%. Вы играете в игру, где эта вероятность повышается до 0.11%, но можно с 99% выиграть, скажем, $3K. Итого, у вас есть 99.9% шанс дожить до следующего месяца без выигрыша, или 99.89% шанс дожить с 99% получить $3K. Как здесь действовать? Понятно, что нужно исходить из того, чтобы вероятность закончить с кирпичом на голове за N времени не превышала X, а дальше уже максимизировать выигрыш.

Собственно, статистически критерии обычно так и формулируются: с вероятностью 99% наша теория верна, а с 1% она полнейшая лажа.

Edited at 2018-07-11 14:06 (UTC)
(Ответить) (Thread)
[User Picture]
From:kray_zemli
Date:Июль 11, 2018 02:09 pm
(Link)
Раз пошла речь про dutch book, написали бы лучше, чего вы добились по этой теме в контексте чемпионата.
(Ответить) (Thread)