?

Log in

No account? Create an account

Об Байеса - 1.5 - Не кинокритик. Не палеонтолог.

фев. 25, 2018

04:39 pm - Об Байеса - 1.5

Previous Entry Поделиться Next Entry

Продолжение-пояснение, начало здесь.

Я обещал, что эта часть будет последней, почитав комментарии к предыдущей, я понял, что вас обманул. Придётся сделать промежуточные разъяснения, потому что начало поняли не все, включая людей, в интеллектуальных способностях которых я абсолютно не сомневаюсь.

Аргумент букмекерской вилки (мой перевод словосочетания Dutch book argument) решает следующую задачу. Язык теории вероятностей на практике применяется не только для описания событий, относящихся к будущему, ещё не произошедших, но и для описания текущего состояния мира. Возможность использовать утверждения вида "с такой-то вероятностью мир устроен так-то" принципиальна для многих работающих и респектабельных методов, от байесовских методов в медицинской статистике до логистической регрессии. Хотелось бы иметь обоснование того, почему "так можно", о каких величинах мы на самом деле при этом говорим и какое отношение они имеют к классическим вероятностям a la Колмогоров. Хотя бы для того, чтобы разобраться, а в каких же ситуациях "так нельзя", ради чего я, собственно, эти заметки и пишу.

В комментариях к первой части есть повторяющаяся тема: читатели считают, что применимость теории вероятностей на практике тесно связана с многомировой интерпретацией или, по крайней мере, на это прозрачно намекают. Я понимаю их идею так: вероятность это "просто" доля тех миров в мультивселенной, в которых событие произошло. Для них фреквентистский подход в многомировой интерпретации является лучшим оправданием применимости теории вероятностей к реальной жизни, нежели байесовский в моём изложении.

Подумав обо всём этом, я понимаю эмоциональную привлекательность такой точки зрения. Идея, что "вероятности" объективны и, хотя бы теоретически, поддаются строгому измерению, действительно, может показаться более сильной, нежели идея, что они субъективны. А аргумент, в ходе которого субъекты должны заключать какие-то там пари, ещё и выглядит искусственным (по крайней мере, на первый взгляд). Кроме того, идея "мультивселенной" очень наглядна, визуальна и много раз проиллюстрирована Голливудом и прочими медиа. "В конце концов, это просто красиво". Я с такой точкой зрения, тем не менее, абсолютно не согласен сразу по многим причинам.

Во-первых, существование "мультивселенной" в таком представлении (бесконечное множество слегка отличающихся параллельно существующих миров) вообще не является доказанным утверждением. В частности, многомировая интерпретация квантовой теории на самом деле выглядит совершенно иначе и гораздо сложнее, чем в Футураме. На эту тему сложно писать, не погружаясь в формулы, но, вкратце, в ней даже нет никаких вероятностей, вместо них есть "амплитуды", комплексные числа. В "вероятности" они превращаются только в копенгагенской интерпретации, которая как раз предполагает их зависимость от некоторого субъекта-наблюдателя. Если кому-то интересно в этом разобраться детально, я очень рекомендую Скотта Ааронсона. Начать можно, например, отсюда. Или, если мультики вам нравятся больше, то, в отличие от Футурамы, "Рик и Морти" в s2e01 справились с задачей гораздо, гораздо лучше!

Во-вторых, требуя, чтобы вероятности были объективными величинами, мы запрещаем себе задавать многие интересные вопросы, например, "с какой вероятностью Икс жулик". Действительно, сам Икс знает это совершенно определенно, то есть для него эта вероятность или 0, или 1. Если вероятности объективны, то это означает, что и для остальных наблюдателей она должна оказаться той же самой. Идея, из которой следует, что любой, например, кредитный скоринг никак фундаментально не обоснован и по является не более чем карго-культом, мне кажется чересчур уж смелой (мне не кажется смелой идея, что это действительно так иногда, в некоторых организациях).

В-третьих, хуже того, в целом лишаются смысла утверждения "объект принадлежит к интересующему нас классу с вероятностью p". В машинном обучении и так немало математизированных приёмов, которые мы применяем только потому, что они работают, а не потому, что умеем строго их обосновать (многие виды регуляризации, например). Усугублять эту проблему, признав непонятно как работающей магией примерно все применяемые на практике методы классификации, это уж как-то совсем смело.

В-четвертых, давайте разберём, что означают утверждения о вероятностях, которые всё-таки имеют смысл говорить в фреквентистской мультивселенной. Например, точный смысл утверждения "жизнь на поверхности Марса в настоящее время маловероятна", если я правильно понимаю оппонентов, оказывается сложной условной частотой: доля тех Марсов, на которых есть жизнь, среди всех Марсов во всех возможных мирах, в которых есть мы и есть Марс, выглядящий с точки зрения землян в точности так же, как наш. Мне кажется очевидным, что эта вероятность далека по смыслу от той величины, которая на самом деле имеется в виду теми, кто подобное предложение произнесёт. Мне также кажется очевидным, что как-то оперировать с подобными величинами человечеству пока что совершенно не под силу чисто вычислительно, и на практике никто этим, конечно, не занимается.

В-пятых, наконец, если вас всё это не убедило, я скажу ещё одну вещь: ну и что :) Даже если "многомировые вероятности" после всего сказанного по-прежнему кажутся вам жизнеспособной концепцией, это никак не отменяет того, что аргумент букмекерской вилки является совершенно другим, никак на это не опирающимся и никак ему не противоречащим, объясненим того, почему теорвер так хорошо работает на практике.

Comments:

[User Picture]
From:p2004r
Date:Февраль 25, 2018 02:19 pm
(Link)
Мне представляется проблема рассуждения "с мистером Х" в том, что говорится о вероятности, а на самом деле в примере идет речь о нашей оценке вероятности (то есть уже о неком распределении).

И в случае перехода к принятию решения "доверять Х" мы получаем просто доверительный интервал по процентил(ю|ям) этого распределения-оценки которы(й|е) выбрали за порог принятия решения.

Наше распределение-оценка никак не препятствует существованию "истинной вероятности" суждения о честности X. Оно просто пытается его поймать внутрь доверительного интервала достаточного для принятия решения.

PS Но это просто в плане поддержания дискуссии :).

Edited at 2018-02-25 16:32 (UTC)
(Ответить) (Thread)
[User Picture]
From:voidex
Date:Февраль 25, 2018 02:58 pm
(Link)
> доля тех Марсов, на которых есть жизнь, среди всех Марсов во всех возможных мирах, в которых есть мы и есть Марс, выглядящий с точки зрения землян в точности так же, как наш. Мне кажется очевидным, что эта вероятность далека по смыслу от той величины, которая на самом деле имеется в виду теми, кто подобное предложение произнесёт.
А можете развернуть, в чём отличие?
(Ответить) (Thread)
[User Picture]
From:ikadell
Date:Февраль 25, 2018 05:41 pm
(Link)
Для ситуации с Х - жулик, как мы работаем с предсказанием расклада, когда он не собирался жульничать, но так сложились обстоятельства? Он считает себя честным человеком, один раз сбившимся с пути, а сторонний наблюдатель считает его жуликом. Мы все ещё можем оперировать в парадигме объективной вероятности?
(Ответить) (Thread)
[User Picture]
From:Алексей Шаграев
Date:Февраль 25, 2018 07:06 pm
(Link)
> Во-первых, существование "мультивселенной" в таком представлении (бесконечное множество слегка отличающихся параллельно существующих миров) вообще не является доказанным утверждением

Ну так ведь времена позитивизма уже прошли :)

> Во-вторых, требуя, чтобы вероятности были объективными величинами, мы запрещаем себе задавать многие интересные вопросы, например, "с какой вероятностью Икс жулик"

По-моему, не запрещаем. Эти утверждения нужно понимать вот ровно в ML-смысле. Пусть есть некоторое количество людей, про которых мы знаем примерно то же, что и про Икс. Какова доля жуликов среди таких людей?

Наиболее правильная вероятность - конечно, такая: есть множество вселенных, в которых знание про Икс эквивалентно нашему, и только в части из них он является жуликом. Доля тех вселенных, в которых он жуликом является - и есть искомая вероятность. К этой вероятности мы делаем некоторую аппроксимацию (см. выше), потому что больше ничего нам не остаётся. Тем не менее, не вижу причин, по которым вопрос об истинном значении вероятности является невалидным.

Вообще, понятие "неотличимости" для многомировой интерпретации является весьма важным, на нём можно базировать понятие вероятности в смысле доли вселенных, в которых произойдёт некоторое событие среди всех, что сейчас неотличимы от некоторой конкретной. Аналогично, можно взять некоторое множество объектов, неотличимых с некоторой точки зрения, измерить для них некоторую характеристику и обозвать соответствующую величину вероятностью того, что эта характеристика равна тому-то на конкретном объекте - почему бы и нет?

> В-третьих, хуже того, в целом лишаются смысла утверждения "объект принадлежит к интересующему нас классу с вероятностью p".
Это тот же аргумент, что и аргумент №2, только сформулированный в большей общности.

> Мне кажется очевидным, что эта вероятность далека по смыслу от той величины, которая на самом деле имеется в виду теми, кто подобное предложение произнесёт

А какой смысл обычно вкладывают в эти слова? Тут нужно бы развернуть. Я вот не уверен в том, что различия есть. Мне кажется, что свести одно к другому вполне возможно.

Кроме того:

1. Ещё один аргумент (мой) ты забыл, а именно: мне не нравится, что в твоей интерпретации понятие вероятности зависит от наличия во вселенной "разумного наблюдателя", который имеет возможность делать некоторые предсказания. Мне же хочется, чтобы понятие вероятности не было зависимо от наличия такого наблюдателя - например, хочется, чтобы вероятности существовали во вселенной и до того, как в ней появились, скажем, люди.
2. Я не уверен, но, возможно, в твоей интерпретации имеется логический цикл. Возможно, само понятие "стратегии", при помощи которой можно гарантированно победить или проиграть в пари, требует уже введённого понятия вероятности.

Edited at 2018-02-25 19:17 (UTC)
(Ответить) (Thread)
[User Picture]
From:plakhov
Date:Февраль 26, 2018 08:28 am
(Link)
Лёша, твой ответ вызвал у меня фрустрацию, мы тут настолько на разных языках говорим, что я даже не понимаю, с чего начинать контакт. Есть подозрение, что ты неправильно понял мою цель. Я описываю вполне законченную стройную концепцию, не имеющую никакого отношения к многомировой интерпретации, она ей полностью параллельна, работает что с ней, что без. Я её описываю прежде всего потому, что она популярна и активно популяризируется, и делаю это чуть более строго и подробно, чем это делается обычно, чтобы установить границы её применимости, я не её автор и даже не горячий фанат. Возражение, что она не дает возможности работать с вероятностями в мире, который есть сад расходящихся тропинок, но в котором нет разумных агентов, я понимаю логически, но не понимаю по существу: ну и что? Ну не даёт. Такие миры никакого отношения к нашему не имеют, наш совершенно противоположный, вот именно в этих двух аспектах. Более того, любая интересная мне реальность, даже потенциальная или модельная, содержит в качестве по крайней мере одного разумного агента _меня_, практически по определению. Наверное, возможны и другие, чисто фреквентистские попытки обосновать теорию вероятностей, но ничего похожего на законченное обоснование такого рода я нигде не видел. Ты вроде бы выступаешь за этот вариант, но тоже не пытаешься его породить. На этом пути есть множество проблем, часть из них я описал.
(Ответить) (Parent) (Thread)
[User Picture]
From:kray_zemli
Date:Февраль 26, 2018 11:13 am
(Link)
наш совершенно противоположный, вот именно в этих двух аспектах.
Ну, начинается...
(Ответить) (Parent) (Thread)
[User Picture]
From:Алексей Шаграев
Date:Февраль 27, 2018 07:41 pm
(Link)
Как мне видится, наши расхождения имеют две причины:
1. Я видел [для меня] достаточно стройное объяснение связи многомировой интерпретации с понятием вероятности (и некоторыми другими понятиями, например, знанием) вполне конкретно у Д. Дойча в "Структуре реальности". Если такого объяснения пока не встречал, или встречал, но не считаешь достаточно стройным, нам действительно будет трудно друг друга понять. В таком случае только могу сказать, что прочитанное меня более чем устраивает и я оптимистический взгляд автора на проблему разделяю, более того, вижу некоторые дополнительные преимущества - скажем, интересные следствия в области этики, ну да сейчас речь не об этом.
2. Для меня принципиально важно, что значение вероятности существует объективно и равно чему-то конкретному, пусть даже мы и не умеем это измерять. Мне кажется, что проблема определения вероятности жизни на Марсе - она примерно про это: на самом деле проблема в том, что мы "не умеем её вычислять", но вместо решения этой проблемы мы пытаемся решить другую - "невозможности определения вероятности" указанного события, и эта подмена меня расстраивает. Мне кажется, что одна из задач науки - учиться всё лучше эти истинные вероятности предсказывать. Поскольку пока что в твоём изложении я не видел ясной связи между вероятностями в голове мыслящего субъекта и объективно существующими вероятностями реального мира, твоя концепция не является для меня удовлетворительной. Очень может быть, что спасением здесь является третья часть рассказа, которая как раз и должна пролить свет на эту связь :)

PS: А ещё ты ничего не сказал про п. 2 из PS :)

Edited at 2018-02-27 19:42 (UTC)
(Ответить) (Parent) (Thread)
[User Picture]
From:plakhov
Date:Февраль 26, 2018 08:32 am
(Link)
> Это тот же аргумент, что и аргумент №2,
> только сформулированный в большей общности.
Аргумент номер 2 -- это то, что нельзя придавать объективное значение вероятности скрытым мотивам некоторого субъекта (разве что в каком-то очень узком смысле, не в том, который нас обычно в такой ситуации интересует).
Аргумент номер 3 -- то, что утверждение "картинка принадлежит к классу котики с вероятностью 0.95" в фреквентистской интерпретации бессмысленно.
По-моему, совсем разные аргументы, хотя конкретно на кредитном скоринге и частично пересекающиеся.
(Ответить) (Parent) (Thread)
[User Picture]
From:p2004r
Date:Февраль 25, 2018 08:41 pm
(Link)
Бесконечная генсовокупность физически реальна! Так победимЪ! :)

Интересно, а никаких физопытов (с какой нибудь схемой интерференции хитро устроенной например) не планируется, что бы ограничения на эту бесконечность вариантов мультивселенной попытаться повесить?
(Ответить) (Thread)
[User Picture]
From:kray_zemli
Date:Февраль 26, 2018 11:34 am
(Link)
Наверное, оценку снизу можно связать с достижениями в области квантовых вычислений. Если верить википедии, добрались до 50 кубит. Значит, порядка 1015 особей в популяции вселенных имеется.
(Ответить) (Parent) (Thread)
From:sleepy_drago
Date:Февраль 26, 2018 07:49 am
(Link)
>Усугублять эту проблему, признав непонятно как работающей магией примерно все применяемые на практике методы классификации, это уж как-то совсем смело.

вы так это пишете как будто в этом есть чтото постыдное. имхо все уже к этому факту привыкли и никого распознавшимся ружьем на невинной фотографии не удивишь. я разумеется от этого далек так что воспринимайте как беседу в супермаркете =)
(Ответить) (Thread)
[User Picture]
From:kray_zemli
Date:Февраль 26, 2018 11:44 am
(Link)
Это с черепашкой? Там не невинная фотография. Там, если приглядеться, намеренно натянута текстура, сильно напоминающая стыковку деревянного цевья с металлическим стволом. Судя по всему, сеть решила, что это наилучший способ распознавать ружья на обучающей выборке. Видимо, контрпримеров не было. Да и что можно ожидать от свёрточной сети кроме распознавания текстур?

Главный секрет магии ML в том, что работает она через жопу, отдавая предпочтение не тем признакам, которые характеризуют объект по существу, что привыкли делать мы как более-менее разумные существа (ружьё -- это то, что технически приспособлено для стрельбы), а по какими-то второстепенными и случайными признакам, которые ей легче распознать.
(Ответить) (Parent) (Thread)
[User Picture]
From:major_m
Date:Февраль 28, 2018 07:35 am
(Link)
Мне кажется, аргумент букмекерской вилки не очень прост для понимания. Т.е. мне стало понятно, как оно работает только после того, как прочитал английский пост, и прошел через доказательство нескольких аксиом.

Может его стоит подробнее расписать? :)
(Ответить) (Thread)
[User Picture]
From:_slw
Date:Февраль 28, 2018 12:47 pm
(Link)
ну там вообще, кмк, ничего не понятно для невовлеченного человека (например для меня).

что значит "заключаем пари"? можно кокретизировать до програмисткого формализма?

и не полчится ли в конце концов что мы неявно при этом начинаем работать в колмогоровской аксиоматике и исключительно по этому "произвольные вероятности" должны ей подчиняться?
(Ответить) (Parent) (Thread)
[User Picture]
From:major_m
Date:Март 1, 2018 01:29 am
(Link)
Да, можно, но лучше сформулировать немного по другому. У нас есть набор событий и рынок ставок. На рынке есть агенты, и каждый определяет степень уверенности в каждом событии -- это некоторое число q.

Дальше, по рынку ходят ценные бумаги. Для события A можно сделать ценную бумагу со положительной ставкой S. Цена бумаги q * S. Если событие происходит, покупатель получает от продавца S денег, если нет -- не получает ничего. Т.е. получается такая доходность:

Событие A произошло: S - q * S = (1 - q) * S
Событие A не произошло: -q * S

Агент, который уверен в событии A со степенью q, готов купить бумагу по цене q' * S для любого q' <= q. Для него ожидаемая доходность будет q * (1 - q') * S - (1 - q) * q' * S, что не меньше нуля. По тем же причинам, агент готов продавать все бумаги по q' * S для q' >= q.

Дальше, мы говорим, что у нас есть гарантированный арбитраж, если мы можем накупить ценных бумаг у агента так, что чтобы не произошло, мы окажемся в плюсе, а агент в минусе. Если предположить, что агент не дурак, то такой ситуации быть не может. Внезапно, оказывается, что если агент не дурак, то его степени уверенности ведут себя как вероятности.

Можно в качестве упражнения показать, почему уверенность может быть только от 0 до 1. Или, например, что если агент уверен, что кубик выкинет 1 на q_1, и 2 на q_2, то он уверен, что кубик выкинет 1 или 2 с уверенностью q_1 + q_2.
(Ответить) (Parent) (Thread)
[User Picture]
From:_slw
Date:Март 1, 2018 06:42 am
(Link)
A можно сделать ценную бумагу со положительной ставкой S. Цена бумаги q * S. Если событие происходит, покупатель получает от продавца S денег, если нет -- не получает ничего.

мне кажется в этот момент за счет неограниченного бюджета выпускальщика бумаг мы всех игроков подравниваем под его правила. а так как у него по сути аксиоматика колмогоровская, то и остальные вынуждены будут действовать в ней же.

это не показатель единственности колмогоровской аксиоматики, это показывает что если приходит неограниченный бюджет с колмогоровской аксиоматикой, то все прогибаются под него. это не очень-то интересно ("не берите кредит в валюте, отличной от валюты потоянного дохода")
(Ответить) (Parent) (Thread)
[User Picture]
From:major_m
Date:Март 1, 2018 07:00 am
(Link)
Выпускать бумаги может любой игрок. Я могу, вы можете, все могут. При этом все игроки могут оценивать каждое событие по своему. И главное тут, не то, насколько верно они оценят событие, а то, что их оценки будут согласованными. Если где-то есть нестыковка, мы можем при любом исходе вытащить из игрока деньги в нашу пользу.

Размер бюджета здесь особой роли не играет. Может быть у всех по одному рублю. Но мы его дробим на столько частей, сколько ценных бумаг нам нужно.
(Ответить) (Parent) (Thread)
[User Picture]
From:_slw
Date:Март 1, 2018 07:05 am
(Link)
игрок, но не агент.
у игрока бюджет по построению не ограничен.
бумаги он выпускает в колмогровской аксиоматике, отсюда все и следует.
если ввести правила выплаты другие, да еще скажем нелинейные и/или с разрывами/разрывами производной -- получится может и другие результаты (кмк)
(Ответить) (Parent) (Thread)
[User Picture]
From:nil_0
Date:Март 1, 2018 07:17 am
(Link)
"если ввести"
Введите. И расскажите.
Думаю, это был бы интересный результат.
(Ответить) (Parent) (Thread)
[User Picture]
From:_slw
Date:Март 1, 2018 08:11 am
(Link)
да, мне тоже так кажется.
но это довольно много работы.
(Ответить) (Parent) (Thread)
[User Picture]
From:nil_0
Date:Март 1, 2018 09:58 am
(Link)
Оно того стоит.
(Ответить) (Parent) (Thread)
[User Picture]
From:_slw
Date:Февраль 28, 2018 12:45 pm
(Link)
Во-вторых, требуя, чтобы вероятности были объективными величинами, мы запрещаем себе задавать многие интересные вопросы, например, "с какой вероятностью Икс жулик". Действительно, сам Икс знает это совершенно определенно, то есть для него эта вероятность или 0, или 1. Если вероятности объективны, то это означает, что и для остальных наблюдателей она должна оказаться той же самой.

насколько я понимаю -- нет.
т.е. для X это событие уже [не]случившиеся, и вероятность его 0|1.
для остальных наблюдателей это формулируется иначе, например так: делаем выборку из массы людей персон обладающими ризнаками П1..ПN (и которыми обладает X), с какой вероятностью в данной выборке будет жулик для случайно выбранной персоны?
(Ответить) (Thread)
[User Picture]
From:bik_top
Date:Март 4, 2018 08:10 pm

За Байеса - 2

(Link)

Где пост, Плахов? Нам нужен пост!
(Ответить) (Thread)
[User Picture]
From:bik_top
Date:Март 25, 2018 10:14 am

?

(Link)
Месяц уже прошёл. Продолжение подвешено.
(Ответить) (Parent) (Thread)
[User Picture]
From:bik_top
Date:Июль 4, 2018 01:31 pm

Re: ?

(Link)
Забыл, что ли? Мы помним!
(Ответить) (Parent) (Thread)
[User Picture]
From:pffnzrpb
Date:Май 13, 2018 10:21 am
(Link)
Скажите пожалуйста, будет ли когда-нибудь окончание?
(Ответить) (Thread)