любопытно

Является ли реальность илюзией?

Trigger warning: экзистенциальный ужас, депрессия, байесовский подход
Disclaimer: текст сильно пересекается с моим последним новогодним докладом

Первым делом человек, которому всерьёз задают подобный вопрос, думает, что автор вопроса немного того. Во-первых, угадывается нечто больное в самом интересе к нему. Иллюзорна ли реальность? Живём ли мы "в Матрице"? Скажите, в какой момент у вас впервые появились эти идеи? Во-вторых, конечно же, нет! В-третьих, вопрос бессмысленный: даже если и живём, что это вообще меняет?

Во-первых, я кувшин не брал, во-вторых, вернул его целым, в-третьих, он и был с трещиной.

Далее я расскажу
- какого рода рассуждения делают вопрос вообще осмысленным
- как применить их к вопросу "является ли реальность иллюзией"
- какие дополнительные факты могут влиять на ответ (в частности, возможна ли "Матрица" технически)
- с помощью каких экспериментов можно приблизиться к ответу
- как мог бы выглядеть jailbreak, если окажется, что ответ "да"

Ответ на вопрос "почему всё это имеет смысл" основан на разновидности вероятностных рассуждений, которая с непривычки может показаться запутанной и мутноватой, особенно если итоговый вывод противоречит нашей изначальной интуиции (а он противоречит). Чтобы подготовиться, мы сначала рассмотрим более простой пример рассуждений того же типа. К "Матрице" они никак не относятся, это просто вводное упражнение, но оно интересно само по себе и до сих пор вызывает большие споры.

Collapse )

Продолжение следует
любопытно

How to lie with a log-log plot

Книге "How to lie with statistics" уже 65 лет. Приёмы, о которых рассказывал её автор, сейчас выглядят довольно примитивно, в XXI веке каждый* знает, что такое selection bias, чем среднее отличается от медианы и почему корреляция ваще ничего не значит**.

*то есть я и мои друзья
**нет, серьезно, it doesn't imply causation, but only until it kinda does

Искусство показывать на корректных цифрах несуществующие тренды и зависимости за три поколения шагнуло далеко вперёд. vashu11 показал мне в комментах потрясающий пример: "Полезность от экспоненциальной модели можно видеть хотя бы по графикам https://aatishb.com/covidtrends/"

По ссылке виден красивый график, на котором точки, соответствующие разным странам, как обычно на графиках про коронавирус, бегут со временем куда-то вверх и вправо, сначала очень решительно, потом более задумчиво. Эта визуализация отличается от прочих двумя особенностями: во-первых, траектории разных стран в начале эпидемии выглядят очень ровными и похожими друг на друга. Во-вторых, они очень близки к устрашающей линии, названной "2 Day Doubling Time of Confirmed Cases". Всё это визуально очень убедительно и красиво. Окончательно помогает определиться плашка "Notice that almost all countries follow a very similar path of exponential growth. We're all in this together".

Бей сосули лазером

Хорошая визуализация иногда бывает именно такой, отсекая всё лишнее и оставляя то, что действительно важно, после чего суть происходящего оказывается очевидной. Но здесь всё слишком уж красиво. Эпидемия в Китае, Южной Корее, Италии и США развивалась по четырём совершенно разным сценариям. Исходные цифры выявленных зараженных, по которым строятся эти графики, очень шумные, зависят от того, с какой скоростью в разных странах разворачивали тестирование, кого именно тестировали и как работало отслеживание контактов; за последние месяцы все эти факторы сильно поменялись. Наконец, настораживает "удвоение каждые два дня", такую цифру про коронавирус я видел редко и никогда как "типичную". Но ведь вот же, всё на графике!

Этот фокус неподготовленный человек так с ходу и не разгадает. Если бы у нас не было более приличных визуализаций тех же процессов (моя любимая инфографика https://ft.com/coronavirus-latest, но и более распространенный и полный https://www.worldometers.info/coronavirus тоже сойдёт), я бы сам принял его за чистую монету.

Первое подозрение, конечно, вызывает то, что это log-log plot. На лог-лог шкале любая степенная зависимость начинает выглядеть как прямая линия, но обратное неверно, об этом написано даже в википедии.

...going in the other direction – observing that data appears as an approximate line on a log–log scale and concluding that the data follows a power law – is invalid.

In fact, many other functional forms appear approximately linear on the log–log scale, and simply evaluating the goodness of fit of a linear regression on logged data using the coefficient of determination may be invalid


Короче, если вы видите log-log plot, визуально "доказывающий" гипотезу о характере зависимости, будьте осторожны, возможно, авторы хотят вас обмануть (или себя).

Давайте нанесём на график ещё одну прямую, соответствующую увеличению на 10% в неделю. Согласитесь, такая ситуация радикально отличается от удвоения каждые двое суток, изображенного пунктиром.

ok google, как в Paint вставить текст под углом?

По-моему, тот факт, что все траектории проводят некоторое время в узкой зоне между двумя этими прямыми, после этого становится заметно менее впечатляющим.

Но всё ещё хуже!

Перед нами не просто log-log plot двух величин, это даже не log-log plot значения величины и её производной. Это log-log plot текущего значения величины и её прироста за прошлую неделю.

Например, именно из-за этого в верхней левой половине графика ничего нет: случаев, выявленных за последнюю неделю, не может быть больше, чем случаев всего. И именно поэтому траектория Южной Кореи на нём в течение двух недель выглядит так же, как выглядела бы экспоненциальная, хотя реальный прирост выявленных случаев там был связан с сектами и суперразносчиками и выглядел, хоть и устрашающе, но довольно хаотически:

Приз тому, кто найдёт экспоненту

Так что на самом деле нарисовано на графике aatishb.com/covidtrends?

Сразу в нескольких странах большая часть среди первых 1000-5000 случаев была выявлена в течение одной недели.

Вы можете проверить самостоятельно, что выполнение этого условия необходимо и достаточно, чтобы нарисовать именно ту траекторию, которая в оригинале сопровождается словами

Notice that almost all countries follow a very similar path of exponential growth. We're all in this together

В конце подобной записи по традиции должны следовать неловкие уверения, что автор блога не является денайером и верит в то, что коронавирус существует, руки мыть нужно, а земля геоид. А вот и они.
любопытно

Slate Star Codex - II

Продолжение предыдущей записи

Предупреждение: Scott Alexander славится своим умением писать бесконечно длинные тексты. В качестве трибьюта мой текст, посвященный его блогу, является умеренно бесконечно длинным.

По понятным причинам давать веб-ссылки на записи в блоге Slate Star Codex теперь бессмысленно. В отличие от веб-архивов, у физического файла больше шансов пережить разные катаклизмы, поэтому я буду использовать pdf-архив, который лежит тут (если эта ссылка прекратит своё существование, напишите, я его выложу куда-нибудь ещё).

Как могут заметить те, кто скачает pdf-ку, в ней 9500 страниц. Это качественные, хорошо написанные, продуманные тексты. Для подготовки значительной их части автор должен был прочитать десятки статей, осознать и провести содержательный метаанализ. Всё это Scott Alexander успел проделать примерно за семь лет, умудрившись параллельно с этим стать и оставаться практикующим врачом-специалистом (и это в Штатах, где вторую задачу саму по себе часто описывают как "гонку всей жизни"). Чисто количественно это больше, чем я считал возможным для человека. Лично я не в состоянии писать с такой скоростью даже несколько дней подряд, и даже находясь при этом в отпуске (вопрос качества замнём для ясности). Но это не что-то сверхчеловеческое и не заставляет заподозрить "коллектив авторов". Скорее, мои ощущения похожи на ощущения спортсмена-любителя, посмотревшего, как выглядят тренировки олимпийского чемпиона. Отлично мотивирует.

Небольшое отступление. Насколько серьезным преимуществом является родной английский язык? Пишут, что у Скотта было 20000-30000 регулярных читателей. Предположим, он писал бы по-русски в период расцвета ЖЖ. Думаю, что десятитысячником он стал бы легко. Это неожиданно: я думал, что размеры англоязычной и русскоязычной ноосферы (изинити, не придумал, как их обозначить менее претенциозно) отличаются в 7-10 раз, а не в 2-3. А вот насчёт очных встреч там всё сильно лучше, чем в той же Москве (например, он может прилететь в Долину на пару недель и предполагать, что за это время поучаствует по крайней мере в нескольких интересных сходках и сборищах); эту часть нам надо бы исправить. А ещё наверняка же во франкофонной или, там, немецкоязычной блогосфере не менее интересные мыслители голодными сидят, а бедным шведам и финнам и совсем тяжело. Уважаемые тренирователи трансформеров, скорее улучшайте машинный перевод до той степени, когда всё это уже станет неважно, пожалуйста, спасибо вам огромное заранее!

Почему я всё о количестве. Потому что перед нами случай, когда оно даже не переходит в качество, а само по себе является качеством. На любую тему, от узкоспециальной до общезначимой, Scott Alexander способен подогнать текст длиной в пару десятков страниц, стимулирующий дальнейшие размышения просто за счёт массы возникающих ассоциаций и неожиданных углов. Там, где я с ним не согласен, несогласие ближе к "Постойте, возможно же и другое объяснение" или к "Эту мысль стоило бы продумать, а не отмахиваться", а не к "Господи, зачем я это вообще читаю".

Scott Alexander, насколько вообще осмысленно такое ранжирование, второй-третий по рангу среди современных рационалистов (в зависимости от того, считать ли Ника Бострома). Именно поэтому раньше я, к большому моему сожалению, не очень обращал на него внимание. Если чтение текстов даже главного рационалиста совершенно не создаёт у меня ощущения саморазвития (your mileage may vary), но зато весьма часто создаёт ощущение, что меня пытаются провести, зачем же читать неглавного?

Разница между ними, как оказалось, принципиальная. Элиезер Юдковский учит, а то и поучает. Он познал истину (за исключением, может быть, деталей) и видит свою задачу в том, чтобы донести её до остальных. Истина во всём её объеме для обычного человека эмоционально неприемлема и массы следует готовить к ней постепенно. Иными словами, автор на старте ставит себя выше читателя. Это плохо даже не по эмоциональным причинам, а потому что ненужным образом ограничивает самого автора. "Приключения Гекльберри Финна" и "Алису в стране чудес" могут читать и дети, и взрослые, про "Гарри Поттера" этого уже не скажешь.

Ну так вот, Scott Alexander не такой! Ему действительно интересно, а как всё на самом деле (ну или он умнее и обманывает гораздо тоньше). Комментаторы и рецензенты всякого рода отмечают, что S.A. удивительно доброжелателен и открыт. Я присоединюсь. Он по умолчанию в любом обсуждении занимает следующую позицию: у собеседника есть свои веские причины думать так, как он думает, и говорить то, что он говорит.

Ну как бы в пересказе звучит как нечто само собой разумеющееся, да? Давайте на конкретных примерах. Оппонент имеет степень по гендерным исследованиям и просит называть себя "оне"? Будем считать, что оне после своих пятилетних штудий знает о взаимоотношениях полов что-то, чего (пока) не знаем мы и, конечно же, будем называть онех так, как оне просят, ведь это элементарная вежливость. Оппонент призывает к этнической сегрегации, неоколониализму и восстановлению монархии? Будем считать, что у него есть веские причины так думать, разберем его аргументы в пользу такой точки зрения, отметим среди них наиболее интересные и, конечно же, будем общаться с ним не менее вежливо.

Это реальные примеры. Я лично не умею быть настолько непредвзятым и с ходу в голову не приходит никто, кто умел бы.

И это, внезапно, имеет смысл!

Есть два способа создавать новое знание. Первый это честно попытаться разобраться в каком-то вопросе, не зная ответ заранее, и рассказать остальным о том, что для себя понял. Второй -- пересказать чужие результаты так, чтобы пересказ был более стройным, компактным или по каким-то иным причинам когнитивно эффективней оригинала. Scott Alexander использует оба и делает это хорошо.

Оказывается, если сесть и как следует изучить с таким настроем аргументы сторон, то затем можно сказать что-то новое и нетривиальное даже на такие вязкие и избитые темы, как "правы либералы или консерваторы", "надо ли легализовать марихуану", "моральна ли эвтаназия" или "почему люди так эмоционально относятся ко всем этим вопросам".

Я уж не говорю о таких элементарных, по сравнению с этими, вопросах, как "какие бы пожрать таблетки, чтобы поумнеть" и "как правильно читать научные исследования"!

Дальше ссылки на конкретные эссе и статьи, но нужно понимать, что это, скажем, двадцатая часть.

"Какие бы пожрать таблетки, чтобы поумнеть"
Ну вас же это в первую очередь зацепило, да?
Nootropics Survey Results And Analysis, стр.1136: TLDR пожрите модафинил. Не является медицинским советом, если у вас вместо этого вырастет хвост, я тут ни при чём, претензии отправляйте по адресу www.slatestarcodex.com. Вместо остальных ноотропов можете выпить ещё немного кофе.

"Как правильно читать исследования"
Beware The Man Of One Study, стр.2478: о том, как легко обманывать с помощью ссылок на научные исследования в солидных журналах.

Two Dark Side Statistics Papers, стр.1002: о том, как сделать любой шум "статзначимым" и о том, как эффективность избавления от алкогольной зависимости может меняться от 0 до 97% в зависимости от креативности исследователей

"Правы либералы или консерваторы"
Reactionary Philosophy In An Enormous, Planet-Sized Nutshell стр. 83: лучшее краткое изложение правого мировоззрения, которое я где-либо встречал. Ну что значит краткое, пятьдесят страниц =) зато очень убедительное и внятное. Это тем более поразительно, что сам Scott Alexander излагает позицию своих оппонентов, сам он консерватором не является. Просто для честности, чтобы спорить не с соломенным чучелом.

Archipelago and Atomic Communitarianism стр. 1553: на удивление успешная попытка сконструировать утопию, которая нравилась бы сразу всем, левым, правым и либертарианцам. Разумеется, как и любая утопия, она невозможна; но движение по направлению к ней должно устраивать всех. Наверное.

Considerations On Cost Disease стр. 4861: специально для тех, кто думает, что все эти споры "левые-правые" затуманивают более важные вопросы. Скотт подтверждает, затуманивают! И известно, какие. С цифрами. И исследованиями. И ссылками.

"Надо ли легализовать марихуану"
Marijuana: Much More Than You Wanted To Know стр.1009. Численное сравнение преимуществ и рисков. Ответ довольно неожиданный, хотя апостериори довольно логичный: всё зависит от того, будут ли люди, склонные прибухнуть и искать приключений (например, водить автомобиль) заменять алкоголь марихуаной хотя бы частично, или одно добавится к другому. Именно этот вопрос нужно исследовать глубже, а вовсе не эффекты легких наркотиков как таковых.

"Моральна ли эвтаназия"
Who By Very Slow Decay, стр. 595. Это просто очень сильный текст, его бесполезно пересказывать.

"Почему люди так эмоционально относятся ко всем этим вопросам"
A Thrive/Survive Theory Of ThePolitical Spectrum, стр. 143: а откуда вообще разделение на "правых" и "левых"? Как связаны забота об экологии, атеизм, феминизм и идеи о социальной роли государства? И почему они отрицательно коррелируют с представлением о целомудрии, превосходстве классического искусства и образования, любовью к четкой иерархической структуре командования и к силовым видам спорта? Вариант ответа, предлагаемый Скоттом: всё зависит от склонности человека воспринимать окружающий мир как опасный или как безопасный. Одна из стратегий оптимизирует шансы на выживание в опасном мире, вторая -- отдачу от безопасного. Эти предпочтения во многом хардварные, то есть эмоциональные. Утверждается, что фМРТ способно с высокой вероятностью установить, будете вы голосовать за демократов или за республиканцев (warning: в исходном исследовании, из которого это известно, я не нашёл ничего об исключении кросс-корреляций с переменными "раса" и "пол").

Потому что в кузнице не было гвоздя
К сожалению, ни доброжелательность, ни честность, ни работоспособность в итоге Скотту не помогли.

Быстрее всего осознать, "что произошло", можно так. Сначала прочитать запись The Spirit Of The First Amendment (стр.989). Речь в ней идёт о том, как Scott Alexander понимает свободу слова.

Понимает он её очень просто и консистентно: ответом на рассуждения должны быть рассуждения. Не пуля, не травля, не публикация ФИО и домашнего адреса автора, не увольнение с работы и т.п. Важно существование открытого рынка идей. Некоторые из них могут быть неверны, но никакие не должны быть запрещены.

Для старого ЖЖшника всё это звучит почти тривиально, тем страшнее осознать, что, судя по этой и многим другим записям, в современном американском мейнстриме эта идея считается не просто не очевидной, а крайне спорной, чуть ли не маргинальной. Спасибо комментарию helvegr, я открыл для себя существование целых сообществ людей, считающих её настолько неверной, что с её носителями не нужно даже спорить, достаточно на них глумливо указывать, смотрите, какие дегенераты. Типа, это же та самая свобода слова, о которой так много, всего-то поколение прошло, вы чего вообще?!

Затем прочитайте фантастический рассказ Sort By Controversial (стр.7390). Далее спойлер/пересказ для тех, кому лень. Рассказчик обучил нейросеть оценивать степень "спорности" утверждения и отсортировал по ней короткие предложения. И в топ вышли ужасные ментальные монстры. Разные люди воспринимают их либо как очевидно правдивые, либо как очевидно ложные, но это настолько глубинный и эмоциональный вопрос, что шанса "согласиться не соглашаться" не остаётся. Сначала спорщику кажется, что человек с противоположным мнением просто что-то не так прочитал или плохо знает английский язык, короче, нелепо ошибся. Потом до него постепенно начинает доходить, что кто-то и правда способен иметь другое мнение по этому вопросу, что люди бывают настолько отвратительны и порочны. Это открытие настолько ужасно и несовместимо ни с чем, что оппонент перестаёт восприниматься как человек и против него оказываются хороши любые средства: наорать, побить, уволить, подать в суд и т.д. и т.п. Всё это описано очень правдоподобно, чувствуется немалый личный опыт самого Скотта.

Что же это за заварной крем такой? Не так сложно представить; но прежде чем переходить к ментальным чудищам, давайте, наоборот, начнём с простых, бесспорных, совершенно очевидно верных (или столь же очевидно ложных) утверждений. Например:
- Умственные способности можно измерить простыми тестами и люди разных рас показывают в них существенно разные результаты
- Россия отсталая вредоносная страна, и чем раньше она, наконец, развалится, тем лучше
- Гендеров гораздо больше двух и никакой из них не является "менее нормальным"
- США как лидер свободного мира несут моральное обязательство не давать диктаторам стран третьего мира осуществлять геноцид
- Как и любой конфликт реального, а не вымышленного мира, Вторая Мировая не была чёрно-белой, но историю пишут победители
- Лучший способ для белого мужчины поучаствовать в обсуждении того, как исправить общество -- заткнуться
- Крым это Украина
Ладно, я вас обманул, это и есть моя попытка вытащить на свет несколько таких монстров. Пусть многие из этих утверждений сформулированы немного размыто, но признайтесь честно, каждое из них, по-настоящему, в глубине, без булшита вы воспринимаете либо как ложное, да не просто ложное, а лживое, либо как истинное, и истинное настолько, что лживым будет его (наглое) отрицание. Что гораздо хуже, относительно некоторых из этих утверждений мы с вами не сходимся. Вас это не триггерит? Только, чур, не притворяйтесь, меня вот триггерит просто ужасно!

Scott Alexander отважно потыкал палкой примерно сразу во всех таких ментальных чудовищ. И, увы, оказался не идеален. Ну как такой умный человек может нести такую чушь про ____, а тем более про _____?? Поначалу можно было надеяться, что он ошибается. Увы, всё оказалось хуже; высокий интеллект может компенсировать гнилое и порочное нутро только до какого-то предела. Уму непостижимо, насколько отвратительны бывают некоторые люди, маскирующиеся под "нёрдов", "рациональных", добреньких олимпиадников. Стоило ли столько лет графоманить, чтобы в итоге скатиться до защиты _____ и до того, чтобы, пусть и скрыто (но мы-то с вами всё понимаем) призывать к ____???

Так что поделом ему, поделом.
любопытно

Slate Star Codex - I

В последние годы я периодически встречал ссылки на блог Slate Star Codex, прочитал несколько статей оттуда и в целом относился к нему нейтрально-положительно. Автор блога известен под псевдонимом Scott Alexander и желал бы оставаться анонимным. Месяц назад некто вынудил его удалить блог, угрожая лишить анонимности и использовав для этого наезда аж целую New York Times. За несколько дней петиция против таких действий собрала более 6000 подписей, среди которых Пол Грэхем, Стивен Пинкер, CEO OpenAI и куча других известных и влиятельных людей. Несмотря ни на это, ни на волну отмен подписок, NYT пока ни на какие уступки не пошёл.

Я всему этому очень удивился, т.к. Scott Alexander очень травоядный, спокойный ботан вполне мейнстримных политических взглядов, и пошёл читать, а что же он такого умудрился написать-то.

Попытки разобраться, за что, выглядели как способ получить много новой информации о реальном мире. В наших данных об устройстве общества или политики есть очевидная неполнота: механизмы, заставляющие людей молчать, по определению плохо наблюдаемы. Если некто обещает банально убивать или, чуть менее банально, ограничивать в карьере за разговоры о заварном креме, то легко предположить, что и разговоры о запрете упоминания заварного крема влекут те же последствия. В итоге наблюдателю кажется, что заварной крем не обсуждают по каким-то совершенно естественным причинам. Возможно, интересных для обсуждения кондитерских изделий помимо безе, конфитюра и карамели просто и нет.

Если бы свидетельств существования подобных механизмов принуждения не было, получился бы классический "чайник Рассела". Но соорудить безупречную систему из живых людей невозможно и время от времени запреты становятся заметны. Из совсем тёмного и мрачного можно вспомнить Джеффри Эпштейна, его друзей, биографию, хобби и "самоубийство" (меня до сих пор шокирует та наглость, с которой делается вид, что это скучно, что это не чёртова ИСТОРИЯ ДЕСЯТИЛЕТИЯ). Из более простого и распространенного -- cancel culture, популярную в последнее время форму бойкота, открытой целью которого является лишать средств к существованию людей, высказывающих "нехорошие" мнения.

Есть ли в разговорах о заварном креме какая-то польза? Или это примерно как неонацизм, который "запрещён" в том же смысле, да и хрен бы с ним? Сколько на самом деле в обществе любителей заварного крема, можно ли прикинуть это число, если делать поправку на то, что они помалкивают? Все ли они едят с этим заварным кремом детей? Имеет ли смысл во всем этом разбираться, или это разновидность болотных огоньков? Меня эти вопросы годами занимали, и история Slate Star Codex привлекла как ещё одна возможность заглянуть за кулисы.

Aaaand that's a gift that keeps on giving, но вовсе не по тем причинам, которые я предполагал изначально. Варианты "за что" есть, но либо ужасно банальные и скучные (такого-то мая сего года допустил в комментариях обсуждение всерьёз заварного крема, был найден сканированием по словам "заварной крем", а в КГБ долго разбираться, кто таков, не стали), либо неправдоподобно космического масштаба (закрыт как неконтролируемая площадка, на которой специалисты по социальным наукам могли общаться без самоцензуры).

А вот сам блог это сокровище.

(продолжение следует)
любопытно

Эпидемиолог диванный

По ссылке с реддита набрёл на сайт, который следит за предсказаниями различных эпидемиологических моделей и проверяет, насколько они сбылись.
https://covid19-projections.com/historical-performance/

Картина совершенно удручающая. Из 20 моделей только 4 обгоняют бейзлайн, который устроен так: "предсказывает", что число умерших будет таким же, как на прошлой неделе. Только две модели обгоняют бейзлайн устойчиво. Лучшая сделана людьми без credentials и устроена так: берём простую эпидемиологическую схему (SEIR, с четырьмя состояниями) и подгоняем параметры под каждую страну в отдельности по историческим данным о смертях. Немного троллинг, но, по-моему, это означает, что эпидемиология во многом лженаука, раз диванные эпидемиологи не хуже настоящих, а лучше.

Ещё я сделал для себя вывод, что число R0 и связанный с ним экспоненциальный рост "в жизни" не встречаются, это математическая абстракция, вводящая в заблуждение.

На ранних стадиях работают отдельные суперразносчики и процесс существенно дискретный. На более поздних мы можем представить себе квадратную матрицу, у которой столбцы и строчки — люди, а каждый элемент это вероятность i-тому человеку заразить j-того, по диагонали единицы. Умножение на эту матрицу это примерно распространение эпидемии за единицу времени (примерно, потому что человек не может переболеть с вероятностью больше 1). Существование R0 это предположение, что собственные числа такой матрицы примерно одинаковы. Непонятно, с чего бы это было так, а если её жорданова нормальная форма более хитрая, то получаем гораздо более сложный процесс.

Эмпирически COVID выглядит так, что эпидемия с какого-то момента везде развивается не экспоненциально, а с постоянной скоростью. Очень интересно, к какому факту это сводится, где тут заканчивается математика, а начинаются факты реального мира. Это "почти все матрицы" таковы или это так устроены человеческие общества и соцграф?
любопытно

Где как справляются с пандемией

Аналитики из Financial Times собрали данные по смертности от всех причин по странам и регионам в одну табличку на Гитхабе. Для интересующихся вопросом "как оно на самом деле" это бесценно. Теперь все, кому не лень, могут составить по ней собственное мнение, а не слушать платных пропагандистов.

Например, я. Смотреть будем на разницу между реальным числом смертей за период и средним числом смертей за тот же период по данным прошлых лет. Назовём это число "избыточная смертность".

В отличие от "числа смертей от коронавируса" (а тем более от "числа заразившихся", которое на самом деле "число проведенных тестов с положительным результатом"), избыточная смертность практически не зависит от особенностей подсчёта. Человек или умер, или нет. Дома, в больнице, в доме престарелых. От ковида или от инфаркта или даже от "неведомой пневмонии". Если к человеку не приехала скорая, потому что скорая ездит только к коронавирусным больным, а у него что-то другое, он тоже попадёт в цифры сверхсмертности, и это правильно. Даже бездомные, с которыми почти в любой статистике проблемы, оказываются подсчитаны (т.к. трупы на улицах не остаются, а с точки зрения морга это такая же учётная единица). Так что цифры избыточной смертности отражают реальность в гораздо большей степени, чем все остальные, доступные интересующимся.

Пара особенностей всё же есть: данные для каких-то регионов публикуются по месяцам, а для каких-то по неделям, и поступают с разной задержкой. Это не мешает их сравнивать, нужно просто не забывать эти особенности учитывать.

Ниже мои выжимки по самым интересным городам. К сожалению, нет данных по Китаю, Украине и Беларуси, а было бы интересно посмотреть.


Москва
К данным FT я добавил предварительные данные за май, взятые отсюда, т.к. у FT в табличке пока только апрель.
Всего в год в Москве происходит ~121000 смертей (здесь и далее я буду приводить эту цифру для понимания масштабов мегаполиса, в случае больших агломераций важно понимать, кого именно засчитывают в "город")
Избыточная смертность в апреле и мае ~7500 (+6.2% годовой)
Официально смертей от ковида за тот же период ~2500

New York City
Всего в год ~52500 смертей. Сравнив с московскими, делаем вывод, что речь о центре города, "собственно Нью-Йорк", около 5 млн жителей.
Избыточная смертность до 16 мая ~25000 человек (+50% годовой)
Официально смертей от ковида за тот же период я нашёл только для всего штата, примерно 28000 (https://www.worldometers.info/coronavirus/usa/new-york/ смотреть на график "cumulative deaths" за 16 мая)

Лондон
Всего в год ~47000 смертей. Аналогично, речь о городе без "Большого Лондона", 4-5 миллионов.
Избыточная смертность ~10000 (+21.3% годовой)
Официально смертей от ковида за тот же период ~6000
(данные отсюда https://data.london.gov.uk/dataset/coronavirus--covid-19--deaths). NB: из источника непонятно, это тот же самый Лондон, или "большой". Если второе, то различие между двумя цифрами окажется гораздо выше, примерно как в Москве

Ile-de-France (то есть Париж и окрестности)
Всего в год ~73500 смертей.
Избыточная смертность ~11500 (+15.6% годовой)
Официально смертей от ковида ~24000. Непонятный результат: официальная смертность вдвое больше избыточной. Возможно, из Парижа многие разъехались и умирали от естественных причин где-то ещё (а если бы не эпидемия, умирали бы в Париже), но непонятно, почему на другие города этот эффект так не влияет. В исходной версии я ошибся, взяв число из Википедии, где указаны не смерти.
Официально смертей от ковида на эту же дату 6900 (прямой ссылки нет, нужно кликнуть на Ile-de-France и выбрать в левой колонке график décès à l’hôpital).

В Германии, к сожалению, нет данных по отдельным городам, данные в среднем по стране сложно сравнивать с мегаполисами. Данные заканчивается 10 мая.
Избыточная смертность по стране ~8000, официально смертей от ковида ~7500, на графике всё это еле-еле получается разглядеть.

В Израиле избыточной смертности нет, официально ~300 умерших.

Север Италии, Мадрид и Стокгольм остаются в качестве упражнения пытливому читателю.

Мои личные выводы:

  • Идеально с эпидемией справились в Германии и в Израиле. Слава тамошней медицины оправдана

  • В Москве с эпидемией справились намного лучше, чем в большинстве мегаполисов, затронутых эпидемией

  • Никаких сверхъестественных эффектов для этого приплетать не нужно. Разница не в десятки раз, а в разы, и может ещё сократиться, т.к. эпидемия в России отстаёт на пару недель от общемировой. Разница вполне объясняется более ранними карантинными мерами, бесплатной госпитализацией и широким тестированием

  • При этом в Москве то ли решили прихвастнуть, что справились ещё намного-намного лучше, чем в реальности (что крайне тупо), то ли перекинули слишком много медицинских ресурсов на ковид в ущерб всему остальному. Я думаю, что и тот, и тот эффект сыграли свою роль. Чёткий KPI дело такое

  • Каких-то сверхужасов в Швеции не заметно

Also, я перестал уважать г-на Леонида Волкова. У нас с ним много общих знакомых через одно рукопожатие, он умный дядька, но увы. Человек с таким аналитическим бэкграундом, как у него, не может из доступных данных искренне делать те выводы, которые делает он. Я думаю, лишнее слово здесь "искренне", просто работа такая.

В целом, честные выводы не выглядят особенно "ватническими" или "либерастическими", поэтому вряд ли станут очень популярными.

Что может на них существенно повлиять: открытие, что в статистике смертности между странами тоже есть серьезные систематические отличия, или что где-то она серьезно сфальсифицирована. Свидетельств в пользу этого я не видел. Мне непонятно, как второе должно быть технически устроено, разве что сломать ради этого всю систему "записи актов гражданского состояния" целиком. Перестать публиковать было бы намного проще.

Напоследок вот вам графики смертности ожидаемой и фактической. На них, кроме очень наглядного ковида, интересно выглядят другие изменения смертности: убийственная (в прямом смысле) московская жара 2010 года, влияние суровой (или мягкой) зимы, супергриппы, вот это всё. Да и просто размер эффекта становится гораздо более наглядным.






любопытно

Поиск нового дома и наука в XXI веке

Есть такой отличный сайт https://www.centauri-dreams.org/, автор которого регулярно разбирает новые статьи, посвященные изучению экзопланет, методам поиска жизни за пределами Солнечной системы, проектам дальней космонавтики и реалистичным подходам к межзвездной.

Сегодня прочитал там разбор статьи, которая меня слегка шокировала. Что у человечества есть: записи со знаменитого космического телескопа "Кеплер" за много лет, сколько-то терабайт цифр с наблюдениями 150 000 звёзд. Что с ними можно делать (и обычно и делают): можно искать в них паттерны, свидетельствующие о наличии у этих звёзд планет. Что сделали авторы статьи: улучшили соответствующий метод и научились лучше искать экзопланеты небольших размеров. Попутно сразу нашли пару десятков, в том числе несколько планет земной группы, из них одну довольно прилично выглядящую с точки зрения пригодности к жизни.

Улучшенный метод выглядит как big deal, скорее всего, в ближайшие годы почти все открытия потенциально обитаемых планет будут делаться именно с его помощью.

Что меня, собственно, шокировало: метод абсолютно, предельно тривиальный. Он не требует каких-то глубоких знаний астрономии или физики, улучшение сводится к знанию о существовании limb darkening и к простейшей 2d-геометрии (в нашей статье это всё тоже использовалось таким же образом). Я мог бы написать соответствующий код за несколько выходных. В смысле, не только я, любой хоть сколько-нибудь компетентный MLщик мог бы. Я об этом даже подумывал в 2017 году и ничего не сделал только потому, что был абсолютно уверен: в данном месте у настоящих учёных всё уже давным-давно готово, не может же быть иначе, так что зачем велосипедить.

Ну и вот печально это всё. Очень яркий конкретный пример явления, о котором я до сих пор только теоретически подозревал, а теперь ощутил. Фундаментальная наука дико недоинвестирована (во всех смыслах), если сравнить её с областями вроде алгоритмического трейдинга или интернет-рекламы, пылесосящими отовсюду лучшие мозги. Тут даже не сошлёшься на то, что наука в XXI веке (лицемерное "увы") не приносит никому в моменте так уж много пользы, не то что в ХХ. Игры MLщиков друг против друга с примерно нулевой суммой пользы приносят не больше. Есть во всём этом что-то крайне неверное, но и как и что тут можно было бы поправить, непонятно.
любопытно

Об Байеса - 2

Окончание, предыдущие серии 1 и 3/2.

Обсуждение предыдущих записей неожиданно для меня скатилось в споры о реальности мультивселенной. Давайте отложим этот интереснейший вопрос, разберём до конца "байесианскую" модель принятия решений в условиях неопределенности, найдём её ограничения и обсудим, почему слушать Элиезера Юдковского следует с определенной осторожностью.

Итак, вы назначаете событиям и гипотезам некоторые числа от 0 до 1, отражающие вашу уверенность в том, что событие наступило или наступит, а гипотеза верна. Далее вы, получая новые данные о происходящем, уточняете эти числа так, как если бы они были вероятностями в более привычном нам "частотном" смысле, например, с использованием формулы Байеса. Когда приходит пора действовать, вы "делаете ставку": определяете для каждого возможного развития событий определённое значение "выигрыша" (или "проигрыша"), умножаете их на соответствующие вероятности, после чего принимаете такое решение, ожидание выигрыша в котором максимально.

В моем понимании, именно такую модель принятия решений принимают за идеал современные рационалисты, когда описывают рациональное принятие решений. Если вы считаете, что это не так, расскажите, как их учение понимаете вы.

Collapse )
любопытно

Об Байеса - 1.5

Продолжение-пояснение, начало здесь.

Я обещал, что эта часть будет последней, почитав комментарии к предыдущей, я понял, что вас обманул. Придётся сделать промежуточные разъяснения, потому что начало поняли не все, включая людей, в интеллектуальных способностях которых я абсолютно не сомневаюсь.

Collapse )
любопытно

Об Байеса - 1

Как-то давным-давно я пообещал одному коллеге рассказать, почему верить современным рационалистам (e.g. Элиезеру Юдковскому) стоит с большой осторожностью, и почему я считаю многие из их построений граничащими с мошенничеством. К сожалению, природа данного вопроса такова, что потребуется текст немалых размеров. И я решил, раз уж все равно писать, сразу немного причесать его и выложить на всеобщее обозрение. Это первая часть, вводная.

Тема, интересующая нас, высокоабстрактна и граничит с философией и формальной логикой, так что если кому станет скучно, я предупредил.

Общая структура моего аргумента такова. Современные рационалисты несут на своих знаменах формулу Байеса и употребляют слово "байесианство". Пропаганда соответствующих методов мышления и методов корректировки когнитивных ошибок является важной частью их деятельности. Существует, однако же, класс ситуаций, в которых байесовский подход абсолютно, вопиюще неприменим и, по зловещему совпадению, этот класс ситуаций тесно связан со смежными интересами (в том числе денежными) многих современных рационалистов, включая некоторых лидеров движения.
Collapse )