любопытно

Эпидемиолог диванный

По ссылке с реддита набрёл на сайт, который следит за предсказаниями различных эпидемиологических моделей и проверяет, насколько они сбылись.
https://covid19-projections.com/historical-performance/

Картина совершенно удручающая. Из 20 моделей только 4 обгоняют бейзлайн, который устроен так: "предсказывает", что число умерших будет таким же, как на прошлой неделе. Только две модели обгоняют бейзлайн устойчиво. Лучшая сделана людьми без credentials и устроена так: берём простую эпидемиологическую схему (SEIR, с четырьмя состояниями) и подгоняем параметры под каждую страну в отдельности по историческим данным о смертях. Немного троллинг, но, по-моему, это означает, что эпидемиология во многом лженаука, раз диванные эпидемиологи не хуже настоящих, а лучше.

Ещё я сделал для себя вывод, что число R0 и связанный с ним экспоненциальный рост "в жизни" не встречаются, это математическая абстракция, вводящая в заблуждение.

На ранних стадиях работают отдельные суперразносчики и процесс существенно дискретный. На более поздних мы можем представить себе квадратную матрицу, у которой столбцы и строчки — люди, а каждый элемент это вероятность i-тому человеку заразить j-того, по диагонали единицы. Умножение на эту матрицу это примерно распространение эпидемии за единицу времени (примерно, потому что человек не может переболеть с вероятностью больше 1). Существование R0 это предположение, что собственные числа такой матрицы примерно одинаковы. Непонятно, с чего бы это было так, а если её жорданова нормальная форма более хитрая, то получаем гораздо более сложный процесс.

Эмпирически COVID выглядит так, что эпидемия с какого-то момента везде развивается не экспоненциально, а с постоянной скоростью. Очень интересно, к какому факту это сводится, где тут заканчивается математика, а начинаются факты реального мира. Это "почти все матрицы" таковы или это так устроены человеческие общества и соцграф?
любопытно

Где как справляются с пандемией

Аналитики из Financial Times собрали данные по смертности от всех причин по странам и регионам в одну табличку на Гитхабе. Для интересующихся вопросом "как оно на самом деле" это бесценно. Теперь все, кому не лень, могут составить по ней собственное мнение, а не слушать платных пропагандистов.

Например, я. Смотреть будем на разницу между реальным числом смертей за период и средним числом смертей за тот же период по данным прошлых лет. Назовём это число "избыточная смертность".

В отличие от "числа смертей от коронавируса" (а тем более от "числа заразившихся", которое на самом деле "число проведенных тестов с положительным результатом"), избыточная смертность практически не зависит от особенностей подсчёта. Человек или умер, или нет. Дома, в больнице, в доме престарелых. От ковида или от инфаркта или даже от "неведомой пневмонии". Если к человеку не приехала скорая, потому что скорая ездит только к коронавирусным больным, а у него что-то другое, он тоже попадёт в цифры сверхсмертности, и это правильно. Даже бездомные, с которыми почти в любой статистике проблемы, оказываются подсчитаны (т.к. трупы на улицах не остаются, а с точки зрения морга это такая же учётная единица). Так что цифры избыточной смертности отражают реальность в гораздо большей степени, чем все остальные, доступные интересующимся.

Пара особенностей всё же есть: данные для каких-то регионов публикуются по месяцам, а для каких-то по неделям, и поступают с разной задержкой. Это не мешает их сравнивать, нужно просто не забывать эти особенности учитывать.

Ниже мои выжимки по самым интересным городам. К сожалению, нет данных по Китаю, Украине и Беларуси, а было бы интересно посмотреть.


Москва
К данным FT я добавил предварительные данные за май, взятые отсюда, т.к. у FT в табличке пока только апрель.
Всего в год в Москве происходит ~121000 смертей (здесь и далее я буду приводить эту цифру для понимания масштабов мегаполиса, в случае больших агломераций важно понимать, кого именно засчитывают в "город")
Избыточная смертность в апреле и мае ~7500 (+6.2% годовой)
Официально смертей от ковида за тот же период ~2500

New York City
Всего в год ~52500 смертей. Сравнив с московскими, делаем вывод, что речь о центре города, "собственно Нью-Йорк", около 5 млн жителей.
Избыточная смертность до 16 мая ~25000 человек (+50% годовой)
Официально смертей от ковида за тот же период я нашёл только для всего штата, примерно 28000 (https://www.worldometers.info/coronavirus/usa/new-york/ смотреть на график "cumulative deaths" за 16 мая)

Лондон
Всего в год ~47000 смертей. Аналогично, речь о городе без "Большого Лондона", 4-5 миллионов.
Избыточная смертность ~10000 (+21.3% годовой)
Официально смертей от ковида за тот же период ~6000
(данные отсюда https://data.london.gov.uk/dataset/coronavirus--covid-19--deaths). NB: из источника непонятно, это тот же самый Лондон, или "большой". Если второе, то различие между двумя цифрами окажется гораздо выше, примерно как в Москве

Ile-de-France (то есть Париж и окрестности)
Всего в год ~73500 смертей.
Избыточная смертность ~11500 (+15.6% годовой)
Официально смертей от ковида ~24000. Непонятный результат: официальная смертность вдвое больше избыточной. Возможно, из Парижа многие разъехались и умирали от естественных причин где-то ещё (а если бы не эпидемия, умирали бы в Париже), но непонятно, почему на другие города этот эффект так не влияет. В исходной версии я ошибся, взяв число из Википедии, где указаны не смерти.
Официально смертей от ковида на эту же дату 6900 (прямой ссылки нет, нужно кликнуть на Ile-de-France и выбрать в левой колонке график décès à l’hôpital).

В Германии, к сожалению, нет данных по отдельным городам, данные в среднем по стране сложно сравнивать с мегаполисами. Данные заканчивается 10 мая.
Избыточная смертность по стране ~8000, официально смертей от ковида ~7500, на графике всё это еле-еле получается разглядеть.

В Израиле избыточной смертности нет, официально ~300 умерших.

Север Италии, Мадрид и Стокгольм остаются в качестве упражнения пытливому читателю.

Мои личные выводы:

  • Идеально с эпидемией справились в Германии и в Израиле. Слава тамошней медицины оправдана

  • В Москве с эпидемией справились намного лучше, чем в большинстве мегаполисов, затронутых эпидемией

  • Никаких сверхъестественных эффектов для этого приплетать не нужно. Разница не в десятки раз, а в разы, и может ещё сократиться, т.к. эпидемия в России отстаёт на пару недель от общемировой. Разница вполне объясняется более ранними карантинными мерами, бесплатной госпитализацией и широким тестированием

  • При этом в Москве то ли решили прихвастнуть, что справились ещё намного-намного лучше, чем в реальности (что крайне тупо), то ли перекинули слишком много медицинских ресурсов на ковид в ущерб всему остальному. Я думаю, что и тот, и тот эффект сыграли свою роль. Чёткий KPI дело такое

  • Каких-то сверхужасов в Швеции не заметно

Also, я перестал уважать г-на Леонида Волкова. У нас с ним много общих знакомых через одно рукопожатие, он умный дядька, но увы. Человек с таким аналитическим бэкграундом, как у него, не может из доступных данных искренне делать те выводы, которые делает он. Я думаю, лишнее слово здесь "искренне", просто работа такая.

В целом, честные выводы не выглядят особенно "ватническими" или "либерастическими", поэтому вряд ли станут очень популярными.

Что может на них существенно повлиять: открытие, что в статистике смертности между странами тоже есть серьезные систематические отличия, или что где-то она серьезно сфальсифицирована. Свидетельств в пользу этого я не видел. Мне непонятно, как второе должно быть технически устроено, разве что сломать ради этого всю систему "записи актов гражданского состояния" целиком. Перестать публиковать было бы намного проще.

Напоследок вот вам графики смертности ожидаемой и фактической. На них, кроме очень наглядного ковида, интересно выглядят другие изменения смертности: убийственная (в прямом смысле) московская жара 2010 года, влияние суровой (или мягкой) зимы, супергриппы, вот это всё. Да и просто размер эффекта становится гораздо более наглядным.






любопытно

Поиск нового дома и наука в XXI веке

Есть такой отличный сайт https://www.centauri-dreams.org/, автор которого регулярно разбирает новые статьи, посвященные изучению экзопланет, методам поиска жизни за пределами Солнечной системы, проектам дальней космонавтики и реалистичным подходам к межзвездной.

Сегодня прочитал там разбор статьи, которая меня слегка шокировала. Что у человечества есть: записи со знаменитого космического телескопа "Кеплер" за много лет, сколько-то терабайт цифр с наблюдениями 150 000 звёзд. Что с ними можно делать (и обычно и делают): можно искать в них паттерны, свидетельствующие о наличии у этих звёзд планет. Что сделали авторы статьи: улучшили соответствующий метод и научились лучше искать экзопланеты небольших размеров. Попутно сразу нашли пару десятков, в том числе несколько планет земной группы, из них одну довольно прилично выглядящую с точки зрения пригодности к жизни.

Улучшенный метод выглядит как big deal, скорее всего, в ближайшие годы почти все открытия потенциально обитаемых планет будут делаться именно с его помощью.

Что меня, собственно, шокировало: метод абсолютно, предельно тривиальный. Он не требует каких-то глубоких знаний астрономии или физики, улучшение сводится к знанию о существовании limb darkening и к простейшей 2d-геометрии (в нашей статье это всё тоже использовалось таким же образом). Я мог бы написать соответствующий код за несколько выходных. В смысле, не только я, любой хоть сколько-нибудь компетентный MLщик мог бы. Я об этом даже подумывал в 2017 году и ничего не сделал только потому, что был абсолютно уверен: в данном месте у настоящих учёных всё уже давным-давно готово, не может же быть иначе, так что зачем велосипедить.

Ну и вот печально это всё. Очень яркий конкретный пример явления, о котором я до сих пор только теоретически подозревал, а теперь ощутил. Фундаментальная наука дико недоинвестирована (во всех смыслах), если сравнить её с областями вроде алгоритмического трейдинга или интернет-рекламы, пылесосящими отовсюду лучшие мозги. Тут даже не сошлёшься на то, что наука в XXI веке (лицемерное "увы") не приносит никому в моменте так уж много пользы, не то что в ХХ. Игры MLщиков друг против друга с примерно нулевой суммой пользы приносят не больше. Есть во всём этом что-то крайне неверное, но и как и что тут можно было бы поправить, непонятно.
любопытно

Об Байеса - 2

Окончание, предыдущие серии 1 и 3/2.

Обсуждение предыдущих записей неожиданно для меня скатилось в споры о реальности мультивселенной. Давайте отложим этот интереснейший вопрос, разберём до конца "байесианскую" модель принятия решений в условиях неопределенности, найдём её ограничения и обсудим, почему слушать Элиезера Юдковского следует с определенной осторожностью.

Итак, вы назначаете событиям и гипотезам некоторые числа от 0 до 1, отражающие вашу уверенность в том, что событие наступило или наступит, а гипотеза верна. Далее вы, получая новые данные о происходящем, уточняете эти числа так, как если бы они были вероятностями в более привычном нам "частотном" смысле, например, с использованием формулы Байеса. Когда приходит пора действовать, вы "делаете ставку": определяете для каждого возможного развития событий определённое значение "выигрыша" (или "проигрыша"), умножаете их на соответствующие вероятности, после чего принимаете такое решение, ожидание выигрыша в котором максимально.

В моем понимании, именно такую модель принятия решений принимают за идеал современные рационалисты, когда описывают рациональное принятие решений. Если вы считаете, что это не так, расскажите, как их учение понимаете вы.

Collapse )
любопытно

Об Байеса - 1.5

Продолжение-пояснение, начало здесь.

Я обещал, что эта часть будет последней, почитав комментарии к предыдущей, я понял, что вас обманул. Придётся сделать промежуточные разъяснения, потому что начало поняли не все, включая людей, в интеллектуальных способностях которых я абсолютно не сомневаюсь.

Collapse )
любопытно

Об Байеса - 1

Как-то давным-давно я пообещал одному коллеге рассказать, почему верить современным рационалистам (e.g. Элиезеру Юдковскому) стоит с большой осторожностью, и почему я считаю многие из их построений граничащими с мошенничеством. К сожалению, природа данного вопроса такова, что потребуется текст немалых размеров. И я решил, раз уж все равно писать, сразу немного причесать его и выложить на всеобщее обозрение. Это первая часть, вводная.

Тема, интересующая нас, высокоабстрактна и граничит с философией и формальной логикой, так что если кому станет скучно, я предупредил.

Общая структура моего аргумента такова. Современные рационалисты несут на своих знаменах формулу Байеса и употребляют слово "байесианство". Пропаганда соответствующих методов мышления и методов корректировки когнитивных ошибок является важной частью их деятельности. Существует, однако же, класс ситуаций, в которых байесовский подход абсолютно, вопиюще неприменим и, по зловещему совпадению, этот класс ситуаций тесно связан со смежными интересами (в том числе денежными) многих современных рационалистов, включая некоторых лидеров движения.
Collapse )
любопытно

Продвижение с KIC8462852 или как я продолжил искать инопланетян и в процессе нашёл людей.

Буквы в блог пишутся быстро, но небесные тела обращаются годами, и астрономы спешить не привыкли.
Начало истории можно прочитать здесь. Теперь уже известно, что некоторые предположения, изложенные в том тексте, неверны, но это нормально.
В прошлом году мы с соавторами доделали первую статью про частичное решение этой загадки и на прошлой неделе она вышла в записках Королевского Астрономического Общества. Решение частичное, поэтому ответа на вопрос "инопланетяне или нет" статья не содержит, хотя, на мой взгляд, и делает гипотезу астроинженерных сооружений чуть менее вероятной. Но вообще  только в прошлом году я как следует прочувствовал принцип "Any Sufficiently Advanced Civilization is Indistinguishable from Nature" (это самостоятельное утверждение, а не вариант третьего закона Кларка, хотя, конечно, форма с него скопирована). Теперь мы практически уверены в том, как выглядит по крайней мере одно из тел, обращающихся вокруг звезды KIC8462852, выглядит оно необычно, но всё же похоже на вполне естественные объекты. Мы не знаем, как такая конфигурация могла бы возникнуть естественным образом, но не уверены и в обратном.

Упрощая, мы установили, что часть непонятных затмений с очень высокой точностью объясняется гигантской планетой-недозвездой (как минимум в 15 раз тяжелее Юпитера), окруженной системой исполинских колец. Традиционно в астрономии считалось, что кольца такого размера неустойчивы и за пределом Роша быстро (по астрономическим масштабам) конденсируются в луны. По какой-то причине для нашей звезды это не так, что означает, что некие катаклизмы соответствующих масштабов либо мешают лунам образоваться, либо постоянно генерируют новое вещество для колец. Из-за этого сообщество даже окрестило один из вариантов нашей гипотезы Lovecraftian system ("Лавкрафтова система").

Готовые астроинженерные сооружения выглядели бы не так, но вот процесс их создания как-то так и должен быть устроен, и не очень понятно, как быстро отличить постройку Dyson swarm от масштабных выбросов вещества другой природы. Законы тяготения и, соответственно, возможные орбиты, не отличают искусственного от естественного, так что нечто подобное мы наблюдали были и в случае, если бы некто разбирал планету-гигант или её луны "на кирпичи".

Остальные подробности и соображения я тут записывать не буду, а то это займёт у меня большую часть дня, но чисто человеческие выводы хочу записать, поскольку они имеют собственное значение, возможно, даже большее.

1) Не боги горшки обжигают. И я, и два моих соавтора не профессионалы (правда, Bruce Gary много лет работал радиоастрономом, в том числе в JPL, но он давно на пенсии).
2) Человеческая жизнь обладает очень высокой потенциальной плотностью. Может показаться, что на эту деятельность, не имеющую прямого отношения к остальной моей жизни, я должен был потратить гигантские ресурсы, и от этого пострадала или моя работа, или семейная жизнь, или здоровье. На самом деле на всё про всё ушло несколько разрозненных выходных, в общей сложности, может, часов тридцать. Это эквивалент просмотра пары сезонов "Игры Престолов" (которую я так и не посмотрел, возможно, и из-за этого).
3) Английский язык это единственное средство международного общения и огромное преимущество, если хочешь добиться хоть чего-нибудь. Быть носителем этого языка в качестве родного -- огромная фора. К этому можно относиться с сожалением или нейтрально, но это факт.
4) Абсолютным ресурсом является взаимное доверие и чистые помыслы. Моего первого соавтора зовут Мохаммед (этот факт он везде, кроме официальных документов, скрывает, предпочитая называть себя Рафик), и мы находимся в абсолютно разных культурных контекстах. Первоначально это обстоятельство вызывало у меня заметное, хоть и неопределенное, беспокойство. Но мне даже не очень за это стыдно, потому что он, в свою очередь, узнав, что я из России, первым делом попросил меня подписать формальный NDA :) Тем не менее, эти глупости мы преодолели очень быстро, поскольку оба не интересуемся индексами цитируемости, вопросами приоритета, и, конечно, не имеем в этой истории каких-то денежных интересов. Это позволило нам интегрировать третьего соавтора мгновенно и в итоге привело к появлению в ноосфере пусть и небольшого, но принципиально нового куска знания.
5) Человеческая жизнь не кончается ни в 30, ни в 40, и пока ты жив, ты что-то можешь. Одному их моих соавторов за 60, второму вообще под 80 лет. Я узнал об этом совершенно случайно (мы знакомы только по переписке) и ближе к концу работ.
6) Синергия это здорово. Я умею писать программы, R. Bourne обладает огромной астрономической эрудицией и способен аккуратно и въедливо генерировать гипотезы и дорабатывать численные результаты до достижения "физичности", а B. Gary фантастически хороший наблюдатель, обладает необходимой аппаратурой и, что также немаловажно, знает, как принято писать и печатать статьи в этой области. По одиночке мы едва ли что-то сделали бы.

Вообще, я уверен, если бы все в мире доверяли друг другу и были чисты помыслами, за жизнь одного поколения можно было бы построить хоть коммунизм, хоть либертарианство, хоть царство Божие, и они не так уж отличались бы друг от друга. Жаль, что это не так, но стоит пытаться поддерживать хотя бы островки такого поведения и хотя бы иногда.
любопытно

Пусть сверху повисит

Пожалуйста, прочитайте название журнала перед тем, как просить совет насчет репертуара видеосалона. Я - не он. Спасибо.

Для тех, кто пришел по ссылке из списка ЖЖ-науки: и это тоже какая-то ошибка. Я не биолог и даже не ученый.
В палеонтологи меня записали, видимо, за пост про тиранозавров (хотя в нем ясно сказано обратное). Ну или, может быть, за один из этих:
http://plakhov.livejournal.com/104586.html
http://plakhov.livejournal.com/103042.html
http://plakhov.livejournal.com/100670.html
Может быть, какой-нибудь из них вам даже понравится.

Но вообще-то учился я на мехмате МГУ, кандидатскую защищал по 05.13.11, работаю в Яндексе, занимаюсь качеством поиска (чем-то средним между программированием, матстатистикой и лингвистикой). До этого несколько лет делал компьютерные игры (в Nival Interactive и в паре куда менее известных компаний), хорошие. Увлекаюсь чем попало всем сразу, читаю много умных книг (не настолько много, как некоторые), иногда пишу сюда что-нибудь научно-популярное.

На всякий случай: статью на "Мембране" про искусственный интеллект, собравшую 15 тысяч комментариев, писал я, но было это почти 10 лет назад, и сейчас она кажется мне наивной и неполной; не нужно по ней судить о чем бы то ни было.

Добавлено 21 февраля 2014 года: нет, в Яндексе не вносят изменения в результаты поиска по политическим мотивам, не скрывают от народов важные новости, не манипулируют в пользу Путина или Ктулху баллами пробок и темами дня в блогах и т.д. и т.п. Если бы тут так делали, я бы тут не работал. Нет, от меня не скрывают, и да, я уверен. Вносить секретные изменения в поиск втайне от меня и моих коллег технически не особенно реально. Если вам кажется, что что-то такое происходит, это, скорее всего, когнитивное искажение (вот такое: Гугл показывает Страшную Новость, а Яндекс - нет? Цензура! Яндекс показывает Страшную Новость, а Гугл нет? Ну мало ли). Подробнее конкретные случаи можем обсуждать в комментариях к этой записи.
любопытно

На Марс

Внезапно стало интересно, а что там у Маска?
Раньше я (с чужих слов, наверняка очень упрощенно и во многом неверно) представлял себе ситуацию со SpaceX так:
  - гордиться компании, несомненно, есть чем: в космос совсем не все умеют летать, прогресс прогрессом, но за пятьдесят лет первая космическая ничуть не уменьшилась и физическая реальность менее упрямой не стала
  - успехи эти вовсе не с нуля достигнуты и тем более не являются заслугой гения лично Маска. Говорят об индульгенциях и привилегиях (в исходном значении этого слова, от privus и lex): нарушения компанией патентов никого не интересуют, секретная документация на аналогичные гос.технологии в случае необходимости оказывается легко доступна, некоторые инфраструктурные вещи и нормативные акты возникают как бы для всех, но фактически специально под Маска и т.п. Говорят также о чудовищных условиях работы: 70-часовая рабочая неделя, оплата ниже рынка, общее ощущение "винтика в машине", тотальное разделение работников и бенефициаров
  - Маск, тем не менее, не только бизнесмен, политик и публичная фигура, но и компетентный и талантливый инженер. Думаю я так не потому, что что-то о нем такое знаю, а потому что видел hi-tech организации, руководимые людьми, плохо представлявшими, что именно под капотом, и не очень хотевшими об этом думать. They, если выражаться по-интернетовски, cannot into space совершенно точно
  - при этом PR у SpaceX сильно более громкий, нежели реальные достижения (например, многоразовыми первыми ступенями обещали уменьшить стоимость вывода на орбиту чуть ли не в десятки раз, сейчас споры ведутся вокруг того, а жизнеспособная ли это коммерчески технология в принципе; на МКС все как летали на "Союзах", так и продолжают, на условную Луну SpaceX пока очень рано, не говоря уж о Марсе, ну и т.п.)
  - при этом, повторюсь, прогресс какой-то, несомненно, есть. Для космоса, где технологии восьмидесятых считаются новыми, куда новые поколения не очень-то смотрят в целом, и давно уже не идут массово работать лучшие из лучших в частности, это само по себе круто.
Всё так или я всё переврал? Что-нибудь за последнюю пару лет в этом смысле изменилось?
любопытно

KIC 8462852 опять

Скажите, а совершенно случайно кто-нибудь из вас или ваших знакомых в ближайшие два-три ночи не наблюдает за сабжем? Можно будет узнать у вас/у них, что там -- хотя бы на уровне "да или нет", и если да, то когда началось-закончилось? Мы тут неожиданно выяснили, что у нас, конечно же, в самый подходящий момент может ничего не оказаться, кроме наблюдений AAVSO :(