![[info]](http://l-stat.livejournal.com/img/userinfo.gif?v=92.1){kind=small}
В сентябрьском эксперименте, в котором якобы были обнаружены нейтрино, движущиеся быстрее света, OPERA Collaboration всё-таки нашла минимум две ошибки.
(ещё один источник, высказывающий более сильное утверждение "всё уже объяснено" - ScienceInsider)
Меня вот что пугает: это ведь не самый сложный из современных физических экспериментов. При этом ошибку сотни профессионалов искали полгода. А если бы при этом не был заявлен невероятный результат, то, видимо, даже и не искали бы.
Это я даже не знаю, как если бы очень навороченный банковский онлайн-сервис запускали без тестирования, сразу на весь мир, и с catch (Exception ex) {} на верхнем уровне кода в качестве обработки ошибок. Только и разницы, что тот же коллайдер пресловутый куда сложнее.
Но я обыватель, конечно. Наверняка у вас там всё подпёрто, товарищи физики, ведь правда же?
February 23 2012, 08:41:01 UTC 3 months ago Edited: February 23 2012, 08:42:29 UTC
Мне кажется 2 вещи тут важны
1) они изначально не заявляли "СТО - отстой, мы ее опровергли", скорее это было "мы поставили эксперимент, видим один и тот же странный результат, скорее всего баг, за полгода (а они прошли с момента получения результатов до их оглашения) сами не нашли, мб кто-нибудь посмотрит?".
2) "банковские сервисы" в физике работают отлично, девайсы, которые мы с тобой используем прямо сейчас для общения в конце-концов тому прямое доказательство. Гораздо лучше аналогия "нашли ошибку в очередном док-ве, что P != NP", а это происходит постоянно.
И вообще, мне кажется мало людей представляют какой на самом деле mess в науке. Классический пример - http://en.wikipedia.org/wiki/Oil_drop_e
February 23 2012, 09:14:51 UTC 3 months ago
Естественно, я не нападаю на физику в целом. Но "девайсы, которые мы используем прямо сейчас" используют пачки каких-то эффектов, которые можно легко наблюдать на масштабах метр-доллар-секунда и при комнатной температуре, просто по определению массового. И остается легкое подозрение относительно эффектов, которые можно наблюдать только в масштабах мегаметр-десять лет-миллиарддолларов-сточеловек (например).
Даже нет, не подозрение, а просто непонятно, как бороться с тем, что сложность зашкаливает. И что такое воспроизводимость такого эксперимента, например, непонятно. Мне очень интересно, как с этим бороться. Это похоже на проблемы, которые у меня на работе постоянно возникают. В каком объеме и каким экспериментам доверять, например, если проводить их многократно и независимыми командами слишком дорого. Но у нас масштабы не те, поэтому хотелось бы поучиться у старших товарищей.
February 23 2012, 10:31:42 UTC 3 months ago
Это Вы про квантовые эффекты в микросхемах или релятивисткие в GPS?
February 23 2012, 10:45:49 UTC 3 months ago
February 23 2012, 11:45:26 UTC 3 months ago
February 23 2012, 12:23:06 UTC 3 months ago
3 months ago
February 24 2012, 09:03:54 UTC 3 months ago
Одно дело - эффект, ежедневно используемый миллионами устройств по всему миру. Сомневаться в его существовании (а также в целом в картине мира, в рамках которой существование этого эффекта впервые теоретически предсказано) - действительно фричество.
Совсем другое - результаты единичного тяжелого и сложного эксперимента, слегка подвинувшие некоторую константу или уточнившие некоторый диапазон энергий где-то там, на переднем крае. Если бы эти результаты слегка подвинули константу не в ту, а в другую сторону, общая картина мира от этого никак не поменялась бы.
И, на мой взгляд, обосновывать нерушимость таких результатов тем, что миллионы устройств по всему миру используют квантовые эффекты, неверно.
(Технически я с вами, кстати, тоже не вполне согласен, т.к. слово "используются" очень расплывчатое. Не обязательно что-то понимать, чтобы это что-то потом "использовать": сетчатка глаза человека, например, использует квантовые эффекты вовсю. Да и релятивистские эффекты в GPS не то чтобы используются, их просто нужно учитывать; в Ньютоновском мире GPS тоже возможен, и не сильно бы отличался).
3 months ago
3 months ago
3 months ago
3 months ago
3 months ago
3 months ago
February 23 2012, 14:33:01 UTC 3 months ago
А проблема есть, да. Собственно, она всегда была - механика Ньютона ведь долго считалась "истинной", погрешности стали актуальными потом, с ростом точности (и появлению потребности в этой точности - вон, выше упомянут тот же GPS). Ошибки в современной науке вполне вероятны, и сценарий будет такой же, как и в науке прошлых веков: если эффект обнаружен и независимо перепроверен - на нём строится "теория, принимаемая верной", и начинает использоваться. Если при дальнейшем использовании возникают "проблемы" (расхождения с экспериментом, непредвиденные эффекты) - раскопки возобновляются, если не возникают - ошибка действительно имеет шанс "зависнуть" в виде "теории, принятой как верная" надолго.
С другой стороны - а что делать-то? Передний край - он и есть передний край, если бы там всё было просто и однозначно, он давно был бы пройден и перестал бы быть передним краем...
3 months ago
February 23 2012, 17:38:16 UTC 3 months ago
Физикам бороться со сложностью помогает, возможность на каждом уровне системы провести много разный независимых "объективных" тестов. Причем тесты эти сами можно считать практически 100% надежными - они новых багов не вносят.
И они борятся не со сложностью а за точность. Достаточно, часто можно определить когда систематические погрешности оборудования настолько велики, что система выдает мусор и соответсвенно смысла в ней нет.
Да наверное можно определить какие-нибудь систематические погрешности для черных ящиков, типа
нейронная сеть 1 классифицирует верно в 98 % случаев.
нейронная сеть 2 классифицирует верно в 95% случаев
и т.д., но это вроде настолько очевидно, что никакого особого смысла проводить аналоги именно с физикой нет.
February 23 2012, 19:25:24 UTC 3 months ago
У меня есть сильное подозрение, что на переднем крае науки та же ситуация. Появляется сильный ученый и методологически неверным и неоптимальным путем приходит к цели. И пока он не дошел - он безумец, бегущий неизвестно куда, и им и останется, если не дойдет. Зато если дойдет, то за ним пойдет целая армия, которая нарисует карты, проложит оптимальный маршрут, посыпет дорожки песочком и все такое. Так что в итоге тем, кто будет там идти потои, маршрут покажется просто очевидным.
Ну т.е. моя версия ответа на твой вопрос - никак не бороться. Полагаться на себя и свои мозги, а сложность брутфорсить.
February 23 2012, 08:49:39 UTC 3 months ago
>запускали без тестирования, сразу на весь мир, и с catch (Exception ex) {}
>на верхнем уровне кода в качестве обработки ошибок.
В Финляндии есть банк Sampo. Один из самых популярных. В 2008 решили перейти на общую IT систему (как у дочерних и родительских банков). Это был такой фейл, что даже слово "эпический" не в полной мере описывает ситуацию перехода на новую систему (без возможности возврата на старую). Достаточно сказать, что:
1. over 30 000 клиентов поменяли банк на другой
2. одни штрафы за неполное непредоставление услуг превысило 10М.
3. окончательное исправление ошибок заняло БОЛЬШЕ 6 МЕСЯЦЕВ!
February 23 2012, 09:09:19 UTC 3 months ago
February 23 2012, 09:15:36 UTC 3 months ago
Система в других банках вроде как до этого работала. Но переход со старой на новую полностью зафейлили.
February 23 2012, 09:47:13 UTC 3 months ago
Систему ввели в марте 2008. А информация о том, что починили опубликована только в конце октября. Однако информация эта от самого банка.
На самом же деле в январе 2009 тоже возникли проблемы из-за той же самой причины. После чего по разным мелочам продолжались как минимум до конца 2010 года (может были и потом, но я о них не знаю).
Два с половиной года.
:))
February 23 2012, 10:35:55 UTC 3 months ago Edited: February 23 2012, 11:28:21 UTC
Я думаю это слишком сильное утверждение. Наверняка почти все занимались еще и кучей других проектов.
> Наверняка у вас там всё подпёрто, товарищи физики, ведь правда же?
Только в смысле peer review. Первым признаком, что там действительно, что-то интересное был бы аналогичный результат Fermilab а в аналогичной постановке эксперимента.
Физическая картина мира- это нифига не стройная, непротиворечивая система (это математические заморочки, физики с грязными системами работали с самого начала).
В конце концов аналогию со зданием которое построено на болоте, никто не отменял. Ну в смысле фундамент постоянно уходит под воду, и единственная причина по которой здание все еще есть - это та, что его быстро строят вверх.
UPD :(Оригинальная цитата как всегда не про то)
"Наука не покоится на твердом фундаменте фактов. Жесткая структура ее теорий поднимается, так сказать, над болотом. Она подобна зданию, воздвигнутому на сваях. Эти сваи забиваются в болото, но не достигают никакого естественного или "данного" основания. Если же мы перестаем забивать сваи дальше, то вовсе не потому, что достигли твердой почвы. Мы останавливаемся просто тогда, когда убеждаемся, что сваи достаточно прочны и способны, по крайней мере некоторое время, выдержать тяжесть нашей структуры"
> Это я даже не знаю, как если бы очень навороченный банковский онлайн-сервис запускали без тестирования, сразу на весь мир, и с catch (Exception ex) {} на верхнем уровне кода в качестве обработки ошибок.
А почему бы собственно и нет, в случае с банком, понятно, могут воспользоваться дырками и украсть деньги. А тут они проверили, что могли и написали статью в arxiv, "сделали это и это", такая фигня получилась, посмотрите.
February 23 2012, 10:51:12 UTC 3 months ago
February 23 2012, 12:17:47 UTC 3 months ago
Так вот реальные бытовые приборы и материалы довольно плохо ему подчиняются, нелинейные эффекты начинаются прямо сразу. (А есть закон Ома для полной цепи, который примерно верен, но - - -.)
February 23 2012, 12:25:43 UTC 3 months ago
Не понимаю, откуда такой банковско-сервисный фетишизм. Я пару раз в течение одного года наблюдал, как очередной релиз навороченного банковского онлайн-сервиса выпускали не то, чтобы совсем без тестирования, но с ошибками, несовместимыми с жизнью сервиса настолько, что сервис приходилось останавливать на часок и за это время откатывать на предыдущую версию.
Опять же, не понимаю, откуда такой фетишизм насчёт подпёртости у физиков. История физики полна вполне эпическими факапами.
February 23 2012, 12:26:27 UTC 3 months ago
February 23 2012, 12:46:14 UTC 3 months ago
Найти бозон Хиггса вполне вероятный результат, но если найдут, ошибку будут очень тщательно искать. Вероятные результаты, подтверждающие уже известные и принятые теории, не особо интересны. В них имеет смысл тщательно искать ошибку только в надежде получить невероятный результат (само собой, эта надежда должна быть основательно подкреплена теорией).
February 23 2012, 18:51:42 UTC 3 months ago
это тоже подлежит проверке - two possible problems have now been found with its set-up.
Anonymous
February 23 2012, 18:59:40 UTC 3 months ago
February 23 2012, 20:01:24 UTC 3 months ago
February 26 2012, 09:06:48 UTC 2 months ago
(про многие другие области мы уже точно знаем, что верить практически ничему нельзя -- значительная часть испытаний лекарств вполне за пределами приличия, значительную часть экспериментов в neuroscience даже и не пытаются сделать воспроизводимой, всё вполне безрадостно)
February 28 2012, 13:18:04 UTC 2 months ago
- лекарства тестируют люди, не способные освоить аппарат математической статистики (т.к. бизнес направляет способных на другие задачи, чтобы тут не мешались). И это хорошо и выгодно [производителям новых лекарств].
- а терабайты данных с детекторов ускорителей анализируют квалифицированные люди, которые прекрасно понимают математику, но ошибаются из-за безумных размеров задачи...
Хотя, про вымучивание статистической значимости вынужден согласиться... Иногда отчёты по грантам "вынуждают" людей делать неаккуратные вещи для получения "ожидаемых результатов".