stas: (Default)
stas ([personal profile] stas) wrote2012-03-01 02:01 am

статистика

Как правильно работать со статистикой:

Статистик Абрахам Вальд работал на правительство во время второй мировой войны. Он исследовал бомбардировщики, возвращающиеся с боевых заданий, на предмет пробоин он вражеского оружия. И рекомендовал укрепить те части самолётов, на которых пробоин не было. Причина простая - те, у которых пробоины были в указаных частях, не возвращались. 

[identity profile] c0nfigure.livejournal.com 2012-03-01 12:23 pm (UTC)(link)
что интересно - сколько мучают undergrads в статистике Wald тестом, а интересные истории вроде этой никогда не рассказывают. отсюда и отношение к статистике, как к сухой скучной науке.

[identity profile] digest.livejournal.com 2012-03-01 12:51 pm (UTC)(link)
И не надо такие истории рассказывать! Пусть лучше отношение к статистике будет, как к науке.

[identity profile] eta-ta.livejournal.com 2012-03-01 12:23 pm (UTC)(link)
тогда интересно, как же он изучал "возращающиеся с боевых заданий" самолёты, если те, на которых были главные пробоины НЕ возвращались как он знал, на каких частях - несовместимые с жизнью дырки, если база наблюдений отсутствовала?

[identity profile] dilitant.livejournal.com 2012-03-01 12:36 pm (UTC)(link)
Методом исключения.
Если вернулся с дырками - значит дырки НЕ НА ВАЖНЫХ местах. Значит остальные места (без дырок) - ВАЖНЫЕ. Значит, если не вернулся - значит получил дырку в ВАЖНОЕ место.

[identity profile] eta-ta.livejournal.com 2012-03-01 12:40 pm (UTC)(link)
это вы уже додумываете after the fact. хотелось бы из первых уст.
к тому же не вернуться можно по всяким др. причинам.

[identity profile] dilitant.livejournal.com 2012-03-01 12:43 pm (UTC)(link)
О чем я додумываю? О существовании такого метода познания как "метод исключения"?

[identity profile] dilitant.livejournal.com 2012-03-01 12:51 pm (UTC)(link)
И про "невернуться по другим причинам".

Вы вообще как себе армию, особенно, воюющую армию представляете?
Типа, как в задачнике для младших классов: "На бомбардировку Дрездена вылетело 20 самолетов, а вернулось 18. Сколько самолетов сбили немецко-фашистские захватчики?"

Да хрен там. Всегда, даже в самой жопошной ситуации, пока жив хоть один писарь - делопроизводитель и/или инспектор в каждой потере стараются разобраться: кто, когда, почему, кто видел и какие ваши доказательства.

Поэтому, если самолет невернулся от того, что экипаж после задания рванул в Нормандию за сидром - это нифига не заносилось в графу "сбитые". а проходило по графе "дезертирство", например или "Отсутствие по распоряжению командования".

[identity profile] eta-ta.livejournal.com 2012-03-01 12:53 pm (UTC)(link)
вы чем-то раздражены? выпейте водички, успокойтесь, потом приходите, поболтаем

(no subject)

[identity profile] dilitant.livejournal.com - 2012-03-01 13:02 (UTC) - Expand

(no subject)

[identity profile] eta-ta.livejournal.com - 2012-03-02 01:57 (UTC) - Expand

(no subject)

[identity profile] olle-lukkoe.livejournal.com - 2012-03-11 21:20 (UTC) - Expand

[identity profile] pirivotcheg.livejournal.com 2012-03-01 03:55 pm (UTC)(link)
По существующей в научных кругах "городской легенде" руководство ВВС приказало усиливать те места самолетов, где было наибольшее количество пробоин (по результатам подсчета по машинам, вернувшимся после боевых вылетов на аэродром в Британии).

Вальд, соответственно, будучи а) штатским и б) заметно ниже в общей иерархии, взялся мотивированно (и конструктивно) возражать.

Дело в том, что поражение любой детали самолета (нижней части, то есть смотрящей на землю) зенитным огнем (осколками, на самом деле) - это процесс вероятностный (закон больших чисел и т.д.).

Вальд просто исправил некую ошибку подхода - методологии, если хотите.

Кроме того важно, что Британия окружена морем и после поражения огнем зенитной артиллерии (на территории врага) бомбардировщик - если падал - то падал либо там же - в Германии, либо в уже оккупированной Фрации - либо в море.

Поэтому посмотреть на сбитый самолет и посчитать пробоины, приведшие к этому (и записать места, где эти пробоины располагались) британцам на той стадии войны было очень трудно или даже невозможно.

С другой стороны, очень похожую логическо-вероятностную загадку уже разрешил до него некий греческий философ, которому сказали, что когда он поплывет на корабле, перед этим надо бы вознести молитву (и принести жертву) Посейдону - ибо все, кто уцелел, говорят, что возносили.

В ответ на что философ резонно отметил - "но мы же не можем спросить у тех, кто уже утонул - возносили ли они молитву Посейдону?".

spamsink: (Default)

[personal profile] spamsink 2012-03-01 04:17 pm (UTC)(link)
очень похожую логическо-вероятностную загадку уже разрешил до него некий греческий философ

Опередили!

[identity profile] eta-ta.livejournal.com 2012-03-02 02:02 am (UTC)(link)
Оказывается, у автора tiger repellent* были античные прецеденты.

* Приведу полным текстом
Guy’s out walking in Manhattan when he sees a street vendor selling unmarked aerosol cans. He’s curious and asks what’s in them, and the vendor says, “Tiger repellent.” The guy points out that there are no tigers in New York City, and the vendor replies, “See how well it works?”

[identity profile] dilitant.livejournal.com 2012-03-01 12:35 pm (UTC)(link)
Такие люди (здравомыслящие) не очень часто рождаются и вообще крайне редко попадают на "ответственные посты".

Кстати, есть еще почти такая же история и тоже про ВВ2 (источник не смогу привести, потерял).

На некоторые (изначально невоенные) корабли англичан для перевозки военных грузов устанавливали зенитные орудия. Так вот, через некоторое время выяснилось, что эти зенитные орудия практически бесполезны, потому, что с их помощью практически ни одного самолета не было сбито. И тогда, в целях экономии, было решено корабли разоружить. Но тут кому-то из адмиралтейства пришла в голову мысль посчитать, сколько из вооруженных зенитками кораблей было потоплено/повреждено вражеской авиацией. И оказалось, что процент этот, по сравнению с невооруженными кораблями, крайне мал.
Объяснение тоже простое: атаковать вооруженный корабль гораздо тяжелее, чем безоружный.

[identity profile] digest.livejournal.com 2012-03-01 01:03 pm (UTC)(link)
Вы на полном серьезе называете его здравомыслящим?
Ладно, сама история либо полностью городская легенда, либо адаптирована под таковую. Можно подумать, авиаторы учили критичные для живучести самолета узлы по дыркам от вражеских пуль... Но допустим, это действительно была должность Вальда. Вот я бы например его уволил за полнейшее непонимание задачи. Он напоминает пожарника, который отличает скрипку от виолончели по тому, что дольше горит. А вы им восхищаетесь. Не объясните почему?

[identity profile] dilitant.livejournal.com 2012-03-01 01:08 pm (UTC)(link)
А вы им восхищаетесь. Не объясните почему?
---
С удовольствием. Но давайте сначала выясним, какя задача перед ним ставилась?


Вот я бы например его уволил за полнейшее непонимание задачи.
---
Да-да, как Вы понимаете стоящую перед ним задачу? Как бы Вы её решали?

[identity profile] vgramagin.livejournal.com 2012-03-01 01:29 pm (UTC)(link)
По-моему, товарищ троллит. Зачем его кормить?

(no subject)

[identity profile] dilitant.livejournal.com - 2012-03-01 14:02 (UTC) - Expand

[identity profile] digest.livejournal.com 2012-03-01 02:15 pm (UTC)(link)
давайте сначала выясним, какя задача перед ним ставилась?

А я откуда знаю какая задача? :) По мне, так критичные для живучести элементы самолета (особенно того времени) известны заранее и малочисленны. Более того, их повреждения моделируются и тестируются без всякого огневого контакта с противником. И еще более того, особенно "укреплять" слабые места было нечем. Поэтому я и сказал, что давайте согласимся с легендой: его задачей было искать "слабые звенья" возвращавшихся из боя самолетов.

Как бы Вы её решали?

Как минимум, изучением что такое самолет :). Сложностью всех факторов, приводящих к летному происшествию или потере самолета. Типу задачи, стоящей перед самолетом, силы и вооружение противника, опыт конкретных пилотов. А просто считать дырки: "Дырка есть? Значит некритично!" — идиотизм.

Попадание в двигатель всегда потенциально опасно, даже если самолет благополучно вернулся. Попадание в бак или бензопровод — всегда фатально, но и защитить их было нелегко. Повреждение рулей высоты — тут многое зависит, в т.ч. и от пилотов. А целые части обшивки ну совершенно не говорят о смертельности ранения в это место.

После чего здравомыслящий, как вы говорите, статистик убедился бы в полнейшей непригодности какой-либо "дырочной" статистики ввиду неодинаковых условий получения повреждений в каждом отдельном боевом вылете, и сосредоточился бы на более животрепещущих вопросах, например "сколько истребителей сопровождения статистически достаточно бомбардировщику для выполнения задачи А" и т.п.

(no subject)

[identity profile] dilitant.livejournal.com - 2012-03-01 14:56 (UTC) - Expand

(no subject)

[identity profile] digest.livejournal.com - 2012-03-01 15:31 (UTC) - Expand

(no subject)

[identity profile] dilitant.livejournal.com - 2012-03-01 16:15 (UTC) - Expand

(no subject)

[identity profile] dilitant.livejournal.com - 2012-03-01 16:19 (UTC) - Expand

(no subject)

[identity profile] dilitant.livejournal.com - 2012-03-01 17:08 (UTC) - Expand

(no subject)

[identity profile] silentpom.livejournal.com - 2012-03-02 02:49 (UTC) - Expand

(no subject)

[identity profile] silentpom.livejournal.com - 2012-03-02 05:47 (UTC) - Expand

(no subject)

[identity profile] digest.livejournal.com - 2012-03-01 17:54 (UTC) - Expand

(no subject)

[identity profile] darth-sipid.livejournal.com - 2012-03-02 20:40 (UTC) - Expand

(no subject)

[identity profile] digest.livejournal.com - 2012-03-02 21:48 (UTC) - Expand

(no subject)

[identity profile] darth-sipid.livejournal.com - 2012-03-03 17:04 (UTC) - Expand

(no subject)

[identity profile] david-2.livejournal.com - 2012-03-01 15:30 (UTC) - Expand

(no subject)

[identity profile] digest.livejournal.com - 2012-03-01 15:34 (UTC) - Expand

(no subject)

[identity profile] david-2.livejournal.com - 2012-03-01 15:51 (UTC) - Expand

(no subject)

[identity profile] olle-lukkoe.livejournal.com - 2012-03-11 21:32 (UTC) - Expand

[identity profile] digest.livejournal.com 2012-03-01 05:55 pm (UTC)(link)
:)

Ну так и у Вальда была отличная от этой легенды задача.

[identity profile] inner-creature.livejournal.com 2012-03-01 07:54 pm (UTC)(link)
если абсолютно все жизненно важные узлы самолета защитить броней, то получится танк. танки, даже в 21 веке, пока что не летают.

в результате имеем статистическую задачу - как защитить самолет минимальным количеством брони, максимально увеличив выживаемость и сохранив способность последнего к выполнению поставленной боевой задачи.

работа Вальда была критической для разработки B-29. его предшественники - B-17 и B-24 - физически не могли нести какой-либо существенной защиты. Она ограничивалась бронесиденьем для пилота, пуленепробиваемым стеклом для него же и носового/кормового стрелка и бронежилетов для всего экипажа.

Работа Вальда показала, что дополнительное бронирование стратегических бомбардировщиков бесполезно с точки зрения повышения выживаемости. В результате последние модели B-24 и В-29 были летали дальше и несли больше бомб, чем могли бы.

[identity profile] digest.livejournal.com 2012-03-01 08:26 pm (UTC)(link)
в результате имеем статистическую задачу - как защитить самолет минимальным количеством брони, максимально увеличив выживаемость

Это задача совершенно не статистическая, черт побери.
Бомбардировщики не бронировали, они и без брони были беззащитны без прикрытия истребителей, а с утяжелением веса стали бы и вовсе неповоротливы.
Trade-off между весом, защитой, бортовым вооружением, полезной (бомбовой) нагрузкой была и есть инженерная задача. Если инженеры могли что-то защитить, они это защищали, благо, основные жизненные узлы *известны* на 100%.

Статистическая задача была в планировании следующей операции по результатам *недавней* предыдущей, с известным вооружением противника и состоянием вернувшихся с боевой задачи машин. Оказалось полезным иметь математический аппарат для универсальных рассчетов, например, на другом участке фронта, при изменении сил и т.п.

ИМХО польза была в ответе на вопрос "сколько примерно самолетов не вернется из вечернего вылета с известными результатами утреннего?" или "сколько примерно самолетов надо послать для выполнения данной задачи?". Вопросы тактические. В стратегическом плане тот факт, что данному авиационному подразделению противостояли данное авиаподразделение и подразделение ПВО противника, большой пользы не приносил.

(no subject)

[identity profile] digest.livejournal.com - 2012-03-02 00:24 (UTC) - Expand

(no subject)

[identity profile] digest.livejournal.com - 2012-03-04 08:21 (UTC) - Expand

[identity profile] haiut.livejournal.com 2012-03-01 02:53 pm (UTC)(link)
немножко сказка, но все равно очень хорошо и поучительно :)

[identity profile] lsh123.livejournal.com 2012-03-01 04:23 pm (UTC)(link)
История хорошо показывает, что статистическая зависимость не доказывает причинно-следственную зависимость.

[identity profile] rezoner.livejournal.com 2012-03-01 04:41 pm (UTC)(link)
Ascertainment bias называется то, с чем он боролся : http://www.mun.ca/biology/scarr/Ascertainment_bias.html

[identity profile] ygam.livejournal.com 2012-03-01 06:12 pm (UTC)(link)
Я был уверен, что герой этой истории - Фримен Дайсон.

[identity profile] silentpom.livejournal.com 2012-03-02 02:52 am (UTC)(link)
А я был уверен, что Ричард Фейнман. Дайсон тогда еще англичанином был.
От себя могу добавить, что до сих пор этот факт не осмыслен до конца. В книгах наших историков раздаются аргументы, что двигатель жидкостного охлаждения на Ил-2 не сильно влиял на живучесть самолета (по сравнению с воздушным охлаждением), так как только 2 процента исследованных самолетов имели повреждение двигателя или радиатора