February 2026

S M T W T F S
1234567
891011121314
15161718192021
22232425262728

Style Credit

Expand Cut Tags

No cut tags
Monday, July 10th, 2006 11:05 pm
Я чего-то не понимаю, или статья, которую Шнайер перепечатал в своем блоге - о том, что data mining не может быть эффективным в борьбе с терроризмом - действительно является бредом (несколько обьяснений почему - там в комментариях)? Т.е. вполне возможно, что вывод статьи как раз правильный, но из написаного в статье он не следует - как мне представляется - никак.
P.S. Расчеты у меня, кстати, с приведенными в статье не сошлись, но это может потому, что я не понял, как он применяет теорему об условных вероятностях...
Monday, July 10th, 2006 09:00 pm (UTC)
Мне кажется что в данном случае усердие превозмогло рассудок.
The surveillance is, however, useful for monitoring political opposition and stymieing the activities of those who do not believe the government's propaganda.
Клиника.
Monday, July 10th, 2006 09:20 pm (UTC)
Я даже не понимаю о чем здесь можно разговаривать - ессно, программа компьютерного дата-майнинга выдает немеренное количество false-positive. См. душевную историю про байесовский, скорее всего, фильтр.

Подобно истерикам вокруг клонирования, имеющих в виду модификации человеческого генома, Шнеер пугает своих читателей тем чего пока нет и. будем надеяться, не будет - автоматическим наказанием на основании решения компьютерной программы.
Monday, July 10th, 2006 09:37 pm (UTC)
I think he's an idiot.

Let's take his first example, 60% false negatives and 0.01% false negatives, and apply the filter twice. Out of 300M, the system, applied once, gives 400 positives and 29600 false positives. How do real-life people use Bayes training? They apply it again. Let's apply it again, to the next batch of emails, blogs, phone calls, etc. Then we get this: 3 false positives and 160 terrorists.

That's the practice of the people that know what Bayes is about and know how to apply it to real-life data.

I wonder whether the author is a practicing professional or just a clueless "evangelist".
Monday, July 10th, 2006 09:46 pm (UTC)
I liked this:
"If the probability is zero (p=0.00), then they certainly are not terrorists, and NSA was wasting resources and damaging the lives of innocent citizens. If the probability is one (p=1.00), then they definitely are terrorists, and NSA has saved the day. If the probability is fifty-fifty (p=0.50), that is the same as guessing the flip of a coin."
Yep. Coincidentally, 50% is the same probability with which one can run into a dinosaur in Manhattan.
Wednesday, July 19th, 2006 12:44 pm (UTC)
Почему применение Байеса снова к популяции в 30000 не даст те же 29600 false positives?
Wednesday, July 19th, 2006 12:55 pm (UTC)
А я что-то спрашивал про лажу в статье?
Зачем менять тему?
Monday, July 10th, 2006 09:42 pm (UTC)
Цифры у меня сходятся, но я не понимаю вывод о бесполезности программы.
В первом случае, когда мы имеем 1000 террористов, из которых программа найдёт 40%, т.е. 400, плюс программа назовёт 0.01% невинных людей, т.е. 30,000, террористами.
Итого вероятность, что названный человек - террорист: p = 400/30400 ~= 0.0132.
Т.е. действительно маленькая вероятность, что впрочем очевидно, и наверное имеется ввиду, что подробно исследовать 30,000 это дорого... Хотя, если это поможет поймать 400 террористов...
Monday, July 10th, 2006 09:46 pm (UTC)
Шнеер или лукавит, или чего-то не понимает.

With these suppositions, then the probability that people are terrorists given that NSA's system of surveillance identifies them as terrorists is only p=0.2308,

Я дико извиняюсь. Почти четверть из тех, кого система пометила как потенциальных террористов — настоящие террористы. И такую систему обозвать бесполезной? Да это же клад, а не система!
Monday, July 10th, 2006 11:28 pm (UTC)
Он действительно по-моему что-то не понял. Собственно вся чушь - от исходной посылки что если условная вероятность =0.5, то это равносильно тому что в народе называют 'fliiping the coin' (а в народе под этим подразумевают отсутствие информации), на самом же деле то что о ком-то можно быть на 50% уверенным что он террорист - это офигенная информация.
Thursday, July 13th, 2006 03:10 pm (UTC)
Если просто посетить ближайшую мечеть, построенную на саудовские деньги, вероятность обнаружить террориста будет, по-моему, выше. Если внедрить своего человека в класс изучения Корана - гораздо выше. И это - дешевле, чем прослушивать все без исключения телефонные разговоры.
Sunday, July 16th, 2006 10:03 am (UTC)
А мужиков всех без дискриминации посадить за изнасилование.
Monday, July 10th, 2006 10:26 pm (UTC)
The article seems to be bogus in so many dimensions, one doesn't know where to start attacking it, it all looking so delicious. Knowing for a fact that Schneier's no idiot, one has to fall back to him having a political agenda - and advancing it through his blog.