data mining

[stas]

Я чего-то не понимаю, или статья, которую Шнайер перепечатал в своем блоге - о том, что data mining не может быть эффективным в борьбе с терроризмом - действительно является бредом (несколько обьяснений почему - там в комментариях)? Т.е. вполне возможно, что вывод статьи как раз правильный, но из написаного в статье он не следует - как мне представляется - никак.
P.S. Расчеты у меня, кстати, с приведенными в статье не сошлись, но это может потому, что я не понял, как он применяет теорему об условных вероятностях...

Comments

[ivan-gandhi.livejournal.com]

I think he's an idiot.

Let's take his first example, 60% false negatives and 0.01% false negatives, and apply the filter twice. Out of 300M, the system, applied once, gives 400 positives and 29600 false positives. How do real-life people use Bayes training? They apply it again. Let's apply it again, to the next batch of emails, blogs, phone calls, etc. Then we get this: 3 false positives and 160 terrorists.

That's the practice of the people that know what Bayes is about and know how to apply it to real-life data.

I wonder whether the author is a practicing professional or just a clueless "evangelist".

[arbat.livejournal.com]

I liked this:

"If the probability is zero (p=0.00), then they certainly are not terrorists, and NSA was wasting resources and damaging the lives of innocent citizens. If the probability is one (p=1.00), then they definitely are terrorists, and NSA has saved the day. If the probability is fifty-fifty (p=0.50), that is the same as guessing the flip of a coin."

Yep. Coincidentally, 50% is the same probability with which one can run into a dinosaur in Manhattan.

[stas]

From the article:
Floyd Rudmin is Professor of Social & Community Psychology

which explains why he's so poor with understanding probabilities, but doesn't explain why Schneier bought into it. Probably it sounded so wonderfully consistent with his views that he didn't bother to actually read the piece.

[syarzhuk.livejournal.com]

Почему применение Байеса снова к популяции в 30000 не даст те же 29600 false positives?

[stas]

Если говорить о bayesian training, то для тренировки, конечно, придется ему сказать, какие из них - false. И желательно - какие true, что сложнее. Но лажа в статье начинается гораздо раньше...

[syarzhuk.livejournal.com]

А я что-то спрашивал про лажу в статье?
Зачем менять тему?

[stas]

Абсолютно незачем, учитывая, о чем была тема поста...