закон Гудхарта

[stas]

Сегодня узнал про интересную закономерность - закон Гудхарта (к сожалению, фамилия его автора - Goodhart, а не Goodheart). Формулируется он примерно так:

Предположим, вы - руководитель чего-нибудь. Вы желаете достигнуть некоей цели G. Для достижения этого вы формулируете некоторый показатель G*, который статистически коррелирует с достижением цели G, но проще описывается и меряется (например, G: вы желаете, чтобы дети выходили из школы образованными людьми, готовыми к продуктивной деятельности, но определить такую цель трудно, поэтому вы создаёте тест G*, на основе которого вы будете мерить успехи образования), и даёте подчинённым установку - достигнуть в нужные сроки нужных значений G*. Подчинённые работают не покладая рук, и...
В этом случае Закон Гудхарта гласит, что P(G|G*) уменьшается со временем, и корреляция между G* и оригинальной целью G становится всё хуже.

Иллюстрация из мира программирования.

Comments

[unbe.livejournal.com]

Сильно напоминает мою прошлую работу, где с целью улучшения качество софта постановили уменьшить количество и severity багов в багтрекере. Выдали формулу, вычисляющую часть годового бонуса от количества багов разного типа. К концу года формулу пришлось сильно урезать, т.к. бонус получался совершенно конский - баги нещадно реджектили, объединяли три в один, уменьшали severity и всё такое.

[stas]

Да, в софте это вообще чётко работает - как начнут код в строках мерить, сразу все переходят на стиль "if в одной строке, скобки в другой" и пишут длинные комментарии. Как начнут пофиксеные баги считать - так на каждую случайную(?) опечатку открывается отдельный баг и тут же торжественно закрывается.

[haiut.livejournal.com]

в еврейской армии это правило формулируют просто - "ма ше модедим - миштапер" .. там же четко понимают, что если что-то может быть сделано не так, оно обязательно будет, т.е. к формулировке критерия надо подходить очень серьезнo, и все равно промахнешься :)
вопрос лишь в том, как быстро будет пропадать корреляция между измеряемым и желаемым ..

[irene221b.livejournal.com]

If we can't measure what we value, we'll soon value what we measure.

Не помню, откуда, но мысль сильная.

[larisaka.livejournal.com]

Вот из классики, аналогичное.

“Shortly before the Patrician came to power there was a terrible plague of rats. The city council countered it by offering twenty pence for every rat tail. This did, for a week or two, reduce the number of rats — and then people were suddenly queueing up with tails, the city treasury was being drained, and no one seemed to be doing much work. And there still seemed to be a lot of rats around. Lord Vetinari had listened carefully while the problem was explained, and had solved the thing with one memorable phrase which said a lot about him, about the folly of bounty offers, and about the natural instinct of Ankh-Morporkians in any situation involving money: “Tax the rat farms.” ”

[induke.livejournal.com]

Частный случай Law of Unintended Consequences.

[lbertarian.livejournal.com]

ну это каждому психоаналитику известно: если вам не нравятся результаты, измените критерии.
а чем тебе "хороший (добрый) олень" не нравится? почему аффтар должен быть "добросердечный"? :)

[stas]

Хорошо ложилось бы в "благими намерениями"...

[selfmade.livejournal.com]

Спасибо. Оказывается у этого закона есть имя, а то всё время приходилось объяснять целым абзацем.

[selfmade.livejournal.com]

По поводу bug-free software случай из ленты - http://averros.vox.com/library/post/this-job-will-definitely-make-a-racist-out-of-me.html

[ygam.livejournal.com]

Я 3 года назад писал про этот закон, но не знал его название.