Плохая метрика хуже, чем никакой
У ГП в лекции «Организация, руководство, управление» есть такая байка про Вторую мировую:
...Когда корабли ходили по Атлантике, из Англии в Штаты и обратно, то на каждом корабле стояло зенитное орудие, чтобы обороняться от немецких самолетов-бомбардировщиков. А потом, когда бомбили Лондон и город был в трудном положении, один генерал решил посчитать, сколько самолетов сбили эти орудия. Выяснилось, что за все время — три или четыре самолета. Он велел эти орудия снять. И что оказалось? Оказалось, что корабли просто перестали доходить. Поскольку назначение этих орудий состояло не в том, чтобы сбивать самолеты, а в том, чтобы не дать им бомбить, т. е. погасить возможный положительный результат. Возникает вопрос: как считать то, чего не произошло, те ограничения, которые мы наложили? Орудия сбили всего три самолета, но если их убрать, то корабли вообще доходить не будут. Как считать то, что они обеспечивают прохождение корабля, т. е. когда их функция определена таким образом? Нужно было начать считать пустые места.
ГП делает вывод про системотехнику и исследование операций, а мы сделаем про метрики.
Что именно посчитал генерал? Сбитые самолеты. Почему для генерала это важно? Потому что он — человек военный, и «сбитый самолет» — это очевидная для него метрика, определяющая эффективность использования зенитного орудия. Ведь зенитки придумали и создали ровно для того, чтобы сбивать самолеты. Сбивают много — полезны. Нисколько не сбивают — бесполезны, особенно когда Лондон бомбят каждый день и они пригодились бы там.
Для чего зенитки ставили на грузовые корабли — разве не сбивать самолеты? Нет, у кораблей другая задача: доставить груз (и сам корабль с экипажем) до места назначения в невредимости. Именно на эту цель и работали зенитки: они снижали риск быть потопленными бомбардировщиками.
У ГП в цитате указана именно такая метрика: нейтрализация вражеского полезного результата — успешного бомбометания. То есть, предотвращенная или сорванная атака бомбардировщика на корабль работает на результат «доставить корабль и груз в целости» не хуже, чем сбитие бомбардировщика.
Можно даже так зафреймить: сбитие бомбардировщика — это предельный случай срыва бомбометания, а не цель зенитчика в контексте защиты транспортного конвоя.
Правильными метриками должны быть следующие, в таком порядке:
- Доходимость кораблей — сколько кораблей, вышедших из порта, дошло до точки назначения за период времени; это и есть основная целевая метрика, на которую должны работать все принимаемые решения и меры.
- Результативность атак бомбардировщиков — сколько было успешных заходов на корабли; это прокси-метрика, на которую влияет зенитка, и которую можно связать с доходимостью кораблей. А еще это негативная метрика: в наших интересах снизить ее до нуля.
- Сбитые бомбардировщики. В контексте доходимости кораблей — важно, но с отложенным эффектом: сбитый самолет не сможет никого разбомбить ни сегодня, ни завтра, ни через неделю. Но для конвоя — точно не основная метрика.
Генерал, в силу своей модели мира, считал только сбития — прямую метрику работы зениток.
С точки зрения цели конвоя (доставлять грузы в условиях войны), использование этой метрики для принятия решения «зенитки конвоям не нужны» — плохое и вредное, т. к. оно привело к негативному результату.
Можно переформулировать так: зенитка в рамках системы «конвой, доставляющий груз через Атлантику» — это подсистема недопуска/снижения точности бомбометания, часть риск-стратегии конвоя; генерал же считал зенитки подсистемами для сбивания самолетов.
Если довести подход генерала до абсурдного предела, то можно представить себе, как ведомые им конвои рыщут по Атлантике в активном поиске бомбардировщиков, чтобы побольше сбить — и поднять метрику.
Итак, пост приводит нас к очевидному выводу:
Плохая метрика хуже, чем отсутствие метрики
Когда метрики нет — нет и возможности принять плохое решение на ее основе.
Когда метрика есть — решение принять нужно, иначе зачем нам метрика?
Вот так и продакты. Считают фичи и релизы вместо положительной дельты к прибыли на жизненном цикле продукта.
P.S. «Пустые места» в логике ГПЩ — это события, которые могли произойти, но были предотвращены: несостоявшиеся попадания и непотопленные корабли. Наблюдать их нельзя, в отчетах их нет, поэтому и считать приходится контрфактуально: «что случилось бы, если бы убрали зенитки».
P.P.S. Вывод у нас получился про неверно выбранную метрику, но ведь есть и более известная байка про верную метрику на кривой выборке: ошибка выжившего. Это известный многим кейс про вернувшиеся на аэродром бомбардировщики со следами попаданий, и он демонстрирует, как верная метрика на кривой выборке так же приводит к неверным выводам.