Собрал заметки из канала в общий пост.

Про суждения (judgements)

Как они выносятся: эксперт изучает задачу/кейс, отмечает важные детали и опускает неважные, делает вывод — и выносит суждение.

1. Важность или незначительность деталей при вынесении суждения определяются интуитивно, если нет руководства или методики;
2. Эксперт не будет анализировать достаточность информации в задаче/кейсе и вынесет суждение на основе доступных данных — если к тому нет прямого указания;
3. Стремление к когерентности (последовательности, цельности) заставляет экспертов выносить суждение, даже если задача/кейс криво сформулированы и данных для вывода недостаточно;
4. Стремление к когерентности заставляет подгонять факты и логические шаги под зарождающийся вывод и следующее из него суждение, вместо устранения логических коллизий;
5. Любой эксперт может объяснить логику, по которой он вынес то или иное суждение, но почти всегда эта логика уязвима либо на уровне построения, либо на уровне аргументов.

Есть еще такой интересный вывод, подрезал у кого-то из западных рецензентов:

Суждение — это результат измерения, в котором инструментом послужил мозг

Это отсылает нас к книге, которую я всегда всем советую — «Как измерить все, что угодно» Дугласа Хаббарда. Там описывается практика калибровки экспертов для определения диапазонов допустимых значений.

Шум в индивидуальных и групповых решениях

В индивидуальных решениях помехи вносит ситуационный шум: настроение, погода, предшествующие события, вынесенные ранее суждения. На физиологическом уровне неустранимый источник такого шума — вариативность поведения нейронов, даже если по ним проходят сигналы одного и того же рассуждения.

См. видео On These Questions, Smarter People Do Worse

В групповых решениях ситуационный шум возникает из-за социального доказательства (залайканному комментарию чаще ставят лайки), порядка высказывающихся в групповых обсуждениях (первыми выступали сторонники новой инициативы — у остальных участников группы возникнет доверие к инициативе), позиции «своей» группы (демократы скорее проголосуют за инициативу, которую поддерживают другие демократы, чем за объективно более полезную).

Мудрость толпы — усреднение независимо вынесенных суждений на ансамбле. Опрашиваем тысячу человек на предмет «какова высота Останкинской башни?», выводим среднее арифметическое — оно будет довольно близко к истине.

Мудрость «внутренней толпы» в 2-3 раза менее точна, чем настоящая мудрость толпы, но точнее единственного вынесенного суждения. Чтобы максимизировать ее точность, нужно придерживаться такого алгоритма:

1. Вынести суждение
2. Подождать 2-3 дня (сбросить контекст)
3. Вынести суждение еще раз, исходя из предположения, что первое суждение было неверным.
4. Взять среднее арифметическое первого и второго суждений.

Матмодели против экспертов

Дальше там, конечно, полнейший разнос.

Авторы пишут: простые регрессионные модели (чем бы они ни были — прим. меня) выносят суждения лучше экспертов. Более того: эксперта, который хорошо выносит суждения, можно превратить в такую модель — и она будет перформить лучше своего живого прототипа 🤯.

Причем исследования на эту тему проводились в 60-70х годах, задолго до чата гпт.

Почему простая модель из ряда формул прогнозирует лучше, чем живой прототип этой модели? Потому что эксперту-прототипу мешает т. н. «внутриэкспертный шум» — факторы, которые заставляют этого эксперта по-разному оценивать схожие кейсы. Модель, с ее кондовым методом, таких изъянов лишена.

Про замену эксперта моделью. Вследствие такой замены произойдут две вещи:

1. Устранится изобретательность эксперта, т. е. его способность менять набор оцениваемых факторов в зависимости от кейса;
2. Устранится внутриэкспертный шум.

Кажется, что устранять изобретательность — это плохое решение, ухудшающее точность; на деле же вся эта «изобретательность» просто порождает дополнительный шум, т. к. эксперт «изобретает» не по методу/чеклисту, а интуитивно, а это всегда работает против точности.

Статистически, утверждают авторы, преимущества громоздких экспертных правил не компенсируют негативное воздействие шума.

Про прогнозы: для понимания верности этой главы у нас набралось немало актуальной фактуры за последние три года. Эксперты-прогнозисты есть на любой вкус — за любую из сторон, плюс все градации между ними. Прогнозисты с разных полюсов этого спектра дают диаметрально противоположные прогнозы, из которых не сбываются ничьи. А люди смотрят/слушают тех, кто им симпатичен или близок по взглядам.

Причина очевидная — в невозможности предсказать будущее. Авторы называют такую неспособность «объективной неосведомленностью». В ситуации, когда эксперт должен сделать прогноз, он скорее всего обладает некоторым количеством информации для его обоснования.
Но есть два важных набора факторов: истинное незнание (важная для прогноза информация, которую никак нельзя узнать) и неполная информация (можно было узнать, но этого не произошло). Вместе они и составляют объем объективной неосведомленности, которая делает невозможным прогнозы с приемлемой точностью.

Например, эксперты составляли прогноз успешности соискателей на выбранной должности. По их мнению, точность прогнозов составляла 75-80%, то есть из 10 нанятых сотрудников восемь работают так же хорошо, как предполагали эксперты.

По факту точность оказалась в районе 28% (r=0,28) 💀.