Сколько проверок скрыто за одной находкой: множественные сравнения

Одна заметная закономерность и множество попыток её найти

Представим исследователя, который проверяет, связана ли привычка читать перед сном с каким-либо показателем самочувствия. Но вместо одного заранее выбранного показателя он рассматривает двадцать: качество сна, настроение, бодрость утром и другие характеристики. Если одна связь окажется статистически заметной, легко рассказать о ней как об отдельном открытии. Между тем важен вопрос: сколько сравнений было сделано до того, как нашлось это «открытие»?

Когда проверок много, случайное совпадение становится вероятнее. Это не означает, что найденная связь обязательно ложна. Это означает, что её убедительность нельзя оценить, забыв о множестве проверенных вариантов. Название этой проблемы — множественные сравнения. Она возникает в исследованиях, журналистских обзорах данных, деловой аналитике и повседневном чтении статистических сообщений.

Чтобы понять проблему, полезно различать две ситуации. В первой гипотеза и основной показатель выбраны заранее, до изучения результатов. Во второй сначала перебирают много показателей, групп и способов расчёта, а затем рассказывают о наиболее выразительном результате. Итоговая цифра может выглядеть одинаково, но путь к ней различается — и это влияет на то, насколько уверенно её следует трактовать.

Простой числовой пример

Допустим, проводят двадцать независимых проверок, и каждая устроена так, что при отсутствии настоящей связи вероятность случайно получить результат, признанный статистически значимым, равна пяти процентам. Вероятность не получить ни одного такого результата во всех двадцати проверках составляет примерно 0,95 в двадцатой степени, то есть около 36 процентов. Значит, вероятность увидеть хотя бы один формально значимый результат — примерно 64 процента.

Этот пример иллюстрирует принцип, а не универсальную оценку для любой работы. В реальных данных проверки часто связаны между собой: например, показатели сна и утренней бодрости могут частично отражать одно и то же. Поэтому предположение о независимости не всегда подходит, а вычисленное число нельзя автоматически переносить на конкретное исследование. Но основной вывод сохраняется: чем больше вариантов проверяют, тем осторожнее нужно относиться к самой удачной находке.

Важно и то, что статистическая значимость не сообщает напрямую, велика ли связь, важна ли она практически или объясняет ли одно явление другое. Она отвечает на более узкий вопрос в рамках выбранной модели и предположений. Даже корректно рассчитанное значение не заменяет описание размера эффекта, качества измерений и возможных альтернативных объяснений.

Как выбор анализа меняет видимый результат

Перебор не обязательно выглядит как десятки отдельных тестов. Аналитик может менять возрастные границы групп, исключать отдельные наблюдения, выбирать разные временные промежутки, по-разному определять показатель или пробовать несколько моделей. Каждый выбор иногда бывает обоснованным. Риск возникает, если все эти решения принимаются после знакомства с данными, а в итоговом сообщении показывается только вариант, который дал наиболее выразительный результат.

Например, в опросе можно сравнить общий ответ всех участников, затем отдельно ответы людей разных возрастов, а после — подгруппы внутри каждой возрастной категории. Если одна небольшая подгруппа покажет необычный результат, он может привлечь внимание. Но без сведений о том, сколько сравнений проводилось, читатель не понимает, была ли эта подгруппа частью заранее сформулированного вопроса или стала заметной в ходе поиска.

Проблема касается не только намеренного выбора удобных результатов. Иногда исследователь искренне изучает данные, замечает неожиданный рисунок и начинает задавать новые вопросы. Такой поиск полезен: именно так могут появляться идеи для дальнейшей проверки. Важно лишь не представлять исследовательскую подсказку как окончательное подтверждение. Гипотеза, возникшая после просмотра данных, требует проверки на новых данных или в заранее спланированном анализе.

Подтверждение и поиск — разные задачи

Подтверждающее исследование проверяет конкретное предположение, сформулированное до анализа. Заранее фиксируют, какой показатель главный, какие сравнения будут проведены и как будут обрабатываться данные. Такая прозрачность не гарантирует безошибочность, но позволяет понять, какие решения были приняты до того, как стал известен результат.

Исследовательский анализ, напротив, предназначен для поиска возможных закономерностей. Он может включать много сравнений и менять направления по мере изучения данных. Это не «плохая статистика»: поиск часто необходим, особенно когда явление изучено недостаточно. Но его выводы обычно разумнее считать предварительными. Их ценность — в постановке проверяемых вопросов, а не в автоматическом доказательстве причинной связи.

Различие между двумя задачами можно представить как различие между картой и разведкой. Карта отвечает на заранее поставленный вопрос в известных границах. Разведка помогает заметить, куда стоит посмотреть дальше. Ошибка начинается, когда результаты разведки описывают так, будто маршрут был полностью намечен до начала пути.

Как читать сообщения о статистических находках

Читателю полезно выяснить не только, какой результат выделен, но и сколько вариантов было рассмотрено. Были ли показатели выбраны заранее? Сколько групп сравнивали? Проверяли ли связь с несколькими исходами или временными интервалами? Эти вопросы не служат обвинением и сами по себе не опровергают результат. Они помогают восстановить контекст, необходимый для его оценки.

Следует также искать описание величины эффекта и неопределённости, а не ограничиваться фразами вроде «связь обнаружена» или «результат оказался значимым». Полезно знать, повторялся ли вывод в других выборках и согласуется ли он с независимыми данными. При этом повторение тоже оценивают с учётом различий между исследованиями: способы измерения и состав участников могут не совпадать.

Статистика не становится бесполезной из-за множественных сравнений. Напротив, понимание этой проблемы делает выводы точнее. Одна выразительная цифра может быть началом содержательного исследования, но её смысл зависит от того, сколько вопросов задавали данным, какие из них были запланированы и какие проверки последовали затем. Хорошее чтение статистики учитывает не только найденный ответ, но и весь процесс поиска.