Когда общий процент переворачивает сравнение: парадокс агрегирования

Одна таблица — два разных вывода

Представим две учебные программы, которые помогают участникам справляться с задачами. В каждой программе есть задания разной сложности. Если сравнить долю успешно выполненных заданий отдельно для простых и сложных задач, программа А может оказаться лучше программы Б в обеих группах. Но если объединить все задания и сравнить только общие проценты, преимущество может перейти к программе Б. Это не ошибка деления и не фальсификация данных. Меняется состав групп, из которых складывается общий показатель.

Такое явление называют парадоксом Симпсона: закономерность, заметная в нескольких подгруппах, может ослабнуть или измениться при объединении данных. Название описывает семейство статистических ситуаций, а не универсальный трюк, который обязательно проявляется в каждом наборе чисел. Главный урок здесь шире: итоговый процент зависит не только от результатов внутри групп, но и от того, сколько наблюдений приходится на каждую группу.

Числовой пример без скрытой сложности

Все числа ниже придуманы для объяснения принципа. Пусть речь идёт о выполнении заданий двумя группами людей:

• Простые задания: программа А — 9 успехов из 10, то есть 90%; программа Б — 80 из 100, то есть 80%.
• Сложные задания: программа А — 30 из 100, то есть 30%; программа Б — 2 из 10, то есть 20%.

В каждой категории доля успеха у программы А на десять процентных пунктов выше. Но объединённые результаты выглядят иначе. У А — 39 успехов из 110 заданий, около 35,5%. У Б — 82 из 110, около 74,5%. Общий процент Б намного выше, хотя внутри каждой категории он ниже.

Причина — распределение заданий: у Б почти все наблюдения относятся к простой категории, а у А большинство — к сложной. Высокий общий результат Б отражает одновременно доли успеха внутри категорий и то, какие именно задания чаще попадали в эту группу. Поэтому общий показатель здесь нельзя читать как чистое сравнение эффективности программ.

Почему объединение меняет смысл

Среднее значение — это не просто краткое резюме набора данных. Оно отвечает на определённый вопрос, а вопрос зависит от весов. В нашем примере общий процент можно понимать так: «какова доля успехов среди всех заданий, которые фактически были выполнены?» Он не отвечает автоматически на другой вопрос: «какая программа лучше справляется с заданиями одинаковой сложности?»

Когда один показатель сводит разные категории в одну, каждой категории фактически назначается вес. Если вес задаётся числом наблюдений, то крупная группа сильнее влияет на результат. Если же исследователь рассчитывает среднее из процентов по категориям, придавая им равный вес, получится уже иной показатель. Ни один способ не является правильным для всех случаев: важно, соответствует ли выбранное взвешивание вопросу.

Похожая проблема возникает при сравнении школ, больниц, городов или периодов времени. Учреждение может принимать больше сложных случаев, город — иметь иную возрастную структуру, а в одном месяце может измениться доля наблюдений из разных категорий. Без учёта состава общая разница способна смешивать несколько процессов.

Что проверять перед выводом

При встрече с эффектным сравнением полезно выяснить, какие наблюдения объединены и чем отличаются входящие в показатель группы. Это не означает, что каждую таблицу нужно превращать в сложный анализ. Часто достаточно запросить разрез по важной характеристике, например по уровню сложности, возрастной категории или типу случая.

• Уточнить единицу подсчёта. Считаются люди, задания, обращения или события? Один человек может дать несколько наблюдений, и тогда «100 случаев» не обязательно означают 100 разных людей.
• Посмотреть на знаменатели. Одинаковые проценты, основанные на 10 и 10 000 наблюдений, отличаются по устойчивости. Малые группы особенно чувствительны к единичным изменениям.
• Сравнить состав групп. Если доли категорий различаются, общий итог может быть обусловлен их весами.
• Спросить, какой вопрос должен решать показатель. Описание фактического потока наблюдений и сравнение при одинаковом составе — не одно и то же.

Такая проверка помогает не только заметить парадокс Симпсона, но и обнаружить более обычные случаи, когда агрегат скрывает различия. Иногда направление эффекта не переворачивается, но величина общего разрыва оказывается почти целиком связана с составом групп.

От описания к причинному выводу

Даже разбиение данных на подгруппы не доказывает, что именно программа, политика или другое воздействие вызвало разницу. Категории могут не учитывать важных обстоятельств: опыта участников, порядка распределения заданий или условий проведения. Статистика описывает наблюдаемую картину; причинный вывод требует обоснования того, почему сравниваемые группы действительно сопоставимы.

Иногда вопрос состоит не в том, какой общий процент «истинный», а в том, какой показатель полезен для конкретного решения. Для описания того, что произошло в реальности, может быть важен общий итог с фактическими весами. Для сравнения при одинаковом составе может понадобиться иной расчёт. Честная интерпретация называет выбранную перспективу и показывает, как получен результат.

Критическое чтение статистики начинается не с подозрения к любому среднему, а с вопроса о его устройстве: кто или что вошло в числитель, что осталось в знаменателе и как смешаны разные группы. Тогда противоречивые проценты перестают быть загадкой. Они показывают, что за одним коротким числом могут стоять разные структуры данных и разные вопросы.