Почему точность проверки не равна вероятности ошибки: условная вероятность в быту

Одна проверка — два разных вопроса

Представим бытовой прибор, который определяет, есть ли в комнате источник необычного запаха. На вопрос «как часто прибор замечает настоящий источник?» можно ответить одним числом. На другой вопрос — «если прибор подал сигнал, насколько вероятно, что источник действительно есть?» — ответить тем же числом нельзя. Первый вопрос описывает работу прибора при наличии источника, второй — смысл сигнала среди всех случаев, когда он прозвучал.

Разница связана с условной вероятностью: вероятность события меняется в зависимости от того, что уже известно. Вероятность сигнала при настоящем источнике — не то же самое, что вероятность источника при сигнале. В повседневной речи эти формулировки легко спутать, потому что обе касаются одного устройства и одного события. Но они обращают направление рассуждения в разные стороны.

Чтобы увидеть разницу, полезно не начинать с процентов. Сначала нужно выяснить, какие именно случаи входят в каждую группу: все комнаты с источником, все комнаты без него, все сигналы или все отсутствующие сигналы. Затем можно считать примеры на небольшом воображаемом наборе.

Условный пример с проверкой посылок

Пусть в условной службе доставки проверяют посылки на ошибочную маркировку. В условном наборе из 1000 посылок на самом деле ошибочно промаркированы 10. Проверка обнаруживает 9 из этих 10 случаев. Это высокая доля обнаружения среди посылок с ошибкой: девять найденных из десяти.

Но проверка иногда даёт сигнал и там, где ошибки нет. Предположим, что из 990 правильно промаркированных посылок сигнал получают 20. Всего сигналов будет 29: девять верных и двадцать ложных. Значит, среди посылок, вызвавших сигнал, ошибка действительно есть в 9 случаях из 29, а не в девяти случаях из десяти.

Числа здесь придуманы только для объяснения. Они не описывают конкретный прибор или реальную службу. Их задача — показать, почему высокая доля обнаружения не гарантирует высокой вероятности ошибки после сигнала. Важен ещё и исходный состав проверяемой группы: сколько посылок ошибочны до проверки, а сколько нет.

Зачем нужен исходный уровень

Доля редких событий среди всех случаев называется базовой частотой. Если событие встречается нечасто, даже редкие ложные сигналы могут составить заметную часть общего числа сигналов. Это не парадокс и не признак того, что проверка бесполезна. Просто знаменатели разные.

В нашем примере «девять из десяти» относится к десяти ошибочным посылкам. А «девять из двадцати девяти» относится к посылкам с сигналом. В первом случае мы заранее знаем, что ошибка есть, и спрашиваем, обнаружит ли её проверка. Во втором начинаем с сигнала и выясняем, сколько за ним стоит ошибок. При изменении исходной доли ошибочных посылок изменится и ответ на второй вопрос — даже если сама проверка работает точно так же.

Такое рассуждение полезно и вне контроля качества. Например, фильтр может хорошо находить письма с нежелательным содержимым, но если таких писем среди всех входящих очень мало, часть отмеченных писем может оказаться обычной перепиской. Чтобы понять значение метки, нужно знать не только свойства фильтра, но и то, насколько часто нежелательное содержимое встречается в рассматриваемом потоке.

Как разложить задачу без сложных формул

Удобный способ — представить небольшую группу случаев и разбить её на четыре ячейки:

• Событие есть, сигнал есть: проверка обнаружила событие.
• Событие есть, сигнала нет: проверка его пропустила.
• События нет, сигнал есть: произошла ложная тревога.
• События нет, сигнала нет: проверка не подала сигнал при обычном состоянии.

В нашем примере первая ячейка содержит 9 посылок, вторая — 1, третья — 20, четвёртая — 970. Теперь можно задать вопрос и выбрать нужный знаменатель. Для вероятности обнаружения при наличии ошибки берём первую и вторую ячейки: всего 10 случаев с ошибкой. Для вероятности ошибки после сигнала берём первую и третью: всего 29 сигналов.

Этот приём помогает избежать распространённой ошибки: делить число найденных событий на неподходящее общее количество. Формула здесь не обязательна, но полезно всегда произносить знаменатель словами: «из всех случаев, где событие было» или «из всех случаев, когда появился сигнал». Если эти фразы не совпадают, то и вероятности отвечают на разные вопросы.

Что числа не говорят сами по себе

Даже правильно вычисленная вероятность относится к определённой группе и условиям. Если поменять место, период наблюдения, правила проверки или состав проверяемых объектов, исходная частота может измениться. Поэтому число из одного примера нельзя автоматически переносить на другую ситуацию. Нельзя также заключать, что конкретная посылка точно ошибочна или точно размечена верно: вероятность описывает группу, а не раскрывает неизвестный исход отдельного случая.

Условная вероятность особенно полезна, когда сообщение сформулировано как «проверка находит почти все ошибки» или «сигнал редко бывает ложным». Такие описания могут быть верными, но отвечать не на тот вопрос, который интересует человека. Чтобы понять практический смысл, нужно уточнить, среди каких случаев рассчитана доля и насколько часто событие встречается изначально.

Итак, сигнал и вероятность события после сигнала — не одно и то же. Между ними стоят базовая частота и ложные тревоги. Разделив примеры на группы и назвав знаменатель, можно увидеть, что именно измеряет каждое число. Это простой способ читать вероятностные утверждения внимательнее — от маркировки посылок до уведомлений бытовых устройств.