Недавно, изучая основы машинного обучения и изучая классификацию, я столкнулся с точностью и отзывом.
Диаграммы, которые часто включаются для объяснения этих концепций, не помогли мне понять различия между ними.
Но чудо, я придумал объяснение, которое имеет для меня смысл, и я надеюсь, что оно поможет некоторым из вас на пути к изучению ML (возможно, кто-то придумал это объяснение раньше меня).
Прежде чем начать, давайте представим себе кучу песка, но в этом песке тоже есть песчаники, они тоже песок, верно? В этом песке также есть мусор.
Наша задача – просеять песок.
Можем просеять максимально чисто, без единого мусора, но не весь (комочки песка не попадут), а можем просеять весь песок, но мусор тоже может попасть в нашу куча.
С этим пониманием идем дальше.
Что такое точность и отзыв?
Это та самая схема Чтобы понять, что означает эта схема, приведён пример мальчика, который охраняет овец (пусть это будет Вася), и волка, который нападает на овец ночью.
Вася любит пугать жителей по ночам и будит всех словами: «Волк!» Но бывает и так, что волк действительно приходит ночью.
Итак, когда Вася кричит и действительно появляется волк, то это True Positive (TP).
Когда Вася кричит, а волка нет, то это ложное срабатывание (ФП).
Когда Вася не кричит и волк пришёл, то это ложноотрицательный результат (ЛН).
А когда Вася не кричит и волк не пришёл, то это True Negative (TN).
Другими словами, Positive и Negative — это предсказания нашей модели (есть ли на этой картинке кот), а True и False — это оценка того, правильно ли модель определила наш класс (действительно ли на этой картинке есть кошка).
Крик Васи – это предсказание модели.
Пришел Волк - что же произошло на самом деле, и по отношению к тому, какая оценка дана (Правда или Ложь) крику нашего Васи.
Точность (точность) - соотношение ТП к ТП+ФП.
Это доля объектов, которые классификатор называет положительными и на самом деле являются положительными.
Возвращаясь к нашему объяснению о куче песка с самого начала, он измеряет: насколько чистый песок? стало после просеивания (ТП – просеянный песок, ФП – мусор).
Но стоит помнить, что не весь песок попал, потому что комочки песка не могли пройти через сетку.
Или каким честным был Вася, когда кричал о нападении Волка.
Отзывать (Полнота) - соотношение ТП к ТП+ФН.
Именно такую долю объектов положительного класса среди всех объектов положительного класса нашел алгоритм.
Он также измеряет сколько песка попал в кучу, то есть в нее должны попасть и комочки песка, но загвоздка в том, что в нашу кучу может попасть и мусор.
(ТП – песок просеянный, ФН – песок непросеянный).
Или как Вася был внимателен и заметил атаку Волка.
В этом суть этих метрик: по мере увеличения отзыва точность снижается, и наоборот. 
Как это связано с порогом принятия решения?
Порог принятия решения используется, когда нам нужно определить, к какому классу отнести нашу выборку.Например, наша модель, предсказывающая, является ли изображение кошкой или собакой, дала 75%-ную вероятность для определенной выборки, что это собака.
Если мы установим порог принятия решения равным 60%, то алгоритм выведет, что это собака, поскольку 75 больше, чем 60. Но если мы установим порог принятия решения равным 80%, то алгоритм классифицирует выборку как кот. Порог принятия решения можно представить в виде линии, по одну сторону которой будет одно значение, а по другую — другое.
Чтобы выяснить, как порог принятия решения связан с точностью и отзывом, мы можем представить его как ширину нашей сетки.
При высоком пороге сетка будет узкой, точность увеличится, то есть будет падать только чистый песок, но уменьшится отзыв, то есть не весь песок попадет в кучу (помните, что комки слишком велики, чтобы пройти через сетку).
При низком пороге сетка будет широкая, попадет весь песок, включая комочки, но и мусор попадет, соответственно, отзыв увеличится, а точность упадет. 
Надеюсь, этой статьей я помог хотя бы немного приблизиться к интуитивному пониманию точности и полноты.
Настоятельно рекомендую читать другие источники и не ограничиваться только этой статьей, я не эксперт и тоже только учусь.
Поэтому, если я в чем-то не прав, буду рад, если вы сообщите мне об этом в комментариях.
Это была моя первая статья, надеюсь на скорую встречу, ура! Мой блог включен телетайп Теги: #Машинное обучение #машинное обучение #машинное обучение #обучение #метрики #классификация #точность #отзыв #решение-мусор #решение-мусор #машина
-
Брас, Чарльз Фрэнсис
19 Oct, 24 -
Частицы-Партнеры Калуцы-Клейна, Часть 1
19 Oct, 24 -
Ошибка Html
19 Oct, 24 -
Набор Кроссбраузерных Свойств Css3.
19 Oct, 24
