предыдущие главы 34. Как определить уровень качества, доступного человеку Допустим, вы работаете над приложением для медицинской визуализации, которому необходимо автоматически диагностировать рентгеновские изображения.
Частота ошибок среднестатистического человека без медицинского образования, за исключением некоторой базовой подготовки, составляет около 15%.
Ошибка начинающего врача составляет около 10%.
Опытный врач допускает ошибки в 5% случаев.
Ошибка небольшой группы врачей, изучающих и обсуждающих каждое изображение, не превышает 2%.
Какую из этих цифр следует принять за «уровень качества человека»? В данном случае я бы взял 2% за уровень человеческого качества и установил соответствующее оптимальное значение ошибки.
Также имеет смысл установить 2% в качестве желаемого уровня ошибки для нашей системы, поскольку это значение ошибки соответствует всем трем критериям, описанным в предыдущей главе для систем, которые позволяют сравнивать производительность алгоритма с производительностью человеческой задачи:
- Простая маркировка данных : Вы можете использовать команду врачей для маркировки данных с точностью 98 % (ошибка 2 %).
- Анализ ошибок с использованием человеческой интуиции : Обсуждение рентгеновских снимков с вашей клинической командой может помочь вам положиться на их интуицию в поиске способов улучшения качества.
- Использование выполнения задач, выполняемых человеком, для установления оптимального уровня ошибок, а также для определения достижимого «желаемого уровня ошибок» системы.
: В качестве оценки оптимального уровня ошибки разумно использовать 2%.Оптимальный уровень ошибки может быть даже менее 2%, но он точно не может быть выше в связи с тем, что такой уровень ошибки соответствует качеству диагностики, доступной специалистам, и нет смысла устанавливать целевой уровень 5% или Погрешность 10% для автоматической системы, т.к.
мы точно знаем, что сможем добиться более высокого уровня качества.
Возможно, разумнее нанять одного начинающего врача для подавляющего большинства исследований и использовать только опытного врача или команду специалистов для самых сложных случаев.
Если ваша система в настоящее время имеет погрешность 40 %, то не имеет большого значения, используете ли вы новичка (ошибка 10 %) или опытного врача (5 %) для разметки данных и получения идей по улучшению производительности алгоритма.
Но если ошибка вашей системы уже ниже 10%, то уровень человеческого качества в 2% ошибок дает вам уверенность в дальнейшем улучшении вашей системы.
35. Преодоление уровня качества, доступного человеку Допустим, вы работаете над проблемой распознавания речи и используете образец аудиоклипа.
Предположим, в вашем наборе много клипов, настолько шумных, что даже человек допускает 10% ошибок.
Давайте представим, что ваша автоматическая система ошибается только в 8% случаев.
В этом случае можете ли вы использовать какой-либо из методов, описанных в главе 33, чтобы ускорить дальнейшую работу над приложением? Если удастся найти подвыборку, состоящую из примеров, в которых люди значительно превосходят качество системы, то описанные выше подходы все равно можно использовать для ускорения прогресса в развитии системы.
Например, предположим, что ваша система намного лучше, чем люди, распознает речь в шумных аудиоклипах, но люди по-прежнему значительно превосходят ее в способности распознавать очень быстро произнесенные фразы.
Для подвыборки, состоящей из клипов с быстрой речью:
- Все еще возможно получить человеческие расшифровки клипов, качество которых выше качества алгоритма.
- По объяснениям человека можно понять, что помогает ему правильно распознавать быстро произнесенные фразы, а чего не хватает системе для решения этой задачи.
- Вы можете использовать уровень качества человека в быстро произносимых фразах, чтобы установить «желаемый уровень качества системы» в качестве цели алгоритма на таких примерах.
Это верно, даже если по всему набору обучения или проверки среднее качество алгоритма выше, чем качество, доступное людям.
Существует множество важных приложений машинного обучения, в которых алгоритмы превосходят людей.
Например, машины могут лучше предсказывать рейтинги фильмов, время в пути на автомобиле и выплаты по кредиту.
В тех случаях, когда людям трудно найти примеры, в которых алгоритм явно неправильный, существует лишь ограниченное количество методов, которые можно применить для улучшения качества.
Следовательно, при работе над системой, которая уже превзошла человека, прогресс, как правило, идет медленнее, чем в тех случаях, когда алгоритмы еще не достигли человеческого уровня.
продолжение Теги: #Машинное обучение #Профессиональная литература
-
После 15 Марта Мы Начнем Тестировать Lte
19 Oct, 24 -
Блазор: Нужен Ли Нам .Net В Сети?
19 Oct, 24 -
Посмотрите, Где Был Ваш Iphone
19 Oct, 24 -
Девушки И Технические Науки
19 Oct, 24 -
Ssl-Мониторинг Касперского
19 Oct, 24 -
Fallout 3 Вышел На Пк
19 Oct, 24
