Один из текущих проектов Девим — разработка скорингового сервиса для микрофинансовой организации (МФО).
Проект выполнен нашей командой Data Science. Андрей Давыденко и Дмитрий Горелов датасанта .
Рассказываем о том, какие задачи были решены, какие факторы были учтены, а также о полученных результатах.
Предлагаемое в настоящее время решение основано на подходе, при котором автоматическая обработка заявок осуществляется с учетом вероятности отказа/одобрения аналогичных существующих заявок андеррайтерами (экспертами).
Такой подход позволил нам выполнить проект в короткие сроки и учесть некоторые особенности бизнес-целей.
Среди интересных результатов: как оказалось, решения андеррайтеров при выдаче кредитов можно с высокой точностью прогнозировать с помощью статистической модели ( АУК > 0.93).
Надеемся, что публикация будет интересна не только специалистам по скорингу, но и всем, кто интересуется машинным обучением и его применением на практике.
Материал подготовлен командой Data Science Devim. 
Содержание:
- Введение
- Проблемы обучения модели без ответов экспертов
- Этапы проекта
- Автооценка
- Другие приложения
- Преимущества и недостатки подхода
- Заключение Литература
1. Введение
Все больше компаний хотят заменить сотрудников роботами.Целью является снижение затрат в условиях растущей конкуренции на рынках и роста ожиданий сотрудников по заработной плате.
Но реализация алгоритма, лежащего в основе действий робота, не всегда является тривиальной задачей.
Например, обработка запроса клиента в системе массового обслуживания может включать в себя анализ различных факторов, включая возраст, доход, историю взаимоотношений с клиентом, а также информацию о текущей ситуации в компании.
Для этого необходимо учитывать краткосрочные и долгосрочные цели бизнеса.
Зачастую все эти факторы сложно формализовать и даже перечислить.
Однако специалисты, хорошо знающие специфику бизнеса, могут достаточно эффективно принимать решения для обеспечения желаемых показателей деятельности компании.
Стоимость работы экспертов достаточно высока; поиск или «выращивание» эксперта в компании – длительный и трудоемкий процесс.
Вопрос сводится к тому, как научить робота выполнять работу эксперта.
Мы рассматриваем подход, основанный на «копировании» действий эксперта.
Предполагается наличие базы данных наблюдений с параметрами возможных ситуаций и информацией о действиях экспертов в соответствующих ситуациях.
Используя модель, обученную на имеющихся данных, появляется возможность принимать некоторые решения автоматически, тем самым разгружая или «тиражируя» сотрудников.
Мы анализируем преимущества и недостатки такого подхода и иллюстрируем его на примере нашего опыта внедрения автоскоринга для МФО.
2. Проблемы обучения модели без ответов экспертов
Существует альтернативный подход, когда модель прогнозирует не решение эксперта, а некий целевой показатель.цель (целевая переменная).
Если речь идет о выдаче кредитов, модель можно обучить прогнозированию просрочки платежей по договору.
Однако здесь возникает ряд вопросов, решение которых требует значительных затрат. В конце концов, решение все равно будет частично субъективным.
Во-первых, выбор целевой переменной не очевиден .
Для оценки целевой переменной можно выбрать задержку в 15 дней, 30 дней или другое количество дней.
Каким образом вероятность задержки преобразуется в окончательное решение об одобрении/отклонении заявки, также остается вопросом.
Данные вопросы необходимо решать исходя из соотношения потерь от невозврата и прибыли к возврату, что требует специальных исследований для конкретной МФО и связано со значительными временными и денежными затратами.
Кроме того, текущие цели компании могут конфликтовать с целевой переменной: например, запуск акции для увеличения потока клиентов приведет к решениям, которые станут неоптимальными в краткосрочной перспективе такой акции.
Во-вторых, данные обучения , включая значения целевой переменной модели, может отсутствовать .
Например, при создании нового продукта/открытии филиала в новом городе или стране невозможно сразу получить данные по целевому показателю.
В-третьих, поскольку данные о невозвратах кредитов по отклоненным заявкам отсутствуют, автоскоринг, скорее всего, приведет к неправильным прогнозам невозврата .
Эта проблема известна в литературе как анализ отклоненных заявок или вывод об отклонении.
Характер связей между целевой переменной и характеристиками может быть различным для выборок с одобренными и отклоненными заявками.
Тогда свойства выборки одобренных заявок будут отличаться от свойств выборки всех заявок, т. н.
Образцы TTD (TTD = «через дверь»).
По этой же причине невозможно оценить качество модели (например, с помощью критерия AUC) по отношению к выборке TTD. При этом, в конечном итоге, именно показатель TTD должен характеризовать работоспособность модели.
Проблема анализа отклоненных заявок описана в литературе.
(Андерсон, 2007 г.
) ; В рамках систем автоскоринга разработаны соответствующие специальные инструменты, такие как SAS и Deductor. Но существующие решения по-прежнему основаны на настройке параметров, которые определяются субъективно.
Когда модель обучается на основе ответов экспертов, приведенные выше вопросы не столь критичны, поскольку: 1) определена целевая переменная, 2) данные можно получить в необходимом объеме путем опроса экспертов, 3) используется выборка TTD.
3. Этапы проекта
Реализация интеллектуальных систем обработки данных включает в себя большое количество взаимосвязанных задач, которые необходимо решать в определенном порядке.Для регулирования процесса реализации проекта по анализу данных многие компании используют стандарт CRISP-DM (Cross-Industry Standard Process for Data Mining — межотраслевой стандартный процесс интеллектуального анализа данных).
(Ширер, 2000) .
Методология CRISP-DM позволяет формализовать задачи и документировать ход проекта, чтобы эффективно использовать ресурсы.
Согласно CRISP-DM, проект включает в себя следующие этапы: 
В случае нашего подхода также применим CRISP-DM. Ниже описаны (в упрощенной форме) проблемы, которые мы решали, и то, как они связаны с этапами стандарта.
В целях сокращения публикации и сохранения коммерческой тайны мы не приводим некоторые подробности, акцентируя внимание на основных результатах проекта.
4. Автовыставление оценок
4.1. Понимание бизнес-целей
История проекта Автоматизирована задача отклонения/одобрения заявки, поданной в МФО на получение кредита с единовременным погашением.Решение необходимо принимать на основе всей совокупности информации о потенциальном клиенте.
Входная информация:
- Данные анкеты (ФИО, доход, семейное положение и т.п.
информация)
- Сумма кредита
- Информация из бюро кредитных историй (БКИ) «Эquifax», в том числе скоринговый балл (продукт «Скоринг МФО 2.0») и информация по кредитному договору каждого клиента
- Результаты запроса в базу данных исполнительных производств (БД ИП)
Поэтому запрашивать его целесообразно только тогда, когда невозможно принять решение об одобрении/отказе на основании другой информации.
Заявки обрабатываются андеррайтерами вручную на основании всей доступной информации, включая отчеты БКИ.
Цели и критерии успеха Модель должна автоматизировать процесс принятия решений и принимать решения вместо андеррайтера.
Результатом модели является один из трех вариантов:
- Автоматически утверждать;
- Автоматически отказываться;
- Отправьте страховщику на рассмотрение.
Цели и критерии успеха: Задание 1: Автоматический отказ по базе IP Во многих случаях в базе ИП содержится информация, которой уже достаточно для отказа в кредите.
Модель автоотказа будет считаться успешной, если она сможет практически точно спрогнозировать отказ клиента на основе информации из базы данных ИП, данных анкеты и суммы кредита.
Эта модель позволит сэкономить ресурсы на запросах к БКИ и ручной обработке трафика.
Задача №2: Автоматическое одобрение или автоматический отказ на основе всей информации (включая ответ от BKI) Если модель автоотклонения по базе ИП не определяет автоматический отказ, необходима модель, использующая информацию из БКИ для автоматического принятия решения по заявке.
В этом случае модель будет успешной, если удастся обеспечить достаточно низкий уровень расхождения между решениями модели и решениями андеррайтеров.
Максимально допустимый процент несоответствий должен быть установлен на основании стресс-тестирования.
Найденная модель позволит сэкономить ресурсы на ручную обработку трафика, а также создаст основу для масштабируемых решений (в том числе автоматической выдачи кредитов онлайн).
Сроки реализации проекта были достаточно сжатыми (3 месяца), поэтому команда старалась найти самые простые решения, которые, тем не менее, привели бы к приемлемому результату.
4.2. Подготовка и проверка данных
Данные о применении собирались в течение шестимесячного периода.Соответственно, по каждой заявке было решение андеррайтера.
Процент одобренных заявок ( принять ставку ) довольно низкая – менее 10%.
А для заявок, записи по которым были найдены в базе IP, процент принятия еще ниже.
При такой скорости принятия трудно получить надежную модель для прогнозирования дефолта из-за ранее описанной проблемы анализа отклоненных заявок (т.н.
отвергнуть вывод ).
Прогнозирование решения андеррайтеров является более простой задачей, поскольку одобрения/отказы известны по всем заявкам (кроме тех, которые находятся на рассмотрении).
Некоторые заявки имели кредитную историю (КИ) в формате XML. Каждый CI был преобразован в набор функций для конкретного приложения.
Мы следовали общим рекомендациям по выбору набора функций для автооценки на основе CI. Очень редко при описании информации о кредитных договорах были пропуски данных или ошибки/неточности (например, не было разделителей между рублями и копейками).
Использовалась база данных ИП: по каждой заявке, например, указано количество ИП по данному клиенту, а также общая задолженность в рублях.
На основе данных анкеты были сформированы дополнительные характеристики.
Например, пол клиента по последним буквам отчества и фамилии.
Численные характеристики были преобразованы для получения симметричных распределений и анализа выбросов.
В частности, было установлено, что Метод Бокса-Кокса можно получить распределения, близкие к нормальному.
Показатели в рублях (например, суммы долгов) имеют логнормальное распределение, что упрощает анализ.
Выбросы были определены метод Тьюки .
В целом существенных проблем с качеством данных, которые могли бы повлиять на качество модели, обнаружено не было – данные достаточно полные и корректные.
4.3. Моделирование и оценка
Задача №1 Для реализации автоотказа на основе данных анкеты и базы ИП мы использовали логистическая регрессия .Решение андеррайтера использовалось в качестве целевой переменной.
То есть регрессионная модель в данном случае оценивает вероятность того, что андеррайтер примет решение отказаться от выдачи кредита.
Если вероятность достаточно высока, заявка может быть отклонена автоматически.
Плюсами логистической регрессии являются простота интерпретации результатов, возможность проверки предположений, прозрачность алгоритма для бизнеса и скорость внедрения сервиса автоотказов.
При построении алгоритма автоотбраковки необходимо решить два основных вопроса: 1) как выбрать признаки, 2) как выбрать пороговое значение вероятности.
Алгоритм был использован для выбора функций ступенчатая регрессия .
Этот алгоритм последовательно исключает переменные из модели, чтобы найти лучшую модель путем оптимизации значения информационного критерия.
Характер связей между вероятностью отказа и набором признаков для заявок, где был указан доход, и для заявок с нулевым доходом существенно различался.
Таким образом, в конечном итоге были получены 2 модели логистической регрессии.
Для оценки качества модели и выбора порога вероятности использовались следующие характеристики.
Построив последовательность возможных пороговых значений (от 0 до 1 с шагом 0,01), для каждого возможного значения мы определили:
- Какой процент трафика будет автоматически отклонен моделью автоотклонения;
- Сколько утверждений (заявок, которые могли быть одобрены андеррайтерами) будет ошибочно отклонено моделью автоматического отклонения (в процентах от общего текущего количества утверждений).
На графике видно, что если по модели автоотклонения отклоняется 40% трафика, то ошибочно будет отклонено не более 1% «хороших» заявок (т.е.
тех, которые были бы одобрены андеррайтерами).
Этот компромисс был оценен как выгодный на основе анализа соотношения стоимости приобретения дополнительных данных для отклоненных заявок и потерянной выгоды от «хороших» заявок.
Проблема №2 Были использованы стандартные методы для задачи автооценки.
Однако важным отличием является то, что целевой переменной был двоичный ответ андеррайтера.
Признаки включают в себя информацию из БКИ и данные анкеты.
Алгоритм случайного леса использовался для прогнозирования целевой переменной.
Благодаря тому, что значение целевой переменной известно для всей выборки TTD, качество модели можно оценить на основе всех имеющихся наблюдений.
В ходе перекрестной проверки было получено значение AUC = 0,93, что характеризует высокую точность модели: 
Также по аналогии с задачей 1 была построена зависимость между процентом автоматически обрабатываемого трафика и процентом несоответствия решений модели и андеррайтеров.
В тестовой выборке решения андеррайтеров и модели различались не более чем в 7-8% случаев.
В целом в ходе стресс-тестов эти показатели оказались приемлемыми для работы модели в автоматическом режиме.
4.4. Реализация и последующие шаги
Для мониторинга качества в режиме реального времени используются следующие метрики:- Специфичность (она же истинно отрицательная ставка) — процент совпадения решений модели и решений андеррайтера об отказах;
- Отзыв (он же истинно положительный рейтинг) — процент согласия между решениями модели и решениями об утверждении андеррайтера;
- Процент приема — процент одобренных заявок (должен соответствовать проценту приема андеррайтеров).
Реализация такого решения требует изучения возможных последствий, возникающих из-за отсутствия данных об отклоненных заявках.
5. Другие приложения
Помимо кредитного скоринга, обучение на основе ответов экспертов можно применять для решения самых разных задач: оценки стоимости подержанных автомобилей, оценки недвижимости, оценки эффективности рекламных кампаний и даже выбора цвета помады или выбора подарков.
6. Преимущества и недостатки подхода
Преимущества
- Основное преимущество модели (по сравнению с классическим подходом) — скорость внедрения, экономия ресурсов при разработке системы и возможность оценивать качество решений с помощью простых метрик;
- Не нужно «анализировать отклоненные заявки»;
- При таком подходе мы не пытаемся принизить роль эксперта и полностью автоматизировать задачу (реализация подхода с меньшим риском будет восприниматься как враждебная по сравнению с полной автоматизацией).
Наоборот, ценность эксперта только возрастает. В этом случае эксперт при принятии решения может потратить больше времени на рассмотрение одного дела/заявления.
Недостатки
- Субоптимальность.
Известно, что человеческое суждение в условиях неопределенности неоптимально и содержит систематические ошибки.
(Тверски и Канеман, 1974) .
«Эксперты могут переоценивать/недооценивать вероятности тех или иных событий, что в конечном итоге приводит к неоптимальным результатам модели, обученной на основе ответов экспертов.
Также эксперты не могут эффективно оценить влияние сочетания большого количества факторов на целевой показатель, поэтому используют эвристику, т.е.
оценивают реальные зависимости в упрощенной форме.
- Требуется достаточное количество актуальных обучающих данных.
Например, по-прежнему необходимо поддерживать андеррайтинг вручную, чтобы обеспечить набор обучающих материалов, а также постоянное онлайн-тестирование и мониторинг качества.
7. Заключение
Результатом применения подхода является возможность масштабировать бизнес в десятки и более раз.Достигнуты приемлемые соотношения между процентом автоматически обрабатываемого трафика и количеством несоответствий решениям андеррайтеров.
Обучение модели на основе решений андеррайтеров позволило ускорить и упростить процесс внедрения автоскоринга и хорошо вписывается в методологию CRISP-DM. В целом «копирование» экспертов может положительно повлиять на окупаемость инвестиций (ROI) проектов по разработке и внедрению интеллектуальных систем обработки данных.
Однако следует учитывать ряд особенностей данного подхода.
Во-первых, подход не является оптимальным с точки зрения минимизации рисков или максимизации прибыли, но в то же время позволяет сэкономить на оплате специалистов и/или получить масштабируемую систему.
Во-вторых, экспертные решения должны быть достаточно обоснованными и эффективными, чтобы их можно было использовать в качестве стандарта для обучения модели.
То есть эксперты действительно должны давать хорошие ответы, которые в целом приводят к желаемым результатам.
Обученную модель также можно рассматривать как временное, но работоспособное решение проблемы.
В это время можно накопить данные и разработать лучшее решение, основанное на добавлении в модель целевого показателя, который сначала необходимо выбрать и обосновать.
Литература
Андерсон, Р.(2007).
Инструментарий кредитного скоринга: теория и практика управления розничными кредитными рисками и автоматизации принятия решений.
Оксфорд: Издательство Оксфордского университета.
Ширер К.
(2000).
Модель CRISP-DM: новый подход к интеллектуальному анализу данных.
Журнал хранилища данных , Том.
5, стр.
13-22. Тверски А.
, Канеман Д.
(1974).
Суждение в условиях неопределенности: эвристика и предубеждения, Наука , Новая серия, Том.
185, № 4157. (27 сентября 1974 г.
), стр.
1124-1131. Теги: #большие данные #большие данные и машинное обучение #Большие данные #машинное обучение #отклонить вывод #Большие данные #Машинное обучение
-
Pin-Диоды Для Чайников. Часть 3
19 Oct, 24 -
Брандмауэр Веб-Приложений: Работа Впереди
19 Oct, 24 -
Акции Google Преодолели $500 И Растут Дальше
19 Oct, 24 -
Windows Vista: Шесть Уязвимостей За Месяц
19 Oct, 24
