Как Краудсорсинговая Платформа Яндекса Помогает Обучать Алису И Экономить Деньги

Продолжаем рассказывать о том, как Яндекс и другие крупные компании используют краудсорсинг.

В предыдущем почта мы говорили о дронах и качестве поиска товаров.

Сегодня вы узнаете о приложении Толоки за обучение Алисы, обновление Справочника и модерацию комментариев.

Все подзаголовки кликабельны и ведут к записям докладов.

Идти!

Как краудсорсинговая платформа Яндекса помогает обучать Алису и экономить деньги



Работа в сфере: сбор и проверка информации для Яндекс.

Справочника

Яндекс.

Справочник — это огромная база данных организаций с контактами, фотографиями, отзывами и другими данными.

Чтобы поддерживать его в актуальном состоянии, необходимо собирать и обрабатывать большие объемы информации.

Толока хорошо справляется с этими задачами — в среднем 50 тысяч исполнителей решают в Справочнике 15 миллионов задач в месяц.

Среди них есть настольные, решаемые в домашних условиях, и полевые, требующие выполнения на улице.

В десктопной Толоке для Справочника выполняются десятки видов разметки, например, модерация фотографий пользователей или расшифровка меню кафе и ресторанов с целью поиска заведений по блюдам.

Не все организации имеют телефоны и сайты для уточнения информации удаленно.

Чтобы обновить данные о таких организациях, толокеры выходят на улицы и выполняют задания с помощью смартфона.

На карте показаны выполненные полевые задания за последние несколько месяцев, более миллиона точек.



Как краудсорсинговая платформа Яндекса помогает обучать Алису и экономить деньги



Как Толока помогает Алисе быть современной и остроумной

Ежедневно с Алисой общаются несколько миллионов человек.

Каждый решает свои проблемы: узнать погоду, получить информацию или просто пообщаться.

Чтобы Алиса могла всех понять и помочь, ей нужно научиться распознавать речь, а для этого требуется много данных.

Толока помогает в сборе этих данных.

Например, одно из заданий — прослушать аудиозапись и расшифровать ее.

Примерно за час работы кодировщиков можно получить 5 часов размеченных аудиозаписей.

Если попросить человека распознать аудиозапись, его ошибка составит 5-6% неправильно распознанных слов.

Если дать одно задание нескольким исполнителям, появляется возможность выбрать лучший вариант. Погрешность итоговых данных можно снизить до 1-2%.

Понимания того, что сказал пользователь, недостаточно.

Вам еще нужно ответить правильно.

Ответы Алисы имеют несколько аспектов качества.

Она должна реагировать адекватно, не обращаться к пользователю на «вы», не грубить и не говорить о себе в мужском роде.

Все эти метрики представлены в виде задач на Толоке.

Толокеры определяют, обладает ли ответ тем или иным из заданных свойств.

Но качественные аспекты не всегда могут быть формализованы.

Таким образом, синтез речи должен быть естественным, с правильной интонацией, без технических дефектов.

Это субъективные параметры, которые сложно представить в виде модели оценки.

Поэтому в Толоке исполнителю предлагается прослушать два варианта одной фразы и выбрать лучший.



Как сделать так, чтобы в Яндекс.

Автобусе все играли по правилам

Яндекс.

Автобус — сервис, предоставляющий услуги как пассажирам, так и перевозчикам.

Иногда попадаются недобросовестные водители, которые подбирают пассажиров на остановках, не выдают им билеты, а полученные деньги забирают себе.

В результате перевозчик теряет доход, что весьма заметно на дальних маршрутах.

Организация работы инспекторов на всем протяжении маршрута, например, от Уфы до Москвы, обходится достаточно дорого.

Звонить пассажирам и спрашивать, сколько человек было в автобусе и не высадил ли водитель кого-нибудь по дороге, неэффективно.

Другой способ – установить счетчик посетителей при входе в автобус.

А вот на дальнем расстоянии, где много остановок, люди постоянно заходят и выходят, что дает заметную погрешность.

Каждый «потерянный» человек — это потенциальная потеря 2,5–10% дохода от рейса.

Кроме того, водитель все равно может легко обмануть перевозчика, прикрыв датчик.

Команда Яндекс.

Автобуса пришла к решению прикрепить к роутеру в автобусе широкоугольную IP-камеру, периодически фотографировать интерьер и отправлять их в диспетчерскую.

Так по каждому рейсу накапливаются фотографии, на которых видно, в какой момент сколько пассажиров находится в салоне.

Кстати, лица всех пассажиров заранее алгоритмически «размыты».

Остаётся только научиться обрабатывать фотографии, то есть считать количество пассажиров.

На этом этапе возникла проблема: картинка не всегда качественная, так как съемка происходит в движении, часто в темноте.

Кроме того, в автобусе всего одна камера; лица не всегда попадают на фотографии.

Готовых моделей, способных подсчитать количество людей на таких изображениях, найти не удалось; написание собственного заняло бы слишком много времени.

Разработчики обратились к толокерам.

Фотографии салона отправляются Толоке с задачей подсчитать количество в них людей.

Стоимость решения составляет менее 150 долларов США.

Для зачета одного полета необходимо 7 рублей.

Эксперимент проводился на четырех автобусах на 300 поездок.

Оказалось, что 9% выручки обошло перевозчика.

Сейчас к этой системе подключаются все больше перевозчиков Яндекс.

Автобуса.



Наймите 100 500 модераторов и сэкономьте: опыт Rambler Group

Rambler Group развивает более 20 проектов, включая новостные ленты и тематические сайты, к каждому из них пользователи оставляют комментарии.

Это увеличивает время пребывания на сайте и глубину просмотров, что полезно для ресурса.

Но есть и обратная сторона медали: ответственность за содержание комментариев несет издание.

Для их проверки нужен штат модераторов.

Поскольку комментарии появляются постоянно, модераторам приходится работать круглосуточно, что дорого и достаточно сложно.

В поисках решения Rambler Group обратилась к Толоке.

Сначала мы запустили эксперимент: выбрали 24 717 комментариев, обработанных штатными модераторами, и воссоздали реальный поток этих комментариев в «Толоке».

В одно задание входило 10 комментариев, на их обработку отводилось 3 минуты.

Для контроля качества модерации трем исполнителям предлагалось одно задание.

Минимальная стоимость была установлена на уровне 1 цента.

Полученные результаты:

Как краудсорсинговая платформа Яндекса помогает обучать Алису и экономить деньги

На ресурсах Rambler Group действует система постмодерации: любой комментарий сразу попадает на сайт, а неправильные необходимо удалить как можно быстрее.

Как оказалось, толокеры обрабатывают 10 комментариев в минуту, а штатные модераторы – 12. Кроме того, эксперимент показал, что пользоваться услугами толокеров на 60% выгоднее, чем содержать штат модераторов для каждой публикации.

Эксперимент признали успешным, но условия немного изменили.

Одно задание теперь предлагается двум исполнителям; если их мнения расходятся, участвует треть.

Количество комментариев в задаче увеличено с 10 до 15. Это позволило сократить затраты еще на 35%.

С помощью API комментарии автоматически отправляются в Толоку, модерируются и возвращаются с вердиктом.

Теперь комментарии ко всем проектам Rambler Group модерируются через Толоку.

Теги: #Краудсорсинг #Бизнес-модели #Яндекс #Толока

Вместе с данным постом часто просматривают:

Автор Статьи


Зарегистрирован: 2019-12-10 15:07:06
Баллов опыта: 0
Всего постов на сайте: 0
Всего комментарий на сайте: 0
Dima Manisha

Dima Manisha

Эксперт Wmlog. Профессиональный веб-мастер, SEO-специалист, дизайнер, маркетолог и интернет-предприниматель.