На работе часто возникают долгие и монотонные задачи, требующие решения многих людей.
Например, расшифровать несколько сотен аудиозаписей, разметить тысячи изображений или отфильтровать комментарии, количество которых постоянно растет. Для этих целей можно содержать десятки штатных сотрудников.
Но всех их нужно найти, отобрать, мотивировать, контролировать, обеспечить развитие и карьерный рост. А если объем работы уменьшится, их придется переучивать или увольнять.
Во многих случаях, особенно если не требуется специальной подготовки, такую работу могут взять на себя исполнители.
Толоки , Краудсорсинговая платформа Яндекс.
Эта система легко масштабируется: если задач от одного заказчика станет меньше, толокеры перейдут к другому, а если количество задач увеличится, они будут только рады.
Ниже под катом приведены примеры того, как «Толока» помогает «Яндексу» и другим компаниям развивать свои продукты.
Все заголовки кликабельны — ссылки ведут на записи докладов.
Общайтесь с чат-ботами и выбирайте лучшее: опыт МФТИ
МФТИ использовал «Толоку» для оценки качества чат-ботов в рамках хакатона DeepHack.Chat. В нем приняли участие 6 команд. Задача состояла в том, чтобы разработать чат-бота, который сможет рассказывать о себе на основании предоставленного ему профиля с кратким описанием личных характеристик.
Толокеры и боты получали анкеты и должны были в диалоге притворяться человеком, описание которого там дано, рассказывать о себе и узнавать больше о собеседнике.
Участники диалога не видели профили друг друга.
К участию в задании допускались только пользователи, прошедшие тест на знание английского языка, поскольку все чат-боты в рамках хакатона говорили на английском языке.
Организовать диалог с ботом напрямую через «Толоку» было невозможно, поэтому в задание была включена ссылка на Telegram-канал, где был запущен чат-бот. 
После разговора с ботом пользователь получал ID диалога, который вместе с рейтингом диалога подставлялся в Толоку в качестве ответа.
Чтобы исключить недобросовестных болтунов, нужно было проверить, насколько хорошо пользователь общается с ботом.
Для этого было создано отдельное задание, в котором исполнители читают диалоги и оценивают поведение пользователя, то есть толокера из предыдущего задания.
В ходе хакатона команды загрузили своих чат-ботов.
В течение дня уборщики их тестировали, считали качество и сообщали оценку командам, после чего разработчики редактировали поведение своих систем.
За четыре дня хакатона системы значительно улучшились.
В первый день у ботов были некорректные и повторяющиеся ответы; на четвертый день ответы стали более адекватными и подробными.
Боты научились не только отвечать на вопросы, но и задавать свои.
Пример диалога в первый день хакатона: 
В четвертый день: 
Статистика: оценка длилась 4 дня, в ней приняли участие около 200 спикеров и было обработано 1800 диалогов.
На первую задачу мы потратили 180 долларов, на вторую — 15 долларов.
Процент валидных диалогов оказался выше, чем при работе с волонтерами.
Как научить дрон распознавать окружающие предметы
Важная задача создателя дрона — научить его извлекать информацию об окружающих объектах из данных, которые он получает от датчиков.Пока вы едете, машина записывает все, что видит вокруг вас.
Эти данные выгружаются в облако, где проводится первичная аналитика, а затем поступают на постобработку, включающую маркировку.
Размеченные данные передаются алгоритмам машинного обучения, результат возвращается машине, и цикл повторяется, улучшая качество распознавания объектов.
В городе много разных объектов, их все нужно отметить.
Эта задача требует определенных навыков и занимает много времени, а для обучения нейросети нужны десятки тысяч картинок.
Их можно взять из открытых наборов данных, но они собраны за рубежом, поэтому изображения не соответствуют российской действительности.
Купить размеченные изображения можно всего за 4 доллара, но сделать разметку в Толоке оказалось примерно в 10 раз дешевле.
Поскольку в Толоку можно встроить любой интерфейс и передавать данные через API, разработчики вставили собственный визуальный редактор, в котором есть слои, прозрачность, выделение, увеличение и разделение на классы.
Это увеличило скорость и качество маркировки в несколько раз.
Кроме того, API позволяет автоматически разбивать задачи на более простые и собирать результат из частей.
Например, прежде чем отметить картинку, можно отметить, какие объекты на ней находятся.
Это даст вам представление о том, в какие классы разметить изображение.
После этого объекты на изображении можно классифицировать.
Например, предложите толокерам подборку картинок с людьми и попросите уточнить, пешеходы ли они, велосипедисты, мотоциклисты или кто-то другой.
Когда инструментальный мастер выполнил разметку, ее необходимо проверить.
Для этого создаются тестовые задания и предлагаются другим исполнителям.
Маркировку осуществляют не только толокеры, но и нейросети.
Некоторые из них уже научились справляться с этой задачей не хуже людей.
Но качество их работы тоже необходимо оценить.
Поэтому в задачах кроме картинок, отмеченных толокерами, есть еще картинки, отмеченные нейросетью.
Таким образом, Толока интегрируется непосредственно в процесс обучения нейронных сетей и становится частью конвейера всего машинного обучения.
Оценка качества поиска в интернет-магазине Ozon
Ozon использует Толоку для создания эталонного образца.Это нужно для нескольких целей.
• Оценка качества новой поисковой системы.
• Определение наиболее эффективной модели ранжирования.
• Улучшение качества алгоритма поиска с помощью машинного обучения.
Первая тестовая выборка была составлена вручную — мы взяли 100 запросов и сами их разметили.
Даже такая небольшая выборка помогла выявить проблемы поиска и определить критерии оценки.
Компания хотела создать собственный инструмент для оценки качества поиска, нанять оценщиков и обучить их, но это заняло бы слишком много времени, поэтому решили выбрать готовую краудсорсинговую платформу.
Самым сложным этапом подготовки задания для толкачей оказалось обучение – даже сотрудники компании не смогли выполнить первое тестовое задание.
Получив обратную связь от команды, мы разработали новый тест: организовали обучение от простого к сложному и составили задания с учетом важных для компании качеств исполнителя.
Чтобы исключить ошибки, Ozon провел тестовый запуск.
Задание состояло из трех блоков: обучение, контроль с порогом правильных ответов 60% и основное задание с порогом правильных ответов 80%.
Для улучшения качества выборки пяти исполнителям предлагалось одно задание.
Статистика тестовых запусков: 350 задач за 40 минут. Бюджет составил 12 долларов.
На первый этап вышли 147 исполнителей, 77 прошли обучение, 12 получили навыки и выполнили основное задание.
Основной сценарий запуска усложнился: в нем участвовали не только новые толокеры, но и те, кто приобрел необходимый навык на этапе тестирования.
Первые следовали стандартной цепочке, вторые сразу допускались к выполнению основных задач.
В основной запуск добавлены дополнительные навыки — процент правильных ответов в основной выборке и мнение большинства.
Задание по-прежнему предлагалось пяти исполнителям.
Основная статистика запуска: 40 000 задач за месяц.
Бюджет составил 1150 долларов.
В проект пришло 1117 толокеров, 18 получили навыки, 6 получили доступ к крупнейшему основному пулу и оценивают его.
Сейчас задача Озона на Толоке выглядит так: 
Исполнитель видит поисковый запрос и 9 товаров из результатов поиска.
Его задача – выбрать одну из оценок – «подходит», «не подходит», «пригодно для замены», «дополнительно», «не открывается».
Последняя оценка помогает выявить технические проблемы на сайте.
Чтобы максимально точно имитировать поведение пользователя, разработчики воссоздали интерфейс интернет-магазина с помощью iframe. Параллельно с запуском задачи на Толоке осуществлялась разметка поисковых запросов с помощью правил.
Акцент был сделан на популярные запросы, чтобы в первую очередь улучшить результаты по ним.
Разметка правилами позволила быстрее получить данные по небольшому количеству запросов и показала хорошие результаты по топовым запросам.
Но были и минусы: неоднозначные запросы не могут быть оценены правилами, возникает множество спорных ситуаций.
Кроме того, этот метод в долгосрочной перспективе оказался довольно дорогим.
Маркировка с помощью людей перекрывает эти недостатки.
В Толоке можно собрать мнения большого количества исполнителей; оценка получается более градуированной, что позволяет более глубоко работать с результатами.
После первоначальной настройки платформа работает стабильно и обрабатывает большие объемы данных.
Ручной труд и механизмы искусственного интеллекта не противостоят друг другу.
Чем больше развивается искусственный интеллект, тем больше ручного труда требуется для его обучения.
С другой стороны, чем лучше обучены нейронные сети, тем больше рутинных задач можно автоматизировать, устраняя необходимость их выполнения людьми.
Практически любую задачу, даже большую, можно разделить на множество мелких и построить на основе краудсорсинга.
Большинство проблем, решаемых в Толока , является первым шагом на пути к обучению моделей и автоматизации процессов с использованием данных, собранных людьми.
В следующей публикации на эту тему мы поговорим о том, как краудсорс используется для обучения Алисы, модерации комментариев и контроля соблюдения правил в Яндекс.
Автобусе.
Теги: #Машинное обучение #Краудсорсинг #Яндекс #Толока
-
Электриды
19 Oct, 24 -
Asp.net 5. Аутентификация По Токену
19 Oct, 24 -
Купишь Ли Ты Айфон?
19 Oct, 24 -
2010 Открытие Topcoder
19 Oct, 24 -
#Ускорение4X. Общие Цели
19 Oct, 24 -
Ieee 802.11N — Сколько Весит В Граммах?
19 Oct, 24
