Нейронные Сети: Где Взять Данные Для Детального Обучения Алгоритмов?

Привет, Хабр! Меня зовут Алиса Невейкина, я работаю в стартапе из Беларуси SmartCoders. Мы разрабатываем нейронные сети и решения на базе искусственного интеллекта для бизнеса.

Этот пост стал результатом глубоких размышлений об особенностях разработки проектов с использованием машинного обучения, а также о моделях монетизации этих технологий.

Если вы уже работали с ИИ или планируете это сделать, приглашаю вас присоединиться к обсуждению.

Развитие ИИ определяется алгоритмами, встроенными в нейронную сеть.

Однако их можно проверить, только опираясь на значительные объемы данных.

Если речь идет об уже опробованной системе, прошедшей боевое крещение хотя бы в одной из компаний, то тут все понятно.

Но что делать в случае, когда нейросети нужны данные «как воздух», чтобы доказать свою жизнеспособность? Мы начали работать в качестве подрядчиков на различных проектах, выполняя задачи заказчика.

Так появилось решение для проекта Salary2.me, помогающее определить реальную зарплату ИТ-специалиста в Москве, Киеве, Минске и многих городах Европы.

Но чтобы претендовать на универсальность, этим технологиям не хватает машинного обучения на основе существующих наборов данных.



Где взять данные для машинного обучения?

На этапе разработки самих алгоритмов можно использовать некоторые синтетические наборы данных.

Однако этого недостаточно для дальнейшего улучшения функций ИИ.

Нам нужны живые наборы данных, чтобы находить крайние случаи, проверять, как алгоритмы ведут себя на разных выборках и так далее.

Но получить такой набор не так уж и просто, потому что:

Все боятся конфиденциальности данных

Несмотря на то, что для тестирования ИИ достаточно обезличенных данных, не содержащих никакой личной информации, компании опасаются санкций со стороны регуляторов за передачу своих клиентских баз, а выдавать обезличенный набор данных могут немногие.

Его нужно подготовить, но сделать это некому.



Есть проблема недоверия

Другая проблема – отсутствие доверия.

Что, если бы мы и наш ИИ выступили от имени наших конкурентов? Нас впустят, дадут работать с данными, а база данных окажется не в тех руках.



Нет денег

Наконец, тестирование ИИ требует средств.

Но если эффект не очевиден, в бюджете нет денег на внедрение и развитие ИИ.

Компания просто продолжает работать в прежнем режиме.



Что делать?

Теоретически ИИ может принести много пользы бизнесу: от создания персонализированных программ лояльности до повышения вовлеченности пользователей и разработки методов возврата утерянных или спящих клиентов.

Однако самое крутое в ИИ то, что алгоритмы нужно обучать для каждого отдельного случая, и обучение нужно проводить.

Только после тестирования на конкретных наборах данных становится понятно, каким будет эффект. Но пока нет данных, нет и эффекта, а пока нет понимания эффекта, никто не предоставляет данные.

Оказывается, это настоящая проблема «курицы и яйца».



Возможно, эту проблему можно решить одним из трех способов.

  • Разработать какое-то универсальное решение для подготовки данных, которое поможет компаниям осуществлять стандартную загрузку обезличенной информации.

    Возможно, вам нужен алгоритм, который можно встроить непосредственно в движок веб-сайта для автоматического сбора и загрузки данных в системы искусственного интеллекта.

    Но как мы можем гарантировать, что компании доверяют такому решению?

  • Занимайтесь разработкой ИИ, инвестируя собственные средства, в качестве партнера магазина, игровой платформы и службы поддержки клиентов.

    При этом договоритесь об оплате в виде некоторой части дополнительной прибыли.

    Мне кажется, такой подход в целом будет более честным и справедливым.

    Остаётся единственный вопрос: как закрепить компенсацию в договоре?

  • Проводите бесплатные пилотные проекты, проверяя эффективность решения на ограниченном количестве пользователей.

    Но как найти компании, готовые к диалогу в России и СНГ, если у большинства пока нет практики сбора аналитики, а опасения за свои данные накладывают вето на участие даже в бесплатных тестах.



Разработка проекта

Дополнительным аргументом в пользу долгосрочного сотрудничества является стремление к дальнейшему развитию проектов, в которые уже вложено много сил и творчества.

Более того, отдача от ИИ может увеличиться, если продолжится тонкая настройка алгоритмов.

Я понимаю, что этот пост вызывает больше вопросов, чем ответов.

А если у вас есть собственное мнение или опыт разработки нейронных сетей и поиска данных для их обучения, поделитесь им в комментариях.

Буду признателен за живое обсуждение этой темы.

В опросе могут участвовать только зарегистрированные пользователи.

Войти , Пожалуйста.

Как найти данные для тестирования ИИ? 10% Помогите обезличить клиентскую базу 1 0% Стать партнером и разработать ИИ за гонорар 0 80% Провести небольшие пилотные проекты, чтобы доказать эффективность 8 10% Другое (расскажите в комментариях) 1 Проголосовали 10 пользователей.

10 пользователей воздержались.

Теги: #Машинное обучение #искусственный интеллект #Большие данные #Аналитика мобильных приложений #Открытые данные #искусственный интеллект #искусственный интеллект #пользовательские данные #нейронные сети и машинное обучение #вопросы экспертам #вопрос аудитории

Вместе с данным постом часто просматривают:

Автор Статьи


Зарегистрирован: 2019-12-10 15:07:06
Баллов опыта: 0
Всего постов на сайте: 0
Всего комментарий на сайте: 0
Dima Manisha

Dima Manisha

Эксперт Wmlog. Профессиональный веб-мастер, SEO-специалист, дизайнер, маркетолог и интернет-предприниматель.