Многие зарубежные авторы сходятся во мнении, что эпоха больших данных подошла к концу.
И в данном случае термин «большие данные» относится к технологиям, основанным на Hadoop. Многие авторы могут даже уверенно назвать дату ухода Big Data из этого мира и эта дата — 05.06.2019. Что произошло в этот знаменательный день? В этот день МАПР пообещало приостановить свою работу, если не сможет найти средства для дальнейшей эксплуатации.
Позднее MAPR была приобретена HP в августе 2019 года.
Но возвращаясь к июню, нельзя не отметить трагедию этого периода для рынка больших данных.
В этом месяце произошел обвал цен на акции CLOUDERA, ведущего игрока на рынке, который в январе того же года объединился с хронически убыточной HORTOWORKS. Обвал был весьма значительным и составил 43%; в конечном итоге капитализация CLOUDERA снизилась с 4,1 до 1,4 миллиарда долларов.
Нельзя не сказать, что слухи о пузыре в сфере технологий на базе Hadoop циркулируют с декабря 2014 года, но он мужественно продержался еще почти пять лет. Эти слухи были основаны на отказе Google, компании, где зародилась технология Hadoop, от ее изобретения.
Но технология прижилась во время перехода компаний на инструменты облачной обработки и быстрого развития искусственного интеллекта.
Поэтому, оглядываясь назад, можно с уверенностью сказать, что смерть была ожидаемой.
Таким образом, эпоха больших данных подошла к концу, но в процессе работы с большими данными компании осознали все нюансы работы с ними, пользу, которую большие данные могут принести бизнесу, а также научились использовать искусственные данные.
интеллект для извлечения ценности из необработанных данных.
Тем интереснее становится вопрос, что придет на смену этой технологии и как технологии аналитики будут развиваться дальше.
Дополненная аналитика
Во время описываемых событий компании, работающие в сфере анализа данных, не сидели на месте.О чем можно судить по информации о сделках, произошедших в 2019 году.
В этом году была осуществлена крупнейшая сделка на рынке — приобретение аналитической платформы Tableau компанией Salesforce за $15,7 млрд. Меньшая сделка произошла между Google и Looker. И конечно, нельзя не отметить приобретение Qlik платформы больших данных Attunity. Лидеры рынка BI и эксперты Gartner объявляют о колоссальном сдвиге в подходах к анализу данных; этот сдвиг полностью разрушит рынок BI и приведет к замене BI на AI. В этом контексте следует отметить, что аббревиатура ИИ — это не «Искусственный интеллект», а «Дополненный интеллект».
Давайте подробнее посмотрим, что стоит за словами «Дополненная аналитика».
Дополненная аналитика, как и дополненная реальность, базируется на нескольких общих постулатах:
- способность общаться с помощью НЛП (Natural Language Processing), т.е.
на человеческом языке;
- использование искусственного интеллекта, это означает, что данные будут предварительно обработаны машинным интеллектом;
- и конечно же, доступные пользователю системы рекомендации, сгенерированные искусственным интеллектом.
специализирующийся на обработке данных и соответствующих библиотеках.
Такие люди, называемые «гражданинами данных», должны иметь только выдающуюся деловую квалификацию.
Их задача — извлекать бизнес-идеи из советов и прогнозов, которые им дает искусственный интеллект, и уточнять свои предположения с помощью НЛП.
Описывая процесс работы пользователей с системами этого класса, можно представить следующую картину.
Человек, приходя на работу и запуская соответствующее приложение, помимо обычного набора отчетов и информационных панелей, которые можно анализировать стандартными подходами (сортировка, группировка, выполнение арифметических операций), видит определенные подсказки и рекомендации, что-то вроде: «В Для достижения KPI по объему продаж необходимо применить скидку на товары из категории «Садоводство».
Кроме того, человек может связаться с корпоративным мессенджером: Skype, Slack и т. д. Может задавать роботу вопросы текстовым или голосовым сообщением: «Назовите мне пять самых прибыльных клиентов».
Получив соответствующий ответ, он должен принять лучшее решение, исходя из своего делового опыта, и принести компании прибыль.
Если сделать шаг назад и посмотреть на состав анализируемой информации, то на этом этапе продукты дополненной аналитики могут облегчить жизнь людей.
В идеале предполагается, что пользователю нужно будет лишь указать аналитическому продукту на источники нужной информации, а программа сама позаботится о создании модели данных, связывании таблиц и подобных задачах.
Все это должно, прежде всего, обеспечить «демократизацию» данных, т.е.
любой человек может проанализировать весь массив информации, доступной компании.
Процесс принятия решений должен поддерживаться методами статистического анализа.
Время доступа к данным должно быть минимальным, поскольку нет необходимости писать скрипты и SQL-запросы.
И, конечно же, вы можете сэкономить на высокооплачиваемых специалистах по Data Science. Гипотетически технологии открывают очень хорошие перспективы для бизнеса.
Что заменит большие данные
Но на самом деле я начал свою статью с больших данных.И я не смог бы развить эту тему без краткого экскурса в современные BI-инструменты, основой которых зачастую являются Big Data. Судьба больших данных теперь четко определена, и это облачные технологии.
Я сосредоточился на транзакциях, совершаемых с поставщиками BI, чтобы продемонстрировать, что теперь каждая аналитическая система имеет облачное хранилище, а облачные сервисы используют BI в качестве внешнего интерфейса.
Не забывая о таких столпах в области баз данных, как ORACLE и Microsoft, необходимо отметить выбранное ими направление развития бизнеса и это облако.
Все предлагаемые услуги можно найти в облаке, но некоторые облачные сервисы больше не доступны локально.
Они проделали значительную работу по использованию моделей машинного обучения, создали библиотеки, доступные пользователям, и настроили интерфейсы для удобства работы с моделями от их выбора до установки времени запуска.
Еще одним важным преимуществом использования облачных сервисов, которое озвучивают производители, является наличие практически неограниченных наборов данных по любой тематике для обучения моделей.
Однако возникает вопрос: насколько далеко приживутся облачные технологии в нашей стране? Теги: #облачные сервисы #искусственный интеллект #Большие данные #Hadoop #аналитика #анализ данных #Интеллектуальный анализ данных
