Привет всем и хорошего дня.
30 августа HPE официально объявила о выпуске новой версии Vertika. Можно отметить, что продукт уже достиг той стадии зрелости, когда вместо огромного списка нового функционала на первое место выходит расширение и оптимизация существующего.
Мы также ясно видим тесную интеграцию с продуктами и услугами в определенных областях.
Что я имею в виду?
Облака
Во-первых, это интеграция с MS Azure Cloud. Это позволит вам использовать Vertika в облаках MS. В последнее время я наблюдаю значительный прогресс в дружбе между HPE и MS. Помимо Azure, Vertika расширила поддержку VS Studio и улучшила производительность драйверов для ADO.NET. Дружба Вертики и МС меня определенно радует, надеюсь, она будет развиваться и дальше.
Джунгли
Во-вторых, Vertika продолжает глубоко проникать в мир Hadoop. Если в более ранних версиях Вертика могла загружать данные только из HDFS определенных форматов, то постепенно она научилась работать со всеми форматами файлов, такими как ORC и Parquet, подключать файлы как внешние таблицы, а затем хранить свои данные в ROS-контейнерах непосредственно на HDFS. .
В новой версии существенно оптимизирована скорость работы с HDFS, каталогом метаданных и парсинга этих форматов.
Мне кажется, что для того, чтобы Vertika стала частью среды Hadoop, этого недостаточно.
Именно поэтому в новой версии добавили новый тип лицензирования Vertika. основанный на количестве узлов Hadoop и возможности построения кластера Vertika непосредственно на кластере Hadoop.
На что это похоже: 
Идея в том, что Vertika работает непосредственно в кластере Hadoop, имеет прямой доступ к данным на HDFS, а также хранит свои данные на HDFS. В данном случае кластер Вертика лицензируется по количеству узлов.
Менеджеры HPE обещают, что стоимость лицензии будет лучше, но цену лицензии я пока не знаю.
Так что подождем и посмотрим.
Там, где есть Hadoop, есть Spark. В новой версии добавлена полная поддержка работы со Spark. Вы можете копировать данные из Spark в вертикальные таблицы и переносить данные обратно из вертикальных в Spark. 
Интеграция с Apache Kafka уже добавлена начиная с версии 7.2. Однако оказалось, что существует множество проблем, которые мешают коннектору Vertika полноценно работать с Kafka. Версия 8 содержит обновленные версии библиотек для работы с Kafka. Я искренне надеюсь, что они закроют все найденные проблемы и люди перестанут открывать дела.
Машинное обучение
Поддержка машинного обучения появилась в версии 7.2. Однако она была «на стороне» — это была отдельная библиотека и не была полностью интегрирована с метаданными Вертики.
Видимо, «тема пошла», так как в новой версии Machine Learning уже сразу интегрировано в сервер, доступно после установки, полностью присутствует в слое метаданных вместе со всеми остальными, а функции включены в стандартные.
.
Желаем Вертике и дальше развиваться и учиться в этом, несомненно, перспективном направлении.
Всевозможные трюки
Фишек на удивление мало.
Видимо фантазия инженеров Вертики окончательно иссякла.
С точки зрения оптимистов, это, наверное, неплохо — меньше новых функций, меньше ошибок.
Но всё же в новой версии есть такие интересные вещи как: • Функция копирования таблиц COPY_TABLE, позволяющая использовать данные одной таблицы как часть другой.
Что интересно, когда вы меняете данные, в каждой таблице будет другой набор данных.
Это достигается за счет совместного использования контейнеров ROS между двумя таблицами.
Не менее интересно то, что для лицензии Вертика будет рассчитывать объем для каждой таблицы, даже если данные из обеих таблиц физически хранятся только один раз.
• Для SELECT в разделе FROM добавлено ключевое слово TABLESAMPLE, которое позволит вернуть указанный процент части данных в случайном порядке записей.
• Параметр IDLESESSIONTIMEOUT позволит снимать сессии, которые долго висят и ничего не делают. Давно мечтал о таком параметре.
• Выпущена новая версия Python API для доступа к Vertika. Это всегда приятно, с Вертикой работает много питонистов.
• Добавлена многоязычная поддержка текстового поиска.
Они утверждают, что поддерживают анализ текста даже на азиатских языках.
Надеюсь, им удалось победить и кириллицу.
Окончательно
Как я писал в начале, то же самое могу написать и в конце своей статьи — движение вперед наблюдается в основном в интеграции с облаками и сервисами.Я хотел бы узнать больше о лицензировании «Vertica on Hadoop».
Думаю, это интересный вариант для задач, где первичная информация собирается на Hadoop, измельчается и затем загружается на сервер Vertica для дальнейшей работы с использованием его аналитических функций и машинного обучения.
P.S. Очень приятно, что название новой версии FrontLoader похоже на название нашего продукта для доставки данных в Vertika EasyLoader. И не менее приятно, что прямо сейчас, когда мы учим наш EasyLoader управлять загрузкой данных между HFDS и Vertica, в восьмой версии расширено использование Vertica на Hadup. Так сказать, вовремя.
Теги: #hpвертикальные #Большие данные #Большие данные
-
Помогите Себе В Выборе Мини-Ноутбуков.
19 Oct, 24 -
Решение Зимних Проблем С Crackme
19 Oct, 24 -
Роль Сна В Контексте Личной Эффективности
19 Oct, 24 -
Интервью Со Скайп-Мошенником
19 Oct, 24
