Очередная порция анонсов и новинок с ежегодной масштабной облачной конференции AWS re:Invent 2020. На этот раз в сфере аналитики и сетевой инфраструктуры.
Многие функции уже доступны для предварительной версии; о том, какие именно, читайте ниже.
Подробнее о новом продукте архитекторы AWS расскажут в русскоязычном Twitch, который они регулярно проводят в дни re:Invent. Ссылка на твич-стрим в конце материала.
Аналитика
Новые функции AWS Lake Formation (предварительная версия)
Новый функционал Формирование озера AWS : транзакции, безопасность на уровне строк и улучшения производительности доступны для предварительного просмотра.Эта функциональность работает через новые, открытые и общедоступные API для обновления озер данных и доступа к ним.
Транзакции реализуются с использованием «управляемых таблиц» — нового типа таблиц на базе Amazon S3, который поддерживает транзакции ACID. Транзакции упрощают сценарии преобразования данных (ETL) и позволяют различным пользователям одновременно и надежно добавлять, удалять и изменять записи в разных управляемых таблицах.
AWS Lake Formation автоматически сжимает и оптимизирует хранилище управляемых таблиц в фоновом режиме, чтобы повысить производительность запросов к данным.
Подробнее здесь
Красное смещение
Узлы RA3.xlplus и дополнительные объявления для Amazon Redshift
RA3.xlplus — это третий и наименьший тип узла в семействе RA3. RA3 позволяет отдельно масштабировать вычисления и хранилище, предоставляя больше возможностей вычислений для кластеров Amazon Redshift.
Подробнее здесь
Возможность перемещения кластера между зонами доступности (AZ)
Функция перемещения кластера перемещает кластер в другую зону доступности за один шаг, не требуя внесения каких-либо изменений в приложение.Когда кластер перемещается в другую зону доступности, новый кластер будет иметь ту же конечную точку, чтобы приложения могли продолжать работать без изменений.
Функция бесплатна и доступна для кластеров RA3.
Подробнее здесь
Автоматическая оптимизация таблицы
Автоматическая оптимизация таблиц постоянно отслеживает взаимодействие запросов с таблицами и использует машинное обучение для выбора наилучших ключей сортировки и распределения для оптимизации производительности запросов в кластере.
Подробнее здесь
Обмен данными между кластерами Amazon Redshift (предварительная версия)
Новая функция обмена данными в Amazon Redshift доступна для пробной версии, что позволяет безопасно и легко обмениваться данными между кластерами Redshift в режиме реального времени.Совместное использование данных упрощает обработку, повышает производительность и снижает затраты — все, к чему вы привыкли в одном кластере Redshift, теперь доступно в нескольких кластерах при одновременной работе с данными.
Используя управляемое хранилище данных, отдельное от вычислительных узлов семейства RA3, можно получить мгновенный высокопроизводительный доступ к данным в нескольких кластерах без необходимости их копирования или перемещения.
Чтение устаревших данных также исключается — все кластеры работают на одной, всегда актуальной копии данных, со всеми последними изменениями.
Использование совместного использования данных в кластерах Amazon Redshift не требует дополнительных затрат. 
Подробнее здесь
Базы данных Amazon Redshift и Amazon RDS для MySQL и Amazon Aurora MySQL для федеративных запросов (предварительная версия)
Федеративные запросы Amazon Redshift позволяют подключать данные из транзакционных баз данных для приложений бизнес-аналитики и отчетов для операционной аналитики.Оптимизатор Amazon Redshift разгружает и распределяет часть вычислений по удаленным базам данных, чтобы повысить производительность за счет сокращения сетевого трафика.
Сегодня мы расширяем возможности федеративных запросов на Amazon RDS для MySQL и Amazon Aurora для MySQL. Функция доступна для предварительного просмотра.
Встроенная поддержка JSON (предварительная версия)
Сегодня мы знакомимся с встроенной поддержкой JSON и полуструктурированных данных в Amazon Redshift. Для хранения используется новый тип данных «SUPER», который позволяет хранить полуструктурированные данные в таблицах Redshift. Также была добавлена поддержка языка запросов.PartiQL запрашивать и обрабатывать такие данные.
Подробнее здесь
Amazon EMR Studio (предварительная версия)
Анонсирован Amazon EMR Studio, интегрированная среда разработки на базе Jupyter. Он поддерживает аутентификацию у корпоративных поставщиков единого входа и позволяет аналитикам и инженерам данных разрабатывать аналитические приложения и системы обработки данных на R, Python, Scala и PySpark. Также доступны пользовательский интерфейс Spark и служба временной шкалы YARN, упрощающие отладку.
Ноутбуки EMR Studio будут работать на существующих кластерах EMR или запускать новые с использованием готовых шаблонов EMR CloudFormation.
Подробности здесь
Amazon EMR в Amazon EKS
Благодаря новому способу развертывания EMR ( Amazon EMR на Amazon EKS ), клиенты могут автоматизировать создание и управление платформами больших данных с открытым исходным кодом на базе Amazon EKS. Теперь клиенты могут запускать приложения Spark вместе с приложениями других типов в одном кластере EKS и получать выгоду от улучшенного использования ресурсов и простоты управления инфраструктурой.
Amazon EMR автоматически упаковывает приложение в контейнер с инфраструктурой больших данных и предоставляет готовые коннекторы для интеграции с другими сервисами AWS. Затем EMR развертывает приложение в кластере EKS и управляет ведением журналов и мониторингом.
Используя ЭМИ на ЭКС вы можете получить Производительность в 3 раза выше , используя оптимизированную по производительности среду выполнения Spark, включенную в EMR, по сравнению со стандартным Apache Spark на EKS.
Подробнее здесь
сеть
Анализатор доступности VPC
Новый сервис VPC Reachability Analyser позволяет диагностировать доступность сети между двумя точками трафика (конечными точками) без необходимости отправки сетевых пакетов.Сервис считывает конфигурацию всех ресурсов в VPC и использует автоматический анализ (рассуждение) для определения доступных путей сетевого трафика.
Он анализирует все возможные пути трафика внутри сети без отправки сетевых пакетов.
Чтобы узнать больше о том, как работают алгоритмы автоматического анализа, см.
re:Сессия Invent или прочитать этот документ .
Подробнее здесь
AWS Transit Gateway Connect
Оверлейные SD-WAN (программно-определяемые глобальные сети) используются для подключения офисов или центров обработки данных через общедоступный Интернет. Облачную инфраструктуру теперь необходимо подключать к одним и тем же сетям.AWS Transit Gateway часто используется на границе сети для подключения сетей к магистральной сети AWS. А с добавлением функции AWS Transit Gateway Connect появился простой способ расширить инфраструктуру SD-WAN до облака AWS. Вместо нескольких туннелей IPsec VPN между Transit Gateway и сетевыми устройствами SD-WAN Transit Gateway Connect использует туннели GRE. Он также поддерживает динамическую маршрутизацию BGP, интегрируется со службой мониторинга AWS Transit Gateway Network Manager и комплекс партнерских решений .
Это упрощает проектирование сети, повышает производительность и упрощает расширение сетей SD-WAN в AWS. 
Подробнее здесь
Поддержка IGMP в AWS Transit Gateway
AWS Transit Gateway теперь поддерживает протокол управления группами Интернета (IGMP), что упрощает управление приложениями, использующими многоадресную IP-адресацию.Ранее клиенты использовали AWS Transit Gateway для запуска приложений многоадресной рассылки в облаке.
Теперь благодаря поддержке IGMP их стало проще масштабировать и управлять членством в многоадресных группах.
Больше не нужно настраивать статические группы многоадресной рассылки, источники и пункты назначения: Transit Gateway автоматически добавляет и удаляет членов группы с помощью протокола IGMP. IGMP — это открытый стандарт, и многие приложения многоадресной рассылки полагаются на него.
Теперь перенести их в облако стало проще.
Подробнее здесь
Русскоязычная Twitch-сессия
Все новинки в сфере аналитики и сетевой инфраструктуры будут обсуждаться сегодня в русскоязычном Twitch-стриме.Ведущие архитекторы решений AWS отобрали все самое интересное, многие из них уже использовали, а теперь обменяются впечатлениями от новинок и ответят на все ваши вопросы.
Если вы еще не присоединились к трансляции - ссылка на регистрацию .
Кстати, на Twitch можно посмотреть записи предыдущих русскоязычных стримов, если вы их пропустили.
Предыдущие новости с AWS re:Invent 2020: AWS re:Invent. Основные анонсы первого дня (Энди Ясси, Business Applications) AWS re:Invent. Основные анонсы первого дня (Хранение) Основные доклады AWS re:Invent 2020 – машинное обучение Теги: #ИТ-инфраструктура #облачные сервисы #DevOps #aws #Amazon Web Services #инфраструктура #аналитика #сети #Softline #reinvent
-
Давайте Попробуем Понять Stateflow
19 Oct, 24 -
Канобувости, 51-Й Выпуск
19 Oct, 24 -
Создание Компании. Выход Из Зоны Комфорта
19 Oct, 24 -
Сайт Инструктора 4Учитель.ру
19 Oct, 24 -
Соревнования Нон-Стоп!
19 Oct, 24 -
Браузер Flock Теперь На Русском Языке
19 Oct, 24
