Apache Ignite В Облаке Aws — Базовый Пример

Облачные вычисления так популярны по нескольким причинам: они гибки, относительно дешевы по сравнению с содержанием внутренней инфраструктуры и позволяют прекрасно автоматизировать распределение ресурсов (и здесь тоже есть экономия).

Когда объемы обрабатываемых данных растут из года в год, нельзя рассчитывать на вертикальную масштабируемость, приобретая все более дорогие серверы.

Данные должны быть распределены по нескольким более дешевым системам (кластерам), где их можно будет безопасно хранить, обрабатывать и при необходимости возвращать пользователю.

Построение таких систем — непростая задача, но, к счастью, существуют решения, которые идеально вписываются в облачную архитектуру.

я говорю о Апач Игнит .

Подготовка окружающей среды

Я выбрал образ Ubuntu 18.04, но в целом это не имеет значения.

Прежде чем развертывать первые машины, нам необходимо настроить группу безопасности.

Это должно определить сетевые правила для портов, требуемых узлами Ignite.



Рисунок 1 – Конфигурация группы безопасности Были явно настроены два диапазона портов: диапазон портов 47500–47600 для обнаружения (механизм обнаружения, который позволяет узлам находить друг друга и формировать кластер) и диапазон 47100–47200 для подсистемы связи, которая позволяет узлам отправлять прямые сообщения.

друг другу.

Сообщения.

Теперь, когда мы настроили группу безопасности, пришло время запустить и настроить наши машины.

Рисунок 2. Группа безопасности выбирается во время подготовки экземпляра AWS. Машины работают, но на них отсутствует базовое программное обеспечение: Java. Нет проблем, просто используйте следующую команду для установки Java:

   

 ~/sudo apt install openjdk-8-jdkс

   

/bin/ignite.sh





Рисунок 3 – Первый узел работает Мы уже добились большого прогресса: подготовили среду, придумали, где брать бинарники и как их запускать.

Пришло время собрать кластер.

Запуска группы нод недостаточно для построения кластера, и это становится очевидным из логов: у каждой ноды в логах есть такая строка:



Рисунок 4 – Два узла сформировали два независимых кластера Это сообщение означает, что два узла сформировали два независимых кластера вместо того, чтобы обнаружить друг друга и слиться в один.

Чтобы создать настоящую кластерную среду, вам необходимо глубже понять, как узлы объединяются в кластер.

Особую роль в этом процессе играет специальный сервис Discovery. Именно это позволяет узлам находить друг друга и формировать кластер.

Когда узел запускается, первое, что он делает, — это отправляет запрос своему экземпляру службы Discovery, чтобы найти существующий кластер, и пытается присоединиться к нему вместо создания нового.

Параметры DiscoverySPI, позволяющие службе обнаруживать кластер, должны быть предоставлены конечным пользователем, но они просты и интуитивно понятны.

Все, что нам нужно сделать, это настроить IpFinder (компонент для поиска IP-адресов существующих узлов) и передать его в Discovery. Давайте сделаем это и соберем разрозненные узлы в единую систему.

Откройте файл конфигурации в вашем любимом текстовом редакторе.

~/ignite/apache-ignite-2.7.6-bin$ vim config/default-config.xml

.

и добавьте следующий блок:

<property name="discoverySpi"> <bean class="org.apache.ignite.spi.discovery.tcp.TcpDiscoverySpi"> <property name="ipFinder"> <bean class="org.apache.ignite.spi.discovery.tcp.ipfinder.vm.TcpDiscoveryVmIpFinder"> <property name="addresses"> <list> <value>172.31.3.57</value> </list>

Теги: #с открытым исходным кодом #Распределенные системы #aws #Amazon Web Services #apache ignite #cloud Computing

• Каким Образом Hadoop Используется В Компаниях Для Обработки Больших Данных?

  19 Oct, 24

• Яндекс Запустил Персонализацию Историй В Яндекс.новостях

  19 Oct, 24

• Долой Комментарии Из Rss-Ленты!

  19 Oct, 24

• Гослинукс Шагает По Стране: Фссп Отчиталась О Затратах На Внедрение И Использование Российской Ос

  19 Oct, 24

• Вы Используете Java 7?

  19 Oct, 24

• Airpods Studio: Собираем Образ Устройства По Фрагментарной Информации

  19 Oct, 24

• Подкаст Appleinsider [06]

  19 Oct, 24

• Мужчина, Который 20 Лет Зарабатывал На Взломе Онлайн-Игр

  19 Oct, 24

• Какую Доменную Зону Лучше Всего Использовать Для Личного Сайта?

  19 Oct, 24

• Bb-Mobile Voiis Gps: Телефон С Большими Кнопками, Мониторингом Здоровья И Дистанционным Управлением

  19 Oct, 24