Можно Ли Балансировать Нагрузку На Связь Logstash На Основе Tls/Ssl С Elasticsearch?

если у меня есть конвейер filebeat -> logstash -> elasticsearch с шифрованием TLS или HTTPS, можно ли балансировать нагрузку между двумя целевыми кластерами elasticsearch в активном режиме ожидания?
я имею в виду, что в случае выхода из строя одного из кластеров я бы вручную или автоматически переключил все потоки данных на другой кластер.

Я рассматриваю различные настройки прокси, но не уверен, что правильно понимаю термины, и TLS не решит проблему.

#load-balance #logstash #ssl #elastic

Это можно сделать несколькими способами, но я никогда не видел, чтобы кто-нибудь делал это с помощью CNAME.

Один из вариантов, если вы контролируете свой IP-адрес, — использовать BGP для аварийного переключения (или баланс нагрузки) IP-адрес вашим провайдерам облачного хостинга.

Второй вариант — инвестировать в решение для балансировки географической нагрузки на основе DNS, такое как GTM от F5, решение GSLB от A10 или решение GSLB от A10. Решение GSLB от Kemp (F5 наиболее часто используется в отрасли). С помощью этих решений вы настроите сервер имен (NS1 и NS2) для своего домена в качестве решения GSLB по вашему выбору. Вы установите очень низкий TTL для своих записей DNS и настроите мониторы работоспособности для своего стека ELK из решения GSLB. Это может быть как сложно, например, вход в ELK и сбор данных, так и просто, например, проверка возможности установки TCP-соединения и/или проверки связи с вашим сервером. В случае сбоя этого монитора работоспособности решение GSLB автоматически переключит трафик в альтернативный центр обработки данных. Вы сможете сделать это как пара высокой доступности с одним решением GSLB одновременно DC как NS1, а другим на вашем вторичном сайте как NS2. Затем GSLB перенаправит поиск на ваши предыдущие серверы имен, которые опубликуют IP-адреса для обоих сайтов. Они будут переписаны, чтобы исключить IP-адрес, на который GSLB не хочет направлять трафик в данный момент (опять же, это можно использовать для активных-активных сайтов — вы даже можете использовать геолокацию для отправки пользователей в Европе к европейскому облачному провайдеру и Пользователи из США к провайдеру из США или выполняют простой активный/резервный режим)

Последний способ сделать это — использовать локальное решение для балансировки нагрузки, такое как LTM F5, SLB A10 или Решение Кемпа. Вы также можете использовать nginx для этого дешевое решение. В этом сценарии у вас может быть это решение в офисе с URL-адресом балансировщика нагрузки, обслуживаемым вашим локальным DNS-сервером, на локальный IP-адрес (виртуальный IP-адрес) на вашем балансировщике нагрузки. Затем вы должны настроить баланс нагрузки, чтобы направлять пользователей к нужному облачному провайдеру, настроив монитор работоспособности (любой сложности). Затем вам нужно будет настроить этот балансировщик нагрузки для моста через SSL-соединение. Вы должны добавить свой сертификат и закрытый ключ в решение по балансировке нагрузки. Пользователи установят зашифрованное соединение с балансировщиком нагрузки. Это шифрование будет снято балансировщиком нагрузки, и балансировщик нагрузки установит новое зашифрованное соединение с облачным провайдером, а данные пересылаются по новому туннелю SSL.