Нам часто задают вопрос, как развернуть кластер на Splunk. В процессе эксплуатации у многих пользователей возникает необходимость перехода от автономной конфигурации к кластерной, обеспечивающей стабильную систему хранения и индексации данных, а также постоянную доступность данных, не зависящую от сбоев оборудования.
И поэтому в этой статье мы расскажем, как развернуть кластер Indexer на Splunk, что позволит вам постоянно иметь доступ ко всем хранимым данным, даже если один из индексаторов выйдет из строя.
Задача
Построим кластер, который будет загружать данные, реплицировать их, создавая две копии на индексаторах.Для этого нам нужно: Индексаторы (2) – узлы, на которых будут реплицироваться данные; Поисковая глава — компонент, представляющий собой графический интерфейс для поиска данных, хранящихся в индексаторах, построения информационных панелей, создания оповещений и т. д.; Мастер кластера – главный узел, который координирует действия всех остальных узлов; Экспедитор(ы) – компоненты, отвечающие за передачу данных; Сервер развертывания — компонент, отвечающий за отправку параметров отправки данных всем форвардерам (в нашем случае он будет располагаться вместе с Search Head).
Развертывание кластера
1. Определите требования
Перед развертыванием кластера необходимо определить требования к кластеру: • Фактор репликации — количество копий данных.Необходимо выбрать коэффициент, который будет оптимальным с точки зрения увеличения объема памяти и отказоустойчивости системы.
Увеличение коэффициента репликации в процессе работы системы возможно, но приведет к замедлению работы кластера при создании дополнительных копий.
В нашем случае коэффициент репликации = 2. • Фактор поиска Коэффициент поиска сообщает кластеру, сколько копий индексированных данных сохраняется для поиска.
Это помогает определить скорость, с которой кластер сможет восстановиться после потери узла.
Более высокий коэффициент поиска позволяет кластеру быстрее восстанавливаться, но также требует больше памяти и вычислительной мощности.
Коэффициент поиска должен быть меньше или равен коэффициенту репликации.
В нашем случае коэффициент поиска = 1.
2. Установите Splunk Enterprise.
Количество копий должно быть как минимум равно коэффициенту репликации + 2. В нашем случае это 4 копии.Подробную пошаговую инструкцию по установке можно найти Здесь .
Для индексаторов необходимы 2 экземпляра, но для повышения производительности индексации можно сделать больше.
И еще 2 экземпляра для Cluster Master и Search Head.
3. Включите кластеризацию
Для каждого экземпляра Splunk необходимо определить его роль в кластере.Давайте создадим мастер кластера: Настройки – Кластеризация индексаторов – Включить кластеризацию индексаторов – Главный узел.
Зададим параметры кластера: коэффициент репликации, поиск, ключ, по которому будут проходить аутентификацию узлы кластера.
Давайте создадим индексаторы: Настройки – Кластеризация индексаторов – Включить кластеризацию индексаторов – Одноранговый узел.
Давайте укажем адрес Мастер кластера с портом 8089 , порт, на который будут реплицироваться данные ( 8080 ) И ключ , который был создан на предыдущем шаге.
Давайте создадим заголовок поиска: Настройки – Кластеризация индексаторов – Включить кластеризацию индексаторов – Узел «Головка поиска».
Давайте укажем Адрес мастера кластера с портом 8089 И ключ .
После создания всех компонентов вам необходимо перезагрузить Splunk на каждой машине.
4. Создание нового индекса
Далее давайте создадим новый индекс тест .За создание индексов отвечает мастер кластера, который создает указанный индекс для каждого индексатора.
Для этого скопируйте файл indexes.conf из .
splunk/etc/master-apps/_cluster/ по умолчанию в каталог /opt/splunk/etc/master-apps/_cluster/ местный
Добавим в файл новый индекс и места хранения его данных: [test]
repFactor = auto
homePath = $SPLUNK_HOME/var/lib/splunk/testdb/db/
coldPath = $SPLUNK_HOME/var/lib/splunk/testdb/colddb
thawedPath = $SPLUNK_HOME/var/lib/splunk/testdb/thaweddb
После чего вам нужно толкать настройки от мастера к индексаторам.
5. Настройка пересылки и сервера развертывания
Мы писали о том, как настроить Forwarder и Deployment Server. Здесь .Поэтому в этой статье мы отметим различия в настройках для ситуации работы с кластерами.
В нашем случае мы настроили сервер развертывания в Search Head и указали его IP-адрес во время установки.
Чтобы настроить форвардер для загрузки данных в кластер, нужен еще один файл.
выходные данные.
conf со следующим содержанием: [tcpout]
defaultGroup=my_LB_peers
[tcpout:my_LB_peers]
autoLBFrequency=40
server=IP_indexer_1:9997, IP_indexer_2:9997
useACK=true
В файле outputs.conf необходимо указать IP-адреса индексаторов кластера.
После настройки сервера пересылки и развертывания вы можете загружать данные и выполнять поиск через Search Head. Следует отметить, что на SH в списке индексов не будет тестового индекса, но поиск будет осуществляться по этому индексу.
Заключение
Таким образом, мы развернули кластер, реплицирующий данные, создали в нем новый индекс и рассказали, как настроить отправку данных в кластер.примечание : Если в процессе развертывания вы столкнулись с ошибками, проверьте следующие пункты: 1. Для брандмауэра должны быть открыты все порты (8089, 8080, 9997) 2. Имена машин, используемых в Splunk, не должны совпадать.
Вы можете изменить их в каталоге .
splunk/etc/system/local/server.conf. [general]
serverName = Indexer1
pass4SymmKey = $1$0rPdsD/7byyP
Если вам интересна эта тема или Splunk в целом, то пишите комментарии, мы будем рады вам ответить.
Также в нашем блоге есть много других статей, которые относятся к Splunk и могут помочь вам узнать много интересного о реализованных кейсах, функционале и многом другом.
Подпишитесь на нашу группу ВК и канал Телеграмма , если хотите быть в курсе новых статей.
Вы также можете написать нам заявку через форму на нашем сайте.
Веб-сайт .
Теги: #Оптимизация сервера #ИТ-инфраструктура #Системное администрирование #Администрирование сервера #анализ данных #кластер #splunk #логи #индексатор #форвардер #поисковая головка #мастер кластера
-
Взгляните На Toshiba Qosmio X505-Q894-06.
19 Oct, 24 -
Секрет Прошивки
19 Oct, 24 -
Отслойка Сетчатки – Что Важно Об Этом Знать
19 Oct, 24 -
День Закрытия: 3 Мая 2008 Г.
19 Oct, 24 -
Сайт На Macosx?! Без Проблем!
19 Oct, 24 -
Zeromq: Сокеты По-Новому
19 Oct, 24
