Дженкинс – Как Я Могу Автоматически Масштабировать Экземпляры На Основе Задержки Темы Kafka?

  • Автор темы Punkpunk
  • Обновлено
  • 22, Oct 2024
  • #1

У меня есть группы автомасштабирования, которые я хочу динамически масштабировать вверх/вниз в зависимости от количества задержек, отображаемых в определенных темах Kafka. Между темой и группой автомасштабирования существует соотношение 1:1, которое необходимо масштабировать. Я совершенно уверен, что не смогу использовать для этого метрики CloudWatch.

Есть ли способ сделать это с помощью Jenkins, не создавая условий гонки и других проблем?

Примечание. Мое приложение не ограничено ЦП, дисковым вводом-выводом или какими-либо другими показателями, предоставляемыми CloudWatch; ограничением является способность приложения обрабатывать входящие темы Kafka.

#jenkins #amazon-web-services #автомасштабирование

Punkpunk


Рег
01 Apr, 2007

Тем
69

Постов
171

Баллов
526
  • 25, Oct 2024
  • #2

CloudWatch абсолютно путь на этом фронте вы можете отображать Kafka Metrics в CloudWatch одним из следующих способов:

  1. Имея отдельный процесс это передает метрики в CloudWatch.
  2. Попросите своих производителей, потребителей или потоковые процессоры передать нужные вам метрики в CloudWatch.

Процесс, которому вы следуете, в общих чертах можно разбить на:

  1. Публикация специальных показателей.
  2. Создайте Конфигурация запуска автомасштабирования.
  3. Создайте Группа и политики автомасштабирования на основе вашей специальной метрики.

В зависимости от вашей модели затрат я бы также рассмотрел возможность использования спотовых инстансов для снижения затрат, т. е. если у вас есть некритичные, но высокопроизводительные рабочие нагрузки. Спотовые инстансы как часть вашей конфигурации автомасштабирования.

 

Dj_haker


Рег
14 Mar, 2020

Тем
67

Постов
198

Баллов
583
Похожие темы Дата
Тем
403,760
Комментарии
400,028
Опыт
2,418,908

Интересно