Prometheus — Сетевые Метрики, Ориентированные На Узлы, Сильно Отличаются От Суммы Метрик Модулей, Работающих На Этом Узле.

Tatiana Butakova

Контекст

Я пытаюсь составить диаграмму использования пропускной способности сети узлом двумя разными способами:

Глядя на глобальные метрики для этого узла
Суммируя соответствующие показатели для каждого пода

Для этого я выполняю следующие запросы Prometheus (пример полосы пропускания приема):

Для всего узла (метрика от узла-экспортера)
```
  irate() 
 
```
За капсулу (метрика из kubelet)
sum()

Результаты отображаются на следующей информационной панели Grafana после создания некоторой нагрузки на HTTP-сервис под названием thrpt-receiver :

Вот что я вижу, если посмотреть на необработанные показатели без sum(irate(container_network_receive_bytes_total{node="$node",container!=""}[$__rate_interval])) by (pod,interface) and sum(irate(node_network_receive_bytes_total{instance="10.142.0.54:9100"}[$__rate_interval])) by (device) применяемый:

Проблема

Как видите, результаты сильно различаются, вплоть до того, что я почти уверен, что делаю что-то не так, но что?

Что вызывает у меня особенно подозрение в отношении показателей Pod, так это предположительно увеличивающаяся получаемая пропускная способность kube-proxy (который, AFAIK, не должен получать никакого трафика в режиме iptables) и таких агентов, как экспортер узлов Prometheus и т. д.

#Прометей

Shon94

Я узнал, что происходит на моих графиках. Все упомянутые выше поды имеют одну общую черту: они используют пространство имен сети хоста, поэтому их сетевые метрики все идентичны, и равный глобальному метрика хоста (только с немного другой точностью).

  $ kubectl -n kube-system get pod -o jsonpath='{.items[*].spec.hostNetwork}' \

kube-proxy-gke-triggermesh-product-control-plane-7fc0ad24-z586 \

gke-metrics-agent-5cv4m \

prometheus-to-sd-tk8jv \

fluentbit-gke-xh879

true true true true

$ kubectl - monitoring get pod -o jsonpath='{.spec.hostNetwork}' \

prometheus-stack-prometheus-node-exporter-jnhw7

true

Один из способов увидеть это — сравнить метрику хоста с один из вышеуказанных модулей:

Похожие темы	Дата
Kubernetes — Обеспечение Доступа К Istio Gateway С Другого Компьютера	19.12.2024, 05:12
Net.sf.json.jsonexception: Неверная Ошибка Строки Json В Jenkins	19.12.2024, 05:12
Mysql — Создать Ssh-Туннелирование Для Phpmyadmin	19.12.2024, 05:12
Программно Получить Доступ К Результатам Работы Конвейера Azure?	19.12.2024, 05:12
Почему Нельзя Использовать Логическое Значение В Docker-Compose.yml?	19.12.2024, 05:12
Мониторинг - Автоматические Периодические Условные Проверки	19.12.2024, 05:12
Веб-Службы Amazon – Eks – Создан Кластер Из Консоли С Федеративным Администратором Iam – Как Получить Доступ	19.12.2024, 05:12
Как Отключить Эффективный «Ограничение По Времени» На Редактирование Развертываний Kubernetes?	19.12.2024, 05:12
Amazon Rds – Могу Ли Я Переименовать Экземпляр Rds?	19.12.2024, 05:12
Динамические Имена Файлов В Фабрике Данных Azure.	19.12.2024, 05:12

Prometheus — Сетевые Метрики, Ориентированные На Узлы, Сильно Отличаются От Суммы Метрик Модулей, Работающих На Этом Узле.

Контекст

Проблема

Tatiana Butakova

Shon94

I AM

Интересно