Упд. Тестирование Golang Rest Api. 120 000 [#/Сек] Без Ограничений?

В глаза бросилось не особо позитивное сравнение Java против ГО.

Тестирование с большим количеством пользователей .

Я решил проверить, действительно ли все так плохо с Go. Забегая вперед, скажу, что при кешировании в памяти и генерации JSON на лету нам удалось получить до 120 000 [#/сек] для 8 физических ядер.

Базовый сценарий запроса GET:

• Если данные найдены в кэше памяти и они действительны, мы генерируем JSON из структуры
• Если данных в кеше нет, то ищем их в Bolt DB, если находим, то читаем готовый JSON
• Если данных нет в Bolt DB, то мы запрашиваем их из базы и сохраняем в кэше в памяти.

• Данные в кэше памяти накапливаются в буферном канале; после накопления около 10 000 элементов они сбрасываются одним сохранением в Bolt DB
• Если данные в базе изменились (обновить/вставить), то отправляется уведомление через pg_notify и данные в кеше помечаются как недействительные; при следующем обращении к нему он снова считывается из базы данных

GitHub

Обновление 06.05.2020

• стенд собран на 3-х серверах - 8 Core Intel (16 виртуальных ядер), 120 Памяти (ГБ), Oracle Linux 7.7.
• локальные диски NVMe — твердотельный накопитель NVMe емкостью 6,4 ТБ, минимум 250 тыс.

  операций ввода-вывода в секунду (блок 4 тыс.

  )

• локальная сеть между серверами - 8,2 Пропускная способность сети (Гбит/с)
• в режиме прямого чтения из PostgreSQL — до 16 000 [get/sec], параллелизм 1024, медиана 60 [мс].

  Каждый метод Get запрашивает данные из двух таблиц общим размером 360 000 000 строк.

  Размер JSON составляет 1800 байт.

• в режиме кэширования - до 100 000 - 120 000 [гет/сек], параллелизм 1024, медиана 2 [мс].

• для вставки в PostgreSQL — около 10 000 [вставка/сек].

• при масштабировании с 2 до 4 и 8 Core прирост производительности практически линейный.

Краткие выводы

• Использование кэширования JSON в Bolt DB дает примерно двукратное увеличение скорости как на жестких, так и на твердотельных накопителях.

• перенос базы данных PostgreSQL с HDD на SDD дает прирост минимум в 100 раз
• перенос Bolt DB на SDD с HDD тоже дает прирост минимум в 100 раз
• кэширование структуры в памяти и генерация JSON на лету дает прирост до 10 раз по сравнению с базой данных PostgreSQL на SDD
• стабильность отличная - ни одного неудачного запроса до 16 384 параллелизма.

Тестирование на локальной машине

Кода много, около 4000 строк, но ничего сверхинтересного не использовалось.

Единственное, это заказное Кодер/декодирование JSON — это ускорило генерацию JSON более чем в 2 раза.

Обработчик HTTP Get со стандартным пакетом JSON

   

 BenchmarkHandler_DeptGetHandler-2         1000000          41277 ns/op     4845.26 MB/s        10941 B/op          259 allocs/op

   

• База данных PostgreSQL 11 для Windows 10, размер базы — до 30 ГБ.

• Две таблицы - главная до 10 000 000 строк, подчиненная таблица 100 000 000 строк.

• Размер сообщения JSON составляет 1500 байт и состоит из 1 главной строки и 10 подчиненных строк.

• компьютер — core i7-3770 — 4 ядра (8 потоков), 16 ГБ ОЗУ, HDD (WD 2.0TB WD2000fyyz), SSD (Intel 530 Series).

• Тестирование проводилось через ApacheBench, уровень параллелизма от 1 до 4096, 1 000 000 запросов случайным образом.

• Чтобы минимизировать кэширование Windows, перед каждым тестом компьютер перезагружался.

• RAID не использовался.

  Было интересно померить максимальную производительность на одном диске.

• GET с прямым доступом к PostgreSQL — HDD-диск (каждый запрос читает базу данных, из структуры генерируется JSON).

  Один шпиндель

• GET с прямым доступом к PostgreSQL — SSD-диск (каждый запрос читает базу данных, из структуры генерируется JSON).

  Один SSD-накопитель

• GET с кешированием в BOLT DB — HDD-диск (ранее JSON сохранялся в BOLT DB)
• GET с кешированием в BOLT DB — SSD-диск (JSON ранее сохранялся в BOLT DB)
• GET с кэшированием структуры в памяти (из структуры генерируется JSON)

GET с прямым доступом к PostgreSQL — HDD (каждый запрос читает базу данных)

GET с прямым доступом к PostgreSQL — SSD (каждый запрос читает базу данных)

GET с кешированием в BOLT DB — HDD-диск (ранее JSON сохранялся в BOLT DB)

GET с кешированием в BOLT DB — SSD-диск (JSON ранее сохранялся в BOLT DB)

GET с кэшированием структуры в памяти

Тестирование в Oracle Cloud

Испытательный стенд

• Конфигурации VM.DenseIO2.8 — 8 ядер Intel (16 виртуальных ядер), 120 памяти (ГБ), Oracle Linux 7.7
• использовались локальные диски NVMe — твердотельное хранилище NVMe емкостью 6,4 ТБ (1 диск), минимум 250 тыс.

  операций ввода-вывода в секунду (блок 4 тыс.

  )

• локальная сеть между серверами - 8,2 Пропускная способность сети (Гбит/с)
• БД — PostgreSQL 12. Настройки базы данных не оптимизированы.

• тестирование проводилось через ApacheBench:
  • уровень параллелизма от 4 до 16384
  • от 10 000 до 1 000 000 запросов случайным образом.

  • В фоновом режиме работало от 2 до 8 экземпляров ApacheBench (один процесс ab не может загрузить более 1 виртуального процессора)

Результаты тестирования GET с разными типами кэширования

• Размер JSON - 1800 байт. Один главный объект Dept и 10 вложенных объектов Emp.
• Размер таблицы Dept — 33 000 000, таблицы Emp — 330 000 000 строк.

• GET без кэширования с прямым доступом к PostgreSQL
• GET с кэшированием JSON от BBolt (размер 74 ГБ)
• GET с кэшированием памяти (стандартная карта)

Таблица с агрегированными данными доступна по адресу связь График количества запросов в секунду в зависимости от параллелизма.

График времени на запрос.

[мс] из параллелизма (логарифмическая шкала).

График 99%-го процентиля [мс] в зависимости от параллелизма.

График 99%-го процентиля [мс] в зависимости от параллелизма (логарифмическая шкала).

Вот как выглядит загрузка внутреннего сервера при 100 000 [#/сек] и кэшировании данных в BBolt (параллелизм 128).

Из 1600% процессорного времени программа использует 1464%.

Средняя задержка ввода-вывода на диске NVMe составляет 0,02 [мс] (500 000 операций ввода-вывода в секунду).

Профилирование

BenchmarkHandler_DeptGetHandler-2 1000000 13300 ns/op 15036.97 MB/s 3265 B/op 11 allocs/op

По данным ApacheBench, лучшее время выполнения запроса — 0,088 мс.

Стало интересно, где разница 0,088 - 0,013 = 0,055 мс.

Включено профилирование - Результаты На верхнем уровне:

• net/http.(*conn).

  serve — (61,85%)

• net/http.(*connReader).

  backgroundRead — (7,04%)

• runtime.gcBgMarkWorker — (18,30%)

• Чтение входящих запросов — net/http.(*conn).

  readRequest — (9,29%).

  Входящие запросы не имели тела.

• Запись исходящих ответов - net/http.(*response).

  finishRequest - (21,74%).

  Запись тела ответа.

• Фактический обработчик запроса — net/http.(*ServeMux).

  ServeHTTP — (23,33%).

ExecIO — пришлось (24,78%).

Давайте посмотрим, что делал наш основной обработчик net/http.(*ServeMux).

ServeHTTP:

• Разбор URL-адресов и обработка параметров — github.com/gorilla/mux.(*Route).

  Match — (2,29%)

• Генерация JSON из структуры в памяти — github.com/francoispqt/gojay.marshal — (9,92%)
• Работа с кэшем в памяти - (4,53%)

• Выйдите За Рамки Границ С Разработкой Приложений Для Android

  19 Oct, 24

• Лучшее Ftp-Приложение Для Mac

  19 Oct, 24

• Программное Обеспечение Базы Знаний… Непревзойденные Образовательные Решения

  19 Oct, 24

• Ai Vc — Венчурный Фонд, Управляемый Алгоритмами Искусственного Интеллекта.

  19 Oct, 24

• Вконтакте Раздал Победителям Хакатона 300 Тысяч Рублей На Создание Приложений Для Сообществ

  19 Oct, 24

• Неутешительная Статистика Вциом: Экстрасенсы И Нло Сдают Позиции, Но Половина Россиян Верит В Колдовство, Приметы И Предсказания

  19 Oct, 24

• Прошивка Android Из Личного Опыта

  19 Oct, 24

• «Защита От Дурака» Или Как Предотвратить Изменение/Удаление Важных Папок

  19 Oct, 24

• Сериализация Статических Объектов В C#

  19 Oct, 24

• Систематика Прокариот - Дальних Родственников

  19 Oct, 24