Добрый день, Хабр! Система сортировки данных DeepSort от Samsung Electronics заняла первое место в конкурсе Sort Benchmark, известном как «Чемпионат мира» по сортировке данных.
Превосходя по производительности конкурирующие решения ведущих технологических компаний и исследовательских институтов, система Samsung смогла проанализировать и реорганизовать 3,7 ТБ данных за 60 секунд. Это более чем вдвое превышает предыдущий рекорд в 1,5 ТБ, основанный на тесте MinuteSort Benchmark, который является отраслевым стандартом объема данных, сортируемых в минуту.
Система DeepSort тестировалась в сетевой среде, состоящей из 384 серверов.
Чтобы более точно оценить реальную производительность системы, на протяжении всего теста использовались умеренные настройки аппаратного и программного обеспечения.
Например, такие параметры, как количество серверов, объем памяти (64 ГБ) и вычислительная мощность (2,1 ГГц) каждого сервера, оказались значительно ниже по сравнению с параметрами, использованными основными конкурентами Samsung в конкурсе Sort Benchmark 2014. В свое время вместо гораздо более быстрых твердотельных накопителей (SSD) для теста использовались обычные жесткие диски (HDD).
Высокая производительность DeepSort обусловлена тонкой настройкой ряда ключевых элементов для ускорения скорости обработки, происходящей на протяжении всего процесса сортировки.
Помимо прочего, это предотвращение дополнительного времени ожидания серверов с более высокой нагрузкой (равномерное распределение нагрузки между всеми серверами), обеспечение одновременности обработки, передачи и хранения данных (система способна обрабатывать несколько тысяч потоков в параллельно), а также минимизировать время буферизации в серверных комнатах.
HDD за счет максимального использования кэш-памяти.
Ожидается, что система DeepSort, совместно разработанная Центром программного обеспечения Samsung в Корее и Samsung Research America в Кремниевой долине, будет внедрена в ряд сервисов и мобильных приложений Samsung, включающих функции поиска.
Успех DeepSort обусловлен вниманием Samsung к инновациям в области программного обеспечения.
Компания вложила значительные финансовые и профессиональные ресурсы в развитие этой инициативы, привлекая более 40 000 разработчиков.
Теги: #Большие данные #Samsung #глубокая сортировка
-
Что Нужно Знать О Веб-Камере Чата
19 Oct, 24 -
Делайте Google, А Не Google!
19 Oct, 24 -
Рбк Хочет Много Любви
19 Oct, 24
