Пусть надо мной смеются сетевые инженеры крупных интеграторов, имеющие доступ к топовому оборудованию за кучу килобаксов.
Я хочу поговорить о том, как можно обзавестись собственной домашней сетью, которая будет работать быстро и не разоряться.
tl;dr Если кому-то интересно, ситуация сейчас такова, что пару десктопов можно соединить сеткой 56Гб за <$100+shipping from the states. If you want more computers, then it’s <$100 for a 12-port 40Gb switch and ~$60 for a desktop, plus shipping. But this is all used and there are zero guarantees. Заранее извиняюсь, но будет много сокращений.
И это не реклама — всему этому оборудованию уже много лет, оно больше не поддерживается производителем и его легко можно найти на eBay б/у за очень небольшую сумму, по сравнению с ценами новых от производителя.
Но надо сказать, что новый (анонсированный в конце 2020 года) почти на порядок быстрее.
Так что это все о домашних экспериментах и самообразовании.
Медный век
Когда в домашней лаборатории появился второй компьютер, а это 2013 год, в какой-то момент стало понятно, что скорости Ethernet в 1Гб будет недостаточно, но мне захотелось поэкспериментировать.Я начал узнавать, что было в природе в то время.
10GbE стоил жутко дорого, и нашлись карты производства Mellanox. Помимо Ethernet они умеют еще и InfiniBand (это важно позже).
Вы можете прочитать в Wiki, чем они отличаются, но помимо всего прочего IB умеет еще и IP over IB, а это именно то, что нужно для нормальной жизни.
Большим плюсом было то, что б/у адаптеры на eBay продавались почти за копейки (20-30 долларов).
Поэтому мы сразу купили три (одну как запасную) карты Mellanox MHEH28-XTC, которые поддерживают и InfiniBand SDR, и Ethernet 10GbE, но имеют странный разъем CX4. Также для пива нашлось 3 кабеля (длиной всего 0,5 м, но для лаборатории в самый раз).
Дальше мы проводили всевозможные эксперименты и добились скорости передачи файлов по сети 600-700МБ/с.
На RAM-диске, конечно, мои SSD на тот момент не были способны на скорость больше 250-300МБ/с.
Главное, что произошло в тот момент в моей голове, это то, что когда сеть быстрее дисков, это совсем другие возможности.
Становится неважно, где находится, например, сетевой диск.
Он не медленнее локального.
А например живая миграция виртуальных машин гораздо веселее, но это уже отход от темы.
Как известно, аппетит повышается во время еды, поэтому обновляйтесь.
Мы нашли MHGH28-XTC, который уже поддерживает InfiniBand DDR, а это уже 16 Гбит/с.
Оказалось, что не все кабели одинаково полезны, скорость не увеличилась, поэтому пришлось искать новые.
Мы нашли медные, но они были уже 8 метров в длину и заметно тяжелые, это не Кот 5/6. У них замеры показали до 1600МБ/с, а до более тонкой настройки руки не дошли.
Диски и рейды, которые там были, всё равно медленнее.
Следующий апгрейд, самый дурацкий, MHJH29-XTC, умеет столько же, сколько QDR — 32Гбит/с.
Просто оказалось, что прошивки для этих новинок очень старые.
Такое, что под Win ничего даже работать не будет. Хорошо, что на помощь пришел Linux. Но на старых кабелях на скорости QDR ничего не работает, а кабели на скорости QDR найти невозможно.
И возникла еще одна очень важная проблема — если вы хотите соединить более двух компьютеров, то вам нужен свитч.
И это было большой проблемой.
Обычно это животные «Энтерпрайза», которые при включении издают звуки, как будто собираются улететь на реактивном двигателе.
Что для дома - не вариант. Но маленьких, тихих и компактных в природе не встретилось.
Пришлось изучить вопрос дальше.
Оптический возраст
С момента первых экспериментов прошло уже пять лет, и год стал 2018. Насколько я понимаю ситуацию и почему так произошло, дата-центры США начали (и закончили) модернизировать свои сети, а на сайте появилась куча нового интересного б/у оборудования.eBay по разумным ценам.
А именно карты ConnectX-3, коммутаторы и оптические кабели.
Это уже не легенда глубокой древности, а относительно новое железо.
ПРИМЕЧАНИЕ: насколько я понимаю, это связано с переходом с 10/40GbE на 25/50/100+GbE. И у них проблемы с совместимостью, поэтому старую просто утилизировали.
Что я могу тебе здесь сказать? Сначала были куплены карты и кабели.
Более того, они уже были настолько распространены, что не надо искать мелланоксы, там то же самое под названиями HP/Dell/IBM, и они дешевле.
Драйвера встроенные есть и в Win и в Linux, всё работает практически само.
Все это железо поддерживает QDR/FDR10/FDR14, то есть по сути 40/56 Гбит/с.
При правильных настройках можно увидеть реальную скорость 4700+МБ/сек.
Хоть диски и стали NVMe (PCI 3 всё-таки), сеть всё равно оказалась быстрее.
А самое приятное, что есть переключатели за разумные деньги(<$100 for 8/12 ports 32/40Gb).
For example, the old IS5022, one of the disadvantages is that it can only do QDR, and for some it may be important that there are only 8 ports, but the advantage is that you can keep it at home and even sleep next to it if you modify it. 
Он вообще не шумит, если вентилятор Noctua дует холодным воздухом, но это вообще не серийное решение, конечно.
Но по ГОСТ 26074-84 и ГОСТ 8486-86. ВНИМАНИЕ: если кто-то захочет повторить, ему нужно перепаять провода у вентилятора, там другая распиновка.
При попытке просто воткнуть обычный вентилятор он не крутится, а начинает дымить! Или SX6005 — у них уже есть FDR10 на 12 портов, но основной чип у них снизу, а просто кулер сверху накинуть я пока не решил.
Но я собираюсь открыть этот переключатель и попробовать.
В конце концов, своими руками.
Есть еще много разных вариантов, но я недостаточно знаю ситуацию, чтобы описать их все (можете посмотреть серию Brocade ICX).
У всего этого великолепия есть один существенный недостаток — два примера оборудования, которые я привел выше, являются коммутаторами InfiniBand. Ethernet они не знают, а получается только IPoIB. Из этого следует, что машины Win/Linux прекрасно видят друг друга, общаются и все работает нормально.
Основная проблема для меня была - если нужны виртуальные машины и чтобы они видели друг друга по быстрой сети - просто не получится, ИБ не маршрутизируется на 3 уровень (поправьте меня, кто умнее, если я написал чушь здесь).
Точнее, сделать это можно и на виртуальных машинах, но не на домашнем оборудовании (SR-IOV тоже требует проброса VF внутри виртуальной машины), с утомительным процессом настройки, плюс некоторыми проблемами с миграцией.
К сожалению, на eBay пока нет дешевых коммутаторов 40/56GbE Ethernet (если интересно, можете поискать SX1012), с которыми можно было бы поэкспериментировать.
Нам придется подождать еще несколько лет. И тогда, глядишь, в домашней лаборатории можно будет получить до 25/100GbE. PS: С IB еще есть всякие нюансы типа необходимости где-то OpenSM, если свитч неуправляемый, но это все же не статья о настройке IB. Теги: #Сетевые технологии #Сделай сам или Сделай сам #поделки #сетевое оборудование #сети #Лайфхаки для гиков #сделай сам #сеть #домашний сервер #infiniband #mellanox #home lan
-
Как И Зачем Определять Пол Пользователя
19 Oct, 24 -
Открытый Урок «Обзор Возможностей Node.js»
19 Oct, 24 -
База Данных Скриншотов Debian
19 Oct, 24 -
Вещи Из Минувших Дней
19 Oct, 24 -
Серия Wpf: Введение Или Введение
19 Oct, 24
