Анамнез, так сказать: Сервер Fujitsu rx300 s6, RAID6 из 6 дисков по 1ТБ, установлен XenServer 6.2, крутится несколько серверов, среди них Ubuntu с несколькими шарами, 3,5 миллиона файлов, 1,5 ТБ данных, все это постепенно растёт и раздувается.
Задача: настроить резервное копирование данных с файлового сервера, частично ежедневно, частично еженедельно.
У нас есть машина для резервного копирования Windows с RAID5 (убогий стандартный системный блок со встроенным в мать RAID-контроллером) плюс отдельный диск на 2 ТБ для промежуточного копирования текущего состояния файлов.
Можно было использовать любой дистрибутив Linux, но эта машина уже была доступна с рейд-массивом и лицензией Windows. Установить на резервный сервер FreeFileSync , настраиваем «зеркало» всего подряд со всех общих файловых серверов один раз в день вечером после 18 часов, пропустив через планировщик.
Важный момент: при сохранении пакетного задания обязательно ставьте галочку «Закрыть окно задания по завершению», иначе процессы будут размножаться и размножаться.
В исключения по маске кидаем временные файлы: *.
dwl, *.
dwl2, *.
tmp. FreeFileSync чрезвычайно хорошо использует сеть, копирование происходит в несколько потоков, скорость при копировании больших файлов достигает 80 МБ/с, на маленьких файлах блокировок не обнаружено.
Архивирование будет осуществляться на локальном резервном сервере вместо используемого ранее.
Копировальный аппарат с сетевым архивированием.
Кстати, TheCopier великолепен! Но с такими объемами он просто не успевает все передать, несмотря на интерфейс 1Гб/с на резервном и 2Гб/с на файловом (связка двух сетевых карт).
Также ранее использовался СинкТой , но когда количество файлов превышало 1,5-2 миллиона, он переставал нормально работать, просто не справлялся.
Для архивации нужных папок пишем батник для 7-молния : установить сейчас=%TIME:~0,-3% установить сейчас=%сейчас::=.
% установить сейчас=%сейчас: =0% set now=%DATE:~-4%.
%DATE:~3.2%.
%DATE:~0.2%_%now% C:\"Program Files"\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_10-04.zip E:\ 10-04 C:\"Program Files"\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_35-110.zip E:\ 35-110 C:\"Program Files"\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_asu.zip E:\asu C:\"Program Files"\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_director.zip E:\director C:\"Program Files"\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_gpr.zip E:\gpr C:\"Program Files"\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_otiz.zip E:\otiz C:\"Program Files"\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_ps.zip E:\ps C:\"Program Files"\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_pto.zip E:\pto C:\"Program Files"\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_rza.zip E:\rza C:\"Program Files"\7-Zip\7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:\backups\All\%now%_smeta.zip E:\smeta ::a - создание архива :: -tzip или -t7z - тип архива (zip быстрее в 1,5-2 раза) :: -mx=1 — степень сжатия (1 минимальное, 9 максимальных значений x=[0 | 1 | 3 | 5 | 7 | 9 ]) :: -mmt=on - включает многопоточность там, где она не включена :: -mtc=off - отключает метки времени файловой системы (при сохранении, изменении и т.п.
) :: -ssw - также сжимает файлы, открытые для записи :: -xr!.
Sync* - исключает из архивирования временные файлы BtSync, оставляя постоянные Конструкция set now=% и так далее позволяет сохранить формат времени записи в имени файла без тех проблем, которые возникали, когда номер дня или месяца был меньше 10, то есть подставляем ноль.
Комментарий -xr!.
Sync* — это рудимент, оставшийся от первоначально используемого БТсинк .
До 500 ГБ и 700-800 тысяч файлов BTSync еще работал нормально, синхронизировался на лету, но при текущих объемах очень жрал память и ресурсы процессора как на файловом сервере Ubuntu, так и на резервной копии Windows, где он был запущен сервис, а также просто изнасиловал дисковую систему постоянным чтением и записью.
Хотя архиватор 7-zip, мы архивируем его в формате zip вместо родного 7z, потому что он гораздо быстрее, и разницы в сжатии при mx=1 практически нет, это проверено многими экспериментами.
Архивы выполняются один за другим.
Папка с архивами также очищается через запланированное задание с помощью утилиты fpurge, оставляя архивы не старше недели.
В результате мы имеем копию файлов за предыдущий день, а также архивы за прошедшую неделю; FreeFileSync помещает удаленные файлы в корзину.
Теги: #Системное администрирование #Резервное копирование #резервное копирование #7-zip #FreeFileSync
-
Мозли, Генри Гвин Джеффрис
19 Oct, 24 -
Обзор: Puppet, Chef, Ansible, Salt
19 Oct, 24 -
Лучшие Приложения Android/Ios Для Армии
19 Oct, 24 -
Это Знает Любой Студент-Программист.
19 Oct, 24 -
Изоляция Служб В Windows
19 Oct, 24 -
Сервисы Онлайн-Восстановления Паролей
19 Oct, 24 -
Нагрузочный Тест С Использованием Go
19 Oct, 24
