Недавно читал еще одна статья о высококлассном( высококлассный — масштабирование изображения до большего разрешения), на этот раз по поводу коммерческого продукта Topaz AI Gigapixel я оставил комментарий следующего содержания:
Жаль, что пост простой перевод, хотелось бы сравнения с чем-то бесплатным, типа того же вайфу2х.Ну а поскольку статья была переводом, я решил взять дело в свои руки.Думаю найти разницу будет очень сложно, хоть waifu2x и предназначен для анимации.
Итак, не будем терять время, знакомьтесь:
- Красный Гигантский Стрелок Мгновенный 4K
- Фильтр Ланцоша (известный многим как Ланцош)
- Билинейная интерполяция (в качестве ссылки)
- Сохранение деталей Adobe Photoshop 2.0
- Топаз Гигапиксельный AI
- Waifu2x с профилем UpResNet10
Сравнивать их будем своими глазами, ведь картинку можно оптимизировать под различные решения по анализу изображения, получая «лишние» проценты.
Впрочем, от последнего мы тоже не откажемся, поэтому результаты анализа будут добавлены к результатам в виде скриншотов МИТСУ И ВМАФ , так как обе программы работают с видео без сэмпла.
SSIM, PSNR и другие нам в данном случае не подойдут, потому что у нас нет настоящего 4К, с которым можно было бы сравнить апскейл-результаты.
Содержание:
- Подготовка материала к тестированию
- Выбор материала для тестирования
- Программы, выбранные для тестирования
- Видео анализ:
- Файл 1: «ВВЕДЕНИЕ»:
- Файл 2: «СЦЕНА 1»:
- Файл 3: «ИСТОЧНИК 4K»:
- Файл 4: «ЮТУБ»:
- Анализ результатов
- Для новичка, желающего опробовать современные высококлассные программы
- План следующей статьи и вопросы читателям
Зеркало включено Яндекс .
Также есть 3 простых видеоруководства по использованию Adobe Premiere Instant 4K, Waifu2x и Topaz. 1. Подготовка материала к исследованию.
Комплектация испытательного стенда:
Процессор: Intel Core i7-4980HQ 4,2 ГГц Материнская плата: MSI Z97 GAMING 5 (не спрашивай) Оперативная память: 32 ГБ DDR3 2400 Графический процессор: NVIDIA GTX 1080ti FE 11 ГБ, частота ядра установлена вручную на 1923, частота памяти на 5602. Хранение: система и программы на SSD M.2 SATA 850 EVO 250ГБ, файлы на HDD 2 ТБ WDC WD40EZRZ.Апскейл проводился по следующему сценарию:
- Если выбранный метод поддерживал работу непосредственно из видеоредактора Adobe Premiere, то вся работа происходила в этом редакторе, после чего результат экспортировался в кодек.
ФФВ1 с GOP 1, чтобы избежать каких-либо потерь и использовать только обратимое сжатие изображения.
- Если выбранный метод не поддерживал работу из видеоредактора, то видео разбивалось на отдельные кадры в формате PNG с помощью простого bat-файла: BAT-файл для сохранения отдельных кадров в папкуframes.
Чтобы разложить видео на кадры, просто поместите этот файл в папку ffmpeg.exe и создайте папкуframes, затем просто перетащите видеофайл прямо на bat-файл.wmic process where name="cmd.exe" CALL setpriority 16384 @echo off :hugly if "%~1" EQU "" goto mugly ffmpeg -probesize 1000M -i "%~1" -vsync vfr frames\image-%d.png shift goto hugly :mugly pause
После этого обработанные кадры отправлялись в FFMPEG на микширование и экспортировались точно с теми же настройками, что и в первом случае.
BAT-файл для сведения отдельных кадров в файл без звука.
ffmpeg -framerate 24 -i image-%d.png -vcodec ffv1 -pix_fmt yuv420p -level 3 -g 1 -r 24 photoshop.mkv
Параметры -framerate и -r отвечают за установку частоты кадров видео; они должны быть указаны оба .
Результат анализа одного из файлов с помощью MediaInfo
После этого каждый из файлов открывался в MPC-HC для того, чтобы сделать скриншоты, а затем отправлялся на анализ в ffmpeg, используя опять же bat-файл: Чтобы этот скрипт работал, ffmpeg должен быть скомпилирован с поддержкой libvmaf!General Unique ID : 116184020412676472870756705294056286853 (0x57683A783D4732308C09451184B9EA85) Complete name : D:\HABR\4K SOURCE\topaz.mkv Format : Matroska Format version : Version 4 File size : 1.21 GiB Duration : 16 s 475 ms Overall bit rate mode : Variable Overall bit rate : 630 Mb/s Writing application : Voukoder 1.2.1 (Premiere) - www.voukoder.org Writing library : Lavf58.12.100 ErrorDetectionType : Per level 1 Video ID : 1 Format : FFV1 Format version : Version 3.4 Format settings, GOP : N=1 Codec ID : V_MS/VFW/FOURCC / FFV1 Duration : 16 s 475 ms Bit rate mode : Variable Bit rate : 618 Mb/s Width : 3 840 pixels Height : 2 160 pixels Display aspect ratio : 16:9 Frame rate mode : Constant Frame rate : 23.976 (24000/1001) FPS Color space : YUV Chroma subsampling : 4:2:0 Bit depth : 8 bits Scan type : Progressive Compression mode : Lossless Bits/(Pixel*Frame) : 3.107 Stream size : 1.19 GiB (98%) Default : Yes Forced : No Color range : Limited Color primaries : BT.709 Transfer characteristics : BT.709 Matrix coefficients : BT.709 coder_type : Golomb Rice MaxSlicesCount : 12 ErrorDetectionType : Per slice
ffmpeg.exe -i instant_4k.mkv -i A016_C001_02073O_001.mkv -lavfi libvmaf=model_path=vmaf_4k_v0.6.1.pkl:log_path=vmaf.log:log_fmt=json:psnr=1:ssim=1:ms_ssim=1 -f null -FFMPEG с поддержкой VMAF можно скачать по моим ссылкам на Google и Яндекс выше.
MITSU, в свою очередь, не нуждалась в какой-либо настройке; готовые bat файлы требуют небольшой доработки файлом (я указал полные пути к ffprobe и ffmpeg, а также поместил их в папку с исполняемым файлом cygwin1.dll).
Полученные данные были импортированы в Excel и превращены в красивые и не очень графики.
Файлы FFV1 также были конвертированы в mp4 с кодеком h265 (чтобы минимизировать размер файла при сохранении максимальной детализации) с отключенным VBR 25000 кбит/с и SAO в надежде на достижение адекватного качества.
↑ Вернуться к содержанию 2. Отбор материала для тестирования В этой статье мы рассматриваем различные примеры: фрагменты из сериала в разрешении 1080Р, рисованную анимацию и даже видео 4К, снятое на профессиональную камеру с целью получения объективных результатов для различных случаев использования рассматриваемых программ.
.
Были обработаны следующие типы видео:
- Сцена из сериала " Лицо, представляющее интерес ", S02E20, интро: много компьютерной графики, много движения и смены кадров.
- Сцена из одного и того же эпизода сериала: мало движения, несколько смен кадров и много деталей на заднем и переднем плане, от ветвей деревьев до деталей лиц.
Обе сцены взяты из одного файла с разрешением 1920х1080 (Full HD), кодек H.264, битрейт — 12664 кбит/с.
Это довольно хорошее стартовое качество для серии.
Результат апскейла сравнивался с файлом, увеличенным с помощью простой билинейной интерполяции (он указан в списке как ссылка).
- Пример видео с сайта RED.com : Real 4K HD (3840x2160), снято со скоростью 120 кадров в секунду.
Видео было уменьшено до 1920x1080 с помощью Lanczos, а затем увеличено до 4K с помощью перечисленных выше программ.
Частота кадров снижена до ~24 кадров в секунду.
Результат сравнивался с исходным файлом, конвертированным из RED-файла в уже знакомый нам FFV1 (ffmpeg отказывается работать с RED-файлами).
- Рисованная анимация" Священная книга оборотня ", скачано с YouTube, искусственная тряска "камеры", много изменений в планах.
Исходный файл в разрешении 1280х720, WEBM-контейнер, кодек VP9, битрейт 1556 кбит/с.
Это очень низкое качество, но довольно распространенное на YouTube.
Изучим каждый из методов апскейлинга чуть подробнее:
- Красный Гигантский Стрелок Мгновенный 4K 13.1.5
Платно: да (99 долларов).
Интеграция с Adobe Premiere (не требует разложения видео на кадры): да.
Настройки качества: Тип фильтра - Лучшее, Резкость 2, Качество 25 (максимум), Сглаживание 6. Это стандартные настройки, за исключением Качества - оно было выставлено на максимум вручную.
Время обработки 914 кадров INTRO: 532 секунды (в 11 раз дольше, чем при обычном экспорте).
Метод апскейла: неизвестно («интеллектуальные алгоритмы»)
Интерфейс плагина Instant 4K в окне программы Adobe Premiere 2019, в левом верхнем углу.Выберите целевое разрешение (можно указать свое), выберите тип фильтра (не вижу смысла выбирать что-то кроме Best), измените или оставьте Sharpness (резкость), Quality (качество) и Anti-Aliasing (сглаживание) стандартными.
, затем экспортируйте видеофайл и наслаждайтесь результатом.
Работает довольно быстро, практически не нагружает GPU и CPU больше, чем обычный экспорт. Неделю назад это был мой стандартный плагин для масштабирования видео.
Он вносит в детали картинки изменения, не характерные для простых математических фильтров, так что это, скорее всего, ИИ.
Он занимает второе место по скорости.
Позволяет увидеть результат перед рендерингом видео и настроить параметры.
Для плавного воспроизведения требуется расчет; изменения видны в окне просмотра через пару секунд после изменения настроек.
- Фильтр Ланцоша (известный многим как Ланцош).
Платно: нет. Интеграция с Adobe Premiere (не требует разложения видео на кадры): да, включено в плагин Вукодер .
Настройки качества: нет. Время обработки 914 кадров INTRO: 54 секунды (в 1,13 раза дольше обычного экспорта), без учета времени конвертации видео в отдельные кадры и последующего микширования кадров обратно в видео.
Высококлассный метод: без искусственного интеллекта.
Пример строки для масштабирования видеофайла из Windows:
ffmpeg -framerate 23.976 -i input.mp4 -vcodec ffv1 -pix_fmt yuv420p -level 3 -g 1 -vf scale=3840:2160 -sws_flags lanczos+full_chroma_inp -r 23.976 lanczos.mkv
Предварительного просмотра нет, как и настроек.Возможна работа напрямую с видео, не разбивая его на кадры.
Отлично работает с ffmpeg. Работает быстрее всех остальных, только на процессоре.
- Сохранение деталей Adobe Photoshop 2.0
Платно: да.
Интеграция с Adobe Premiere (не требует разложения видео на кадры): нет. Настройки качества: есть опция «Уменьшить шум», выставлена на 100%, так же, как и автор статьи.
Время обработки 914 кадров INTRO: 3840 секунд (в 80 раз дольше, чем при обычном экспорте), без учета времени, необходимого для преобразования видео в отдельные кадры и последующего микширования их обратно в видео.
Высококлассный метод: неизвестен.
Требует первоначальной настройки в виде создания шаблона «открыть файл – изменить размер – сохранить файл»; тратит много времени на непосредственное открытие файлов и их сохранение: влияет выбранный формат кадра - PNG, он работает на процессоре.Предпоследний по скорости.
Позволяет просмотреть полученный результат перед увеличением изображения и его сохранением.
У неопытного пользователя могут возникнуть проблемы с изменением цветового пространства: после сохранения изображения перепроверьте цветовой профиль, сравните цвета исходного изображения и апскейла.
Скорее всего, вам подойдет цветовой профиль sRGB IEC61966-2.1.
- Топаз Гигапиксельный AI
Платно: да (99 долларов).
Интеграция с Adobe Premiere (не требует разложения видео на кадры): нет. Настройки качества: «Подавить шум» и «Удалить размытие».
Кроме того, можно включить или отключить «ИИ-модели максимального качества».
Эти модели включены в наше сравнение.
Время обработки 914 кадров INTRO: 7680 секунд (в 160 раз дольше, чем при обычном экспорте), без учета времени, необходимого для преобразования видео в отдельные кадры и последующего микширования кадров обратно в видео.
Высококлассный метод: AI.
Достаточно приятный интерфейс с предпросмотром результата, имеет полноценный триал на 30 дней, сильно нагружает видеокарту и по сути работает только на ней.При желании можно запустить его на процессоре.
По сравнению с остальными он самый медленный.
- Waifu2x с профилем UpResNet10
Платно: нет.
Интеграция с Adobe Premiere (не требует разложения видео на кадры): нет.
Настройки качества: доступны для Windows. waifu2x-кафе , позволяет выбрать профиль и настроить силу шумоподавления (Выкл.
/1/2/3).
Мы экспериментально выбрали профиль UpResNet10 как показывающий лучший результат. Шумоподавление установлено на АВТО 1. Время обработки 914 кадров INTRO: 879 секунд (в 18 раз дольше, чем при обычном экспорте), без учета времени на преобразование видео в отдельные кадры и последующее микширование кадров обратно в видео.
Высококлассный метод: AI.
Простой интерфейс, работает на GPU, при первоначальной настройке могут возникнуть дополнительные трудности (пришлось установить cuDNN, это заняло 10-15 минут времени).При желании можно запустить его на процессоре.
Средний по скорости, опережая только Photoshop и Topaz.
Предлагайте свои варианты в комментариях! ↑ Вернуться к содержанию
4. Наконец переходим к просмотру видео:
4.1 Файл 1: «ВВЕДЕНИЕ»:
Первый отрывок: компьютерная графика.
Кадр из сериала, масштабированный с помощью билинейной интерполяции и уменьшенный до 720P для предварительного просмотра.
Основные отличия: качество обработки текста и меток на карте, включая сетку по всему кадру, а также сохранение формы «прицела» в центре кадра.
Результаты JPEG Мгновенное разрешение 4K , Ланчош , фотошоп , Топаз , Waifu2x с профилем UpResNet10 И оригинал.
Анимированное сравнение: MP4 H.264 , ВЕБП .
Также доступны как файлы, так и оригинальные рамки в формате PNG. Здесь .
Я рекомендую просматривать видео и кадры локально, а не со страницы Google Диска.
Доступны полноразмерные образцы 4K в кодеке H.265. Здесь (~100 МБ каждый).
Анимированное сравнение центра кадра: MP4 H.264 , ВЕБП .
Начнем с достопримечательности в центре.
Красный квадрат: обратите внимание на поведение двух пересекающихся линий.
Поскольку мы (кое-где) имеем дело с ИИ, то ищем нежелательные искажения.
Instant 4K внес в этот квадрат довольно сильные изменения, за что получает от меня минус в карму.
Все остальные методы вели себя примерно одинаково, причем наиболее четкие результаты показал Photoshop. Топаз находится на втором месте.
UpResNet10, к сожалению, заметил артефакты сжатия и любезно решил их увеличить.
Ланцос на самом деле ничем не отличается от обычного увеличения.
Синий квадрат: следим за формой кругов, надеясь на максимально гладкий круг.
В Instant 4K повторно добавили приколы и сгладили круг, удалив зазор внизу.
Однако на этот раз от меня это получает плюс.
Однако лучшие результаты дает Photoshop. UpResNet10 отображал слишком много деталей (сетки) поверх круга, что можно воспринимать как артефакты.
Сравнение анимированного текста: MP4 H.264 , ВЕБП .
Перейдем к тексту: Ланцош сделал его жирнее, за что и получает минус.
UpResNet10 снова подсел на сетку и снова показывает себя хуже конкурентов.
Больше всего мне понравился текст, который дала Топаз.
Однако он примерно равен результатам других методов – это дело вкуса.
Те, кто готов простить Instant 4K за «продумывание вещей», возможно, будут более всего удовлетворены текстом, который он создает; остальное, думаю, поделят между Топазом и Фотошопом.
Последний, на мой вкус, все же немного мыльный.
Анимированное сравнение сетки на карте: MP4 H.264 , ВЕБП .
Последняя точка – это сетка на карте.
Здесь все выступили более-менее одинаково, за исключением двух отличников — UpResNet10 и Topaz. Топаз убил целую кучу точек и почти все детали.
UpResNet10, наоборот, выявил точки, где раньше они были практически незаметны.
Лично меня оба этих варианта не устраивают, поэтому победу «по очкам» я делю между Instant 4K и Photoshop. В общем, на карте статической компьютерной графики победителем является Photoshop, второе место у Instant 4K, третье место у UpResNet10 (нам все равно хочется больше деталей от 4K, и оно нам их дало, хоть и сомнительного качества).
Топаз убил слишком много деталей, а Ланцос просто слишком мало отличается от билинейной интерполяции.
Давайте посмотрим на следующий кадр: средняя анимация с движением.
Кадр из сериала, масштабированный с помощью билинейной интерполяции и уменьшенный до 720P для предварительного просмотра.
Результаты JPEG Мгновенное разрешение 4K , Ланчош , фотошоп , Топаз , Waifu2x с профилем UpResNet10 И оригинал.
Анимированное сравнение: MP4 H.264 , ВЕБП .
Также доступны как файлы, так и оригинальные рамки в формате PNG. Здесь .
На первый взгляд картина ожидаемая: все варианты, кроме Lanczos, выдают более четкое изображение.
Особое внимание мы уделим деталям Топаза, потому что он больше всего изменил картину.
Изучим реального, а не нарисованного актера, и детали его одежды, а также текст. Сравнение анимационных актеров: MP4 H.264 , ВЕБП .
Что касается актера, то здесь различия действительно минимальны: хотя в прошлый раз UpResNet10 отображал (иногда ненужные) детали, которые раньше было трудно рассмотреть, на этот раз он лишь увеличил резкость диагональной сетки снизу.
Различия между Photoshop, Lanczos и Instant 4K действительно нужно искать под лупой; даже 400% увеличения недостаточно, чтобы заметить различия.
В целом Photoshop и Instant 4K позволили получить немного более четкие изображения.
Instant 4K снова занимается самодеятельностью — на Красной площади у актера поменялся воротник рубашки.
Однако какая-либо реальная разница от простого увеличения заметна только у Топаза: уменьшился цветовой шум вокруг полос, а также это единственная программа, у которой есть увеличение резкости в синем квадрате.
Сравнение анимированного текста: MP4 H.264 , ВЕБП .
Перейдем к тексту: здесь Photoshop уступил всем остальным способам увеличения и выдал изображение, идентичное Ланцошу.
UpResNet10 и Instant 4K добавили резкости, но также добавили немного «затычки» в форму букв.
Топаз снова выдал максимально четкое изображение, подчеркнув неровности букв (хорошо это или плохо – решать вам) и незначительные артефакты сжатия.
Цветовой шум снова уменьшен, а большие буквы сверху не подходят для других методов увеличения.
Последний кадр из сегмента: кадр из сериала с наложенной поверх него компьютерной графикой.
Кадр из сериала, масштабированный с помощью билинейной интерполяции и уменьшенный до 720P для предварительного просмотра.
Результаты JPEG Мгновенное разрешение 4K , Ланчош , фотошоп , Топаз , Waifu2x с профилем UpResNet10 И оригинал.
Анимированное сравнение: MP4 H.264 , ВЕБП .
Также доступны как файлы, так и оригинальные рамки в формате PNG. Здесь .
Анимированное сравнение лица актера: MP4 H.264 , ВЕБП .
Мы увеличим только лицо актера справа: Топаз очень хорошо повысил резкость изображения и выделил сетку, в результате чего лицо актера стало очень четким.
Instant 4K и UpResNet10 сделали то же самое, но убрали меньше размытия.
Photoshop им тоже проиграл, обогнав только Ланцоша.
В целом ни одна деталь не была потеряна, а Instant 4K не внес ненужных изменений.
По итогам трех выбранных кадров для меня победителем стал Топаз.
Несмотря на кучу потерянных деталей в первом фрейме, он восстановился в двух последних.
Второе место занял Instant 4K, который, несмотря на незначительные изменения, добился более или менее стабильной резкости на всех трёх кадрах.
Третий — для UpResNet10. На первом кадре я показал картинку, которая мне не понравилась, но на последних двух она показала хороший прирост резкости.
Photoshop начал хорошо работать в первом кадре, но в последних двух был почти неотличим от обычного масштабирования.
Ланцос без повышения резкости почти ничем не отличается от билинейной интерполяции на всех трёх кадрах.
Посмотрим, что по этому поводу говорят MITSU и VMAF: 
Результат анализа MITSU (полный размер) , Размытие и Шум: чем меньше, тем лучше.
Результат анализа VMAF (полный размер) , больше, тем лучше.
MITSU сообщает, что кадры, обработанные Topaz, содержат наименьшее количество размытия.
Однако все остальные методы масштабирования, включая Lanczos, показали улучшение показателя Blur и преодолели порог в 5 баллов, цифры ниже которого говорят нам об отсутствии ненужного размытия в видео.
То есть все методы апскейлинга улучшили четкость изображения.
Что касается шума, то картина обратная – наименьший шум у исходной картинки, у Топаза больше всего шумов.
В принципе это логично, потому что:
- Некоторые из шумов действительно могли быть неправильно классифицированы всеми программами как части и «улучшены».
- Некоторые детали изображения могут быть распознаны MITSU как шум.
Поскольку шум на всех кадрах существенно ниже заметного, будем судить по индикатору Blur. Что касается VMAF, то здесь все графики в основном находятся на максимальном значении — 100. Однако на графике VMAF мы видим просадки — те, что, например, у Instant 4K и Topaz имеют одинаковый вид — ниже опускается только Topaz. В середине графика Instant 4K сменяется UpResNet10, который немного падает вместе с Topaz. Здесь последний показывает падение значения VMAF до 77, а в конце графика Фотошопа это значение падает аж до 0. При этом на этих кадрах не видно никаких видимых различий, артефактов или «глюков».
Итак, алгоритмы распределили программы следующим образом: на первом месте UpResNet10, на втором месте Instant 4K, на третьем — Photoshop. «Оригинальный» файл FFV1 MKV 1080P, для тех, кто хочет провести собственные эксперименты или повторить мои, можно скачать Здесь .
4.2 Файл 2: «Сцена 1»
Второй отрывок: сцена без компьютерной графики, деталей лица и фона.Основные отличия: Детали фона, детали лиц, артефакты на них.
Кадр из сериала, масштабированный с помощью билинейной интерполяции и уменьшенный до 720P для предварительного просмотра.
Результаты JPEG Мгновенное разрешение 4K , Ланчош , фотошоп , Топаз , Waifu2x с профилем UpResNet10 И оригинал.
Анимированное сравнение: MP4 H.264 , ВЕБП .
Также доступны как файлы, так и оригинальные рамки в формате PNG. Здесь .
Доступны полноразмерные образцы 4K в кодеке H.265. Здесь (~97 МБ каждый).
Анимированное сравнение деревьев: MP4 H.264 , ВЕБП .
Для начала посмотрим на фон, а точнее на деревья: Instant 4K и Теги: #Машинное обучение #Работа с видео #искусственный интеллект #photoshop #ffmpeg #upscale #4k #Premiere #lanczos #lanczos #AI Gigapixel #UltraHD #Enhance #Topaz #Instant 4K #waifu2x
-
Почему Falcon 9Ft — Шедевр
19 Oct, 24
