Отчет стартапа, разрабатывающего приложение для улучшения фотографий на iPhone
iPhone XS vs iPhone X – изменения в камере на аппаратном уровне
В последней версии нашего приложения мы добавили новую функцию, которая отображает подробную информацию о возможностях камеры вашего телефона.
Первые пользователи iPhone XS поделились с нами этой информацией, что позволило нам подробно описать характеристики оборудования.
Благодаря анализу мы можем дать более подробный обзор того, что нового в камере iPhone XS, и больше подробностей о ее технических возможностях, чем Apple была готова раскрыть на презентации.
Это именно аппаратные характеристики — несмотря на то, что Apple в основном сосредоточилась на программных улучшениях, таких как Smart HDR и новый портретный режим.
Что нового?
Обновленный дизайн широкоугольных объективов.
Объективы iPhone XS и XS Max, которые используются для большинства снимков, были переработаны и теперь имеют фокусное расстояние, эквивалентное 26 мм.
Это на 2 мм меньше, чем у предыдущих моделей iPhone 8 Plus и iPhone X, которые имели широкоугольные линзы 28 мм.
Пользователь нашей программы и iPhone XS прислал нам фотографию, на которой видна разница:
Новый датчик
Наше приложение не может сообщить вам размер сенсора, но все данные указывают на то, что в iPhone XS установлен новый сенсор.Джон Груббер подтвердил, что новый сенсор iPhone XS на 30% больше — а Apple утверждает, что размер пикселя нового сенсора широкоугольной камеры теперь составляет 1,4 микрона, что на 0,2 микрона больше, чем у предыдущих.
Увеличьте время экспозиции до 1 секунды.
iPhone XS и XS Max способны выдерживать выдержку в одну секунду.
Предыдущие iPhone могли удерживать выдержку до 1/3 секунды.
Эта способность позволит вам делать всевозможные крутые фотографии с длинной выдержкой.
Увеличение диапазона ISO
Новый сенсор — новый диапазон ISO, немного шире, чем у iPhone XS. ISO теперь расширен от ISO 24 до ISO 2304, что обеспечивает немного большую чувствительность при слабом освещении.Лучший сенсор предыдущего iPhone давал только 2112 ISO. Телеобъектив увеличил ISO на 240, теперь его максимальное значение составляет не 1200, а 1440, что говорит о небольших корректировках сенсора.
Возможно, это означает, что при том же уровне освещенности мы увидим меньше шума.
Минимальные изменения воздействия
Увеличилась минимальная длительность экспозиции: на широкоугольной камере и телеобъективе это значение изменилось с 1/91000 с до 1/22000 с и 1/45000 с соответственно.Непонятно, что из этого следует — надо протестировать.
Сравнение полных списков технических деталей:
Изменения в программе
Мне было интересно, почему презентация Apple сосредоточилась на изменениях в программном обеспечении камеры, а не в аппаратном обеспечении.Протестировав камеры iPhone XS, я понял почему.
У iPhone XS не просто больше сенсор: у него полностью переработанная камера, и самым большим изменением является использование компьютерной фотографии.
Умная камера
Apple умна.Они видят, что размещение все большего количества электроники в датчике размером с ноготь дает все меньше и меньше результатов.
Фотография — это наука о захвате света, ограниченная оптикой и физикой.
Единственный способ обойти законы физики - это " компьютерная фотография «Мощные чипы современных iPhone позволяют компании делать несколько фотографий — некоторые из которых делаются еще до того, как вы нажмете кнопку спуска затвора, — и объединять их в одну идеальную фотографию.
iPhone XS будет делать фотографии с высокой и низкой выдержкой, делать быстрые снимки, чтобы заморозить движение и сохранить четкость по всему кадру, и даже брать лучшие части всех этих снимков для создания единого изображения.
Это то, что вы получаете от камеры iPhone XS, и именно это делает ее такой эффективной в ситуациях, когда вы обычно теряете детали из-за смешанного освещения или сильного контраста.
Это не маленькая настройка Auto HDR на iPhone X. Это совершенно новая функция, существенно отличающаяся от всех предыдущих фотографий iPhone. В каком-то смысле совершенно новая камера.
Что это за «мягкий фильтр» для селфи?
Не существует. Я не хочу сказать, что люди что-то придумывают, чтобы прорекламировать себя на YouTube, но утверждениям из Интернета не следует слепо верить.Люди думают, что iPhone XS смягчает имидж по двум причинам: Улучшенное, более агрессивное шумоподавление за счет объединения разных экспозиций.
Объединение экспозиций снижает резкость за счет устранения контраста между светом и тенью, возникающего на разных участках кожи.
Важно понимать, как мозг воспринимает ясность и как художники делают вещи более четкими.
Это не работает так, как в ситкомах вроде CSI, где детективы кричат «улучшайтесь!» на экран.
Вы не можете добавить недостающие детали.
Однако вы можете обмануть мозг, добавив небольшие области контраста.
Проще говоря, темная или светлая рамка рядом с контрастной светлой или темной формой.
Локальный контраст делает предметы более резкими.
Чтобы улучшить контраст, сделайте светлые области ближе к границе светлее, а темные области ближе к границе — темнее.
iPhone XS объединяет изображения с разной экспозицией, уменьшает яркость светлых участков и делает тени менее темными.
Детали остаются, но нам кажется, что изображение менее контрастно, поскольку теряется локальный контраст. На фотографии выше кожа выглядит более гладкой, потому что свет не такой резкий.
Наблюдательные люди заметят, что это влияет не только на кожу.
Грубые текстуры и почти все темное — от кошек до углей — выглядят более гладкими.
Это работает для уменьшения количества шума.
iPhone XS делает это более агрессивно, чем предыдущие iPhone.
Зачем нужно снижать шум?
Протестировав iPhone XS вместе с X, мы обнаружили, что XS предпочитает более короткую выдержку и более высокий уровень ISO. Другими словами, он фотографирует быстрее, но при этом возникает шум.
iPhone X в формате RAW
iPhone XS в формате RAW
В формате RAW видно, что у iPhone XS (справа) гораздо больше шума.
В этом формате нет удаления шума.
Почему рама XS должна быть такой шумной?
Помните ту презентацию с последовательностью кадров, показывающую, как работает камера iPhone?
Если у вас нет бионического протезирования, вы не сможете долго держать телефон, не двигаясь.
Чтобы получить четкие и идеально выровненные изображения в таком количестве, iPhone должен делать фотографии очень быстро.
Для этого потребуется более высокая выдержка – а значит, шума на изображении будет больше.
Его надо как-то удалять, и это накладывает свои ограничения: вместе с шумом удаляются некоторые детали и локальный контраст.
iPhone XS RAW — детали в отражении «более плавные»
Умный HDR
Но в целом селфи становятся более гладкими, особенно лица!
Да.
Аппаратная часть фронтальной камеры при слабом освещении работает хуже, чем основная.
Селфи-камера оснащена небольшим сенсором размером с ноготь на мизинце, поэтому внутрь попадает меньше света, а это означает больше шума и более эффективное удаление шума.
В результате изображение становится более плавным, а Smart HDR в сочетании с конвейером вычислительной фотографии сглаживает его больше, чем раньше.
Обратная сторона медали заключается в том, что селфи, которые обычно получаются хуже при смешанном или резком освещении (а это большая часть освещения), больше не размыты и в большинстве случаев выглядят лучше, просто немного более плавными.
Хорошей новостью является то, что Apple может немного изменить это, если люди сочтут сглаживание слишком сильным, но, поскольку это компромисс между плохим освещением с шумом и слишком сильным сглаживанием, имеет смысл, что версия 1.0 будет склоняться в сторону сглаживания.
По поводу утверждений, что программа по-особому относится к лицам: сфотографировал лимон, грубую бумагу и сделал селфи, причем уровень сглаживания везде был одинаковый.
Так камера iPhone XS хуже?
Нет, его камера не хуже, чем у iPhone X. У iPhone XS камера лучше.У него более широкий динамический диапазон, но это связано с некоторыми программными компромиссами.
Если вам не нравится делать что-то новомодным способом, не волнуйтесь.
Подобную фотографию нельзя было сделать на предыдущих iPhone.
То, что делает Apple, лучше почти во всех случаях: обычные пользователи получат более качественные фотографии, с большей детализацией в свете и тенях, без какого-либо редактирования.
Профессионалы смогут восстановить контраст, слегка отредактировав фотографии; обратное уже не получится: в контрастном изображении уже теряются детали.
Теперь вы можете делать селфи и фотографии при резком освещении, божественном освещении или другом не сглаживаемом освещении и получать приемлемые результаты.
Это прямо волшебно! Есть только две небольшие проблемы.
Проблема подлинности
Камеры все больше превращаются из простых инструментов в «умные устройства», которые используют различные сложные операции для объединения нескольких изображений в одно, и мы задаемся вопросом, смотрим ли мы на «неотредактированное» изображение.
Возьмите эту фотографию национального парка Йосемити:
Оно было отредактировано.
Чтобы правильно проэкспонировать пейзаж, фотограф использовал длинную выдержку.
Тогда я снимал звезды с меньшей выдержкой, иначе они бы превратились в следы.
Затем я объединил две фотографии в одну.
Технически говоря, это подделка.
Вернемся к iPhone: Smart HDR берет разные экспозиции и объединяет их вместе, чтобы выявить больше деталей в тенях и светлых участках.
В этом есть определенная доля фальши.
Фотолюбители могут с этим не согласиться.
iPhone XS, Smart HDR
айфон хз
айфон х
Без Smart HDR очень сложно сделать HDR вручную, чтобы изображение не выглядело фальшивым.
Есть целый субреддит , посвященный дерьмовому HDR. Среднее изображение с отключенным Smart HDR по-прежнему имеет большой динамический диапазон, но не выглядит автоматически исправленным.
Вот как сейчас работает камера на iPhone. Я готов поспорить, что в будущем это будет работать именно так.
Да, и это относится к видоискателю любого приложения для фотографии.
Apple улучшает динамический диапазон «на лету», прямо в видео, поэтому вы всегда будете видеть «измененное» изображение.
Проблемы с RAW
С практической точки зрения проблемы начинаются здесь: iPhone XS экспонирует совершенно иначе, чем iPhone X. И это имеет огромное значение при съемке в формате RAW. Давайте сделаем этот снимок:iPhone X в формате RAW
iPhone XS в формате RAW Вы сразу заметите, что вторая фотография переэкспонирована.
Как только вы начнете редактировать RAW-файл iPhone XS, вы заметите, что основные моменты изображения были потеряны.
Углубившись в детали, вы увидите вторую проблему: iPhone X экспонировался с выдержкой 1/60 с и ISO 40, а iPhone XS — с выдержкой 1/120 с и ISO 80. Мы подозреваем, что для того, чтобы получить лучшую фотографию для Smart HDR, камера просто должна использовать меньшую выдержку и более высокие значения ISO. Мы делаем приложение для камеры, позволяющее делать фотографии в формате RAW, так что это очень плохо.
RAW не только не выигрывает от объединения нескольких фотографий, но и фотографии iPhone получаются очень шумными при ISO 200. Это шаг в неправильном направлении.
Ситуацию усугубляет то, что шум сенсора iPhone XS немного более активный и цветной, чем у iPhone X.
Такой шум не так-то просто убрать при постобработке.
Это не та зернистость мягкой пленки, которую мы видели на iPhone X и iPhone 8 в формате RAW. Сегодня оказывается, что если снимать в формате RAW на iPhone XS, то придется переходить в ручной режим и уменьшать экспозицию.
В противном случае ваш RAW получится хуже, чем JPEG из Smart HDR. Этим страдают все сторонние приложения камеры.
Как ни странно, файлы RAW с iPhone X выглядят намного лучше, чем файлы с iPhone XS.
Наше решение: Smart RAW
К счастью, это можно изменить.После выпуска iPhone XS мы работали по ночам и выходным, чтобы найти решение, позволяющее максимально эффективно использовать большой сенсор и его более глубокие пиксели.
Мы создали Smart RAW — функцию, которая использует преимущества новой сенсорной технологии iPhone XS и позволяет делать фотографии в формате RAW лучшего качества, чем iPhone X. Smart RAW не использует какие-либо функции Smart HDR — фактически, он избегает их, поэтому вам практически не нужно их использовать.
убрать шум.
Теперь, когда мы преодолели проблемы с экспозицией iPhone XS, в файлах Smart RAW можно найти удивительное количество деталей.
Давайте посмотрим фото с концерта «Аптечка» и сравним варианты со Smart RAW и без него:
Без Smart RAW
Умный RAW
Гораздо лучше, чем на iPhone X. Вот несколько сравнений изображений RAW, снятых с iPhone XS и iPhone X.
Результаты потрясающие: меньше шума, больше деталей.
Лучшая особенность Smart RAW: благодаря точной настройке сенсора iPhone XS мы получаем изображения более высокого качества, чем когда-либо прежде.
При переходе с iPhone X на iPhone XS наблюдается удивительное увеличение разрешения и качества.
Smart RAW против Smart HDR
Вам может быть интересно, чем эта функция отличается от Smart HDR, поскольку съемка в формате RAW означает отсутствие HDR. Я сделал фотографию со сложными условиями экспозиции, используя Smart HDR и наш новый RAW:Умный HDR
СЫРОЙ Без редактирования они получаются практически идентичными; возможно, Smart HDR немного лучше.
Но RAW — это только отправная точка.
Вот те же фотографии после обработки:
Умный HDR
RAW после редактирования
Мы не получили тот же динамический диапазон, что и Smart HDR — обратите внимание, как небо там становится голубее — но мы подошли довольно близко.
Мне нравится, что RAW выглядит лучше после редактирования — утром еще немного.
Но главное преимущество: детали.
Я предпочитаю снимать в формате RAW из-за четкости деталей, а iPhone XS с более крупными пикселями обеспечивает больше деталей, чем раньше.
Отличным примером являются листья дерева вверху справа:
И это происходит с большинством фотографий.
Съемка в формате RAW означает, что вам придется работать над кадром позже, но результаты часто того стоят. Конечно, на этом изображении много света — вам нужно проверить, что получится после захода солнца.
В условиях низкой освещенности есть компромисс.
Чем меньше света, тем больше шума.
iPhone XS вместе с Smart HDR в стандартном приложении для съемки неплохо справляется с такими фотографиями, но порой выдает не самые четкие фотографии.
Фотографии с недостаточным освещением всегда будут иметь много шума.
Smart HDR агрессивно скрывает это, теряя детализацию.
Если вам нужно больше деталей и вы не против небольшого шума, попробуйте Smart RAW:
Слева — Halide Smart RAW, справа — iPhone Smart HDR
В тенях присутствует шум, а кожа выглядит более грубой из-за меньшего размытия светлых и темных участков, но детализация потрясающая по сравнению с изображениями, снятыми в обычном режиме.
Smart RAW все еще находится в режиме тестирования, и потребуется собрать множество фотографических доказательств того, что он отлично работает во всех ситуациях.
Полученные результаты
У iPhone XS совершенно новая камера.Это не просто другой сенсор, это совершенно новый подход к фотографии, новый для iOS. Поскольку она так сильно полагается на объединение экспозиции и компьютерную фотографию, ее изображения могут сильно отличаться от изображений, снятых в тех же условиях на других iPhone. Но поскольку, в отличие от предыдущих камер, ее качественные преимущества основаны на программном обеспечении, то можно ожидать доработок и изменений.
Это всего лишь первая версия iOS 12 и Smart HDR. Нам, разработчикам, необходимо обновлять приложения, чтобы в полной мере использовать преимущества нового сенсора iPhone XS и XS Max. Поскольку он настолько отличается, с ним нельзя обращаться как с любым другим сенсором iPhone, иначе вы получите неудовлетворительные результаты.
Если вас не слишком устраивают некоторые аспекты этого дивного нового мира компьютерной фотографии или обработки изображений Apple, вы можете отключить активную обработку HDR в настройках камеры или снимать в формате RAW. Чтобы отключить его, перейдите в «Настройки» → «Камера» и отключите там Smart HDR. После этого откройте камеру и в верхнем меню появится новая настройка HDR. Нажмите на него, чтобы отключить HDR. Теги: #iOS #Фотография #Смартфоны #iphone #Обработка изображений #фотография #halide
-
Памятка По Api Jquery 1.4
19 Oct, 24