2700 участников из разных регионов России и мира, 150 спикеров, более десяти залов, 2 дня на крупнейшей площадке Сколково – это все о конференции Высокая загрузка++ , где мы с тобой можем встретиться.
У нас большой контингент в разных разделах; пройдут не только традиционные выступления, но и мастер-классы.
Мы составили для вас расписание выступлений от Mail.Ru Group — почти 18 спикеров! Мы поговорим о технологиях обнаружения и распознавания, создании базы данных и миграции без простоев, написании платформы потокового видео, защите от DDoS, что нового в Tarantool и многом другом.
Некоторые лекции и мастер-классы дублируют друг друга, но записи докладов традиционно выкладываются после конференции.
Или подключайтесь к трансляции, она тоже будет там.
7 ноября
Эдуард Тиантов , руководитель группы антиспама и компьютерного зрения Mail.Ru Group «Распознавание лиц: с нуля до штриха» , 15:00, зал Найроби+Касабланка Мобильное облако Mail.Ru уже использует технологию обнаружения и распознавания лиц для кластеризации фотографий.Также мы используем технологии распознавания во внутренних сервисах компании.
Основываясь на реальном опыте работы с нашей продукцией, Дуард расскажет вам:
- как научить нейросеть находить лица на фотографии и различать их;
- какие есть интересные аспекты дрессировки и хитрости;
- что нужно знать об оптимизации вычислений для работы с десятками миллионов запросов в день;
- заметил проблемы модели и наши решения.
Часть 2"
, 15:00, зал «Дели + Калькутта» Год назад Василий провел презентацию «Как и зачем создавать модуль NginX – теория, практика, прибыль».Тогда обо всех возможностях NginX рассказать не удалось.
и в этот раз не получится — слишком большая тема! Вместо всех возможностей, давайте сосредоточимся на вопросах, о которых мы не успели поговорить в прошлом году:
- как и зачем создавать восходящие модули;
- как правильно конвертировать контент, проходящий через модули;
- Общая память NginX — зачем она нужна и что с ней можно делать.
В проекте Mail.Ru Cloud, где у нас полторы тысячи машин, многомиллионная аудитория и сложная бизнес-логика, мы нашли ответы на следующие вопросы:
- Как писать логи, чтобы расследование инцидентов не превратилось в поиск иголки в стоге сена?
- Как собирать метрики, что случилось с проектом?
- Как добавить метрики в мониторинг, чтобы не узнать о проблемах вашего проекта от пользователей?
Дмитрий Соловьев , ведущий разработчик отдела рекомендаций Mail.Ru Group «Обнаружение атрибутов и визуальный поиск на фотографиях UGC одежды» , 17:00, зал Найроби+Касабланка Одно из самых высокотехнологичных направлений в электронной коммерции — рекомендации.
Алгоритмы, основанные на поведении пользователей или информации, извлеченной из текстов, зарекомендовали себя хорошо, но в области визуального поиска и визуальных рекомендаций нужно искать другие решения.
Дмитрий Соловьев расскажет, с чем мы столкнулись в процессе создания системы рекомендаций одежды на основе фотографий пользователей:
- как использовать сверточные нейронные сети при решении задачи поиска изображений;
- как можно быстро построить поиск изображений с помощью предварительно обученных нейронных сетей;
- как переобучение сети для извлечения атрибутов одежды помогает улучшить качество рекомендаций.
- классификация признаков одежды;
- обнаружение объектов;
- поиск похожей одежды;
- рекомендации по одежде на основе фотографий.
За 10 месяцев с нуля была разработана и внедрена новая система хранения сообщений, снявшая многие архитектурные ограничения.
Это гораздо более продуктивно и позволяет сэкономить миллионы долларов.
В начале 2017 года количество оборудования, используемого для раздела личных сообщений пользователей, сократилось вдвое (старый движок требовал увеличения в два раза).
Также значительная часть логики была перенесена из php-бэкенда в движок.
В основном зале HighLoad++ Дмитрий Егоров расскажет об архитектуре обоих движков личных сообщений, оптимизациях, выполненных небольшой командой за короткое время, а также подробно расскажет о самом сложном — миграции без даунтайма.
8 ноября
Юрий Невиницын, команда платформы «Одноклассники» «Как мы заставили Друида работать в Одноклассниках», 10:00, зал «Мумбаи» Однажды система статистики на базе MSSQL на 50 терабайт в Одноклассниках стала такой:- медленный (средняя скорость ответа была в несколько раз меньше требуемой);
- нестабильный (в час пик статистика отставала до получаса);
- дорого (лицензионная политика Microsoft изменилась; стоимость лицензии может составлять миллионы долларов).
На данный момент база данных обрабатывает десятки миллиардов записей в день (объемом в сотни гигабайт).
Юрий Невиницын расскажет, почему среди всех решений выбор пал на Друида.
Спойлер: высокая производительность, горизонтальная масштабируемость, отказоустойчивость.
Александр Тобол , разработчик видеоплатформы и новостной ленты «Одноклассники» «Мы пишем собственный протокол поверх UDP или платформу потокового видео с нуля до миллиона онлайн» , 11:00, Дели+Калькутта зал Сервис «Видео» в «Одноклассниках» занимает второе место в Рунете по просмотрам: более 400 миллионов просмотров видео ежедневно.
Пользователи не только смотрят видео, но и сами генерируют контент, в том числе с помощью стримингового приложения OK Live. В Одноклассниках решены следующие технические проблемы с потоками:
- гарантия задержки между стримером и зрителями на динамически меняющемся мобильном канале;
- непрерывная потоковая передача даже при потере части оборудования;
- нагрузка на серверы раздачи во время популярных трансляций.
С практической стороны отчет ответит на следующие вопросы:
- как оптимизировать задержку трансляции до времени, сравнимого со временем p2p-видеоконференции;
- как использовать протоколы hls, Dash, rtmp, webrtc;
- как настроить кодеки на клиенте и транскодере, чтобы минимизировать задержку;
- Проблемы с задержкой TCP;
- Пользовательский протокол UDP: измерение MTU, кардиостимулятор, шифрование потери пакетов, быстрая повторная передача.
Денис Линник , backend-разработчик медиапроектов Mail.Ru Group «Хранимые процедуры в СУБД NoSQL на примере Tarantool », 11:00, зал «Найроби + Касабланка» Денис Линник на примере Tarantool рассмотрит преимущества и недостатки подхода написания хранимых процедур для увеличения скорости обработки и получения данных.
Если рассматривать Tarantool как полноценный сервер приложений, то работающие в нем приложения можно рассматривать как микросервисы.
Хранимые процедуры на Lua (как и на C) в Tarantool позволяют реализовать сложную логику от агрегации больших объемов данных до авторизации OAuth2. В докладе подробно рассмотрены особенности и подводные камни написания хранимых процедур, а также вопросы профилирования и оптимизации кода.
Александр Христофоров , ведущий разработчик Одноклассников (команда платформы) «Дешевле, надежнее, проще.
Хранение петабайт видео и фото в ОК" , 12:00, зал «Дели + Калькутта» «Одноклассники» хранят десятки петабайт видеоданных и предоставляют доступ к ним на скоростях в сотни Гбит/с — для процессов требуется инфраструктура, состоящая из многих тысяч дисков и сотен серверов.
Раньше для обеспечения надежности данных и отказоустойчивости хранилось три реплики данных — по одной в каждом дата-центре.
Взрывной рост объемов загружаемого видеоконтента привел к решению разработать новую дешевую и надежную систему хранения данных.
Александр Христофоров расскажет, как ему удалось снизить избыточность хранения данных с 3 до 2,1 и при этом добиться более высокой надежности и доступности системы.
В отчете обсуждается простой и безопасный способ замены тысяч дисков.
Олег Анастасьев , ведущий разработчик Одноклассников (команда платформы) «Одно облако — система управления дата-центром в Одноклассниках» , 15:00, зал «Калининград» «Одноклассники» состоят из более чем 8000 аппаратных серверов в нескольких дата-центрах.
Каждая из машин была специализирована под конкретную задачу — обеспечить изоляцию отказов и автоматизированное управление инфраструктурой.
Однако стало ясно, что внедрение новой системы управления позволит более эффективно загружать оборудование, облегчит управление доступом, автоматизирует (пере)распределение вычислительных ресурсов, ускорит запуск новых сервисов и ускорит реакцию на запросы.
масштабные аварии.
Тезисы выступления Олега Анастасьева о системе управления облаком ДЦ:
- основные принципы, процессы и детали реализации облака Одноклассники;
- обеспечение отказоустойчивости самого облака и задач, которые оно выполняет;
- подход к изоляции задач и увеличению плотности использования технологий;
- реальная работа облака и задач в нем.
Никаких ASIC, никаких ограничений.
Решения NFWare для Одноклассников"
, 16:00, Мумбаи Холл Качественный и количественный рост DDoS-атак в последние годы делает их одной из первоочередных проблем.В зависимости от вектора атаки узким местом становится та или иная часть инфраструктуры.
В частности, при SYN-флуде первый удар приходится на систему балансировки трафика.
Успех в сопротивлении нападению зависит от его эффективности.
Андрей поделится опытом того, как «Одноклассники» и NFWare реализовали программный высокопроизводительный балансировщик нагрузки.
Он расскажет, как решение обеспечило пропускную способность до десятков миллионов CPS, превысив максимальные возможности даже многих аппаратных аналогов.
И о том, как это работает в сети одного из самых высоконагруженных проектов Рунета.
Кроме того, будут затронуты следующие темы:
- повышенная скорость за счет многоядерной архитектуры;
- выбор разработанного «с нуля» стека вместо обычного стека Linux;
- обеспечение отказоустойчивости решения при сохранении высочайшей производительности;
- повышение защиты от DDoS с помощью специально разработанных алгоритмов.
Артур Удалов , мейнтейнер библиотеки компонентов React в Почте Mail.Ru «Как разработать библиотеку компонентов, не сломав ее», 17:00, зал «Пекин+Шанхай» Команда Почты Mail.Ru выделила UI-компоненты в отдельную библиотеку и использовала ее в нескольких проектах, но столкнулась с проблемой: каждый разработчик, изменяя библиотеку под свои нужды, обязательно ломал то, что работало у других.
Нам удалось решить проблему – в этом отчете вы узнаете, как именно.
Артур Удалов расскажет о способах эффективной разработки и поддержки библиотеки компонентов во время командной работы в реальном проекте с использованием различных инструментов: Storybook, BackstopJS, Jest, Webdriver.io, TypeScript.
Мастер-классы
7 ноября
Роман Цисык , разработчик команды Tarantool «Тарантул.Как, зачем и почему?
, 11:00, зал А1.3 Роман Цисык расскажет вам, в чем секрет эффективности Tarantool как решения, когда его следует и не следует использовать.Тезисы выступления:
- горячие и холодные данные;
- СУБД и кэш;
- SQL и NoSQL;
- монолит и микросервисы;
- CRUD и CQRS;
- Тарантул и Redis.
- как Level0 работает в LSM;
- какие структуры данных из технологии in-memory используются;
- эффективность поддержки вторичного ключа в LSM Vinyl;
- управление слоями дерева LSM на диске, чтобы минимизировать объем используемого дискового пространства и уменьшить количество мусора.
Проблема быстрого доступа к текущим данным, находящимся в базе данных, была решена с помощью сервера приложений Tarantool. Пока приложение работает, мы получаем текущие данные из PgSQL и обновляем их сразу после изменений в PgSQL, что дает нам возможность всегда иметь в кеше актуальные данные в текущий момент времени.
В результате мы имеем умный кеш, который отслеживает свое состояние и сохраняет текущие данные.
Никита Петтик , разработчик команды Tarantool «SQL в Tarantool: принципы работы оптимизатора запросов», 17:00, зал А1.3 Транслятор SQL-запросов, встроенный в Tarantool, позволяет автоматически создавать квазиоптимальный план запроса для заданного запроса, сравнимый по производительности с оптимальным.
Это осуществляется с помощью набора оптимизирующих преобразований.
Никита Петтик расскажет, какие именно оптимизации присутствуют в SQL-трансляторе, какая информация поможет оптимизатору принять правильное решение при построении плана запроса и как хранить и собирать эти данные.
8 ноября
Кирилл Юхин , разработчик команды Tarantool «SQL в Tarantool: статус и планы» , 14:00, зал А1.3 Кирилл Юхин расскажет, что мы взяли за основу и с какими проблемами столкнулись при добавлении поддержки языка SQL в Tarantool. Он также покажет, чего уже удалось достичь с помощью SQL. Алексей Хацкевич , разработчик команды Tarantool «SQL в Tarantool: учимся читать EXPLAIN» , 16:00, зал А1.3 SQL-запросы могут выполняться несколькими различными способами, например:- на производительность принятого к исполнению плана запроса будет сильно влиять порядок продуктов операций соединения (если таковые имеются);
- подходящий индекс покрытия позволяет избежать полного сканирования таблицы.
Научившись понимать, что означают выходные данные этой команды, вы можете значительно улучшить свои навыки написания эффективных SQL-запросов.
Алексей Хацкевич расскажет, что такое вывод EXPLAIN в Tarantool, как его правильно читать и как использовать прочитанное.
На конференции будет проводиться прямая трансляция (платно), но мастер-классов не будет. Главный зал будет транслироваться публично - Здесь Вы можете бесплатно посмотреть две наши презентации: «Как написать сервис, поддержка которого не превращается в ад» от проекта «Облако Mail.Ru» и «Как переписать базу личных сообщений ВКонтакте с нуля и мигрировать на нее без простоев».
» Теги: #Высокая продуктивность #Процесс обучения в IT #tarantool #Анализ и проектирование систем #конференция #mail.ru #highload
-
Индикатор
19 Oct, 24 -
Почему…
19 Oct, 24 -
Гугл Вейв. Идеи На Будущее
19 Oct, 24 -
Системы Контроля Версий: Fossil, Часть I
19 Oct, 24
