Дмитрий Лаврик: PHP парсеры - полный курс в записи

Автор: Дмитрий Лаврик
Дорогие друзья, предлагаю вашему вниманию полный курс по PHP-парсерам в записи! За два месяца мы разобрали множество полезных и увлекательных тем.
Вот ключевые из них:

• CURL: основы и хитрые приёмы
  
• Куки, авторизация, антикапча
  
• Правильная организация стадий парсинга
  
• PHPJqueryDOM и нативный класс-парсер
  
• Ускорение работы строковых ключей в БД (целочисленная хеш-техника)
  
• JS-морда — динамическая статистика вместо зависшего надолго PHP-скрипта
  
• Парсинг картинок с bing по ключевикам
  
• Модуль уникализации скачанных изображений
  

Подробная программа курса Урок 1
Умный CURL

• CURL — принципы работы
  
• Создание класса обёртки
  
• GET и POST запросы
  
• Работа с HTTPS
  
• Работа с куками
  
• Эмуляция всех заголовков браузера
  
• Фокусы keep alive
  
• Проксирование в теории
  
• Анализ заголовков
  
• Следование за редиректами
  

Урок 2
Организация парсинга

• Конфигурационные файлы для CURL
  
• Нативный парсинг
  
• MoveTo
  
• ReadTo
  
• ReadFrom
  
• Другие полезные функции
  
• Работа с PHPJqueryDOM
  
• Объекты и их свойства
  
• Селекторы и функции
  
• Сохранение результатов
  

Урок 3
Комбинированный парсинг

• Проблемы PHPJqueryDOM
  
• Доработка нативного класса
  
• Subtag
  
• Общая схема парсинга
  
• Разбор этапов парсинга
  
• Сохранение результатов в БД
  
• Класс-обёртка для PDO
  

Урок 4
Хранение скачанных данных

• Перенос данных в БД
  
• Таблица урлов: хорошее SEO + высокая скорость
  
• Нереальное ускорение - замыкаем урлы в кольцо чисел
  
• БД: хэш-таблица и коллизии
  
• Доработка класса БД
  
• Архитектурные изыски
  
• sender vs viewer
  

Урок 5
Фреймворк

• Организация PHP-классов
  
• Создание js-морды
  
• Две схемы: sender и viewer
  
• JS для ajax-парсинга
  
• JS для отображения статистики
  
• Плюсы и минусы каждой схемы
  
• Общая идея организации пауков
  

Урок 6
Противостояние

• Принцип работы капчи-картинки
  
• Пример создания простой капчи
  
• Антикапча
  
• Антикапча API
  
• Сохранение и передача изображения
  
• Ожидание и обработка результата
  
• Создание класса для антикапчи
  

Урок 7
Парсинг изображений

• Настройка парсера на bing
  
• Скачивание изображений
  
• Создание библиотеки для уникализации
  
• Работа с изображениями в PHP
  
• Освещение, обсцвечивание, сепия
  
• Отражение, повороты
  

Урок 8
Подведение итогов

• Доработка библиотеки для уникализации
  
• Приёмы уникализации
  
• Подведение итогов по темам
  
• Теория оценки рекламы
  
• Посетители * просмотры * CTR * стоимость
  
• Курс ещё не окончен
  
  
  
  

https://dmitrylavrik.ru/php-parser

Скрытая информация :: Авторизуйтесь для просмотра »