- 29, Mar 2018
- #1
Автор: Дмитрий Лаврик
Дорогие друзья, предлагаю вашему вниманию полный курс по PHP-парсерам в записи! За два месяца мы разобрали множество полезных и увлекательных тем.
Вот ключевые из них:
- CURL: основы и хитрые приёмы
- Куки, авторизация, антикапча
- Правильная организация стадий парсинга
- PHPJqueryDOM и нативный класс-парсер
- Ускорение работы строковых ключей в БД (целочисленная хеш-техника)
- JS-морда — динамическая статистика вместо зависшего надолго PHP-скрипта
- Парсинг картинок с bing по ключевикам
- Модуль уникализации скачанных изображений
Подробная программа курса Урок 1
Умный CURL
- CURL — принципы работы
- Создание класса обёртки
- GET и POST запросы
- Работа с HTTPS
- Работа с куками
- Эмуляция всех заголовков браузера
- Фокусы keep alive
- Проксирование в теории
- Анализ заголовков
- Следование за редиректами
Урок 2
Организация парсинга
- Конфигурационные файлы для CURL
- Нативный парсинг
- MoveTo
- ReadTo
- ReadFrom
- Другие полезные функции
- Работа с PHPJqueryDOM
- Объекты и их свойства
- Селекторы и функции
- Сохранение результатов
Урок 3
Комбинированный парсинг
- Проблемы PHPJqueryDOM
- Доработка нативного класса
- Subtag
- Общая схема парсинга
- Разбор этапов парсинга
- Сохранение результатов в БД
- Класс-обёртка для PDO
Урок 4
Хранение скачанных данных
- Перенос данных в БД
- Таблица урлов: хорошее SEO + высокая скорость
- Нереальное ускорение - замыкаем урлы в кольцо чисел
- БД: хэш-таблица и коллизии
- Доработка класса БД
- Архитектурные изыски
- sender vs viewer
Урок 5
Фреймворк
- Организация PHP-классов
- Создание js-морды
- Две схемы: sender и viewer
- JS для ajax-парсинга
- JS для отображения статистики
- Плюсы и минусы каждой схемы
- Общая идея организации пауков
Урок 6
Противостояние
- Принцип работы капчи-картинки
- Пример создания простой капчи
- Антикапча
- Антикапча API
- Сохранение и передача изображения
- Ожидание и обработка результата
- Создание класса для антикапчи
Урок 7
Парсинг изображений
- Настройка парсера на bing
- Скачивание изображений
- Создание библиотеки для уникализации
- Работа с изображениями в PHP
- Освещение, обсцвечивание, сепия
- Отражение, повороты
Урок 8
Подведение итогов
- Доработка библиотеки для уникализации
- Приёмы уникализации
- Подведение итогов по темам
- Теория оценки рекламы
- Посетители * просмотры * CTR * стоимость
- Курс ещё не окончен
https://dmitrylavrik.ru/php-parser
Скрытая информация :: Авторизуйтесь для просмотра »
![[Дмитрий Шатров] Обработка пейзажа в Photoshop: приемы работы (2020)](/assets/images/icons/forum5.png){kind=icon}
![[V34][Sv_cheats 1]WallHack + SpeedHack + Вид от 3-го лица[.lua]](/assets/images/icons/forum7.png){kind=icon}
