Пару лет назад я сделал небольшой личный проект под названием «Агрегатор комиксов».
Суть проекта в том, что существует множество сайтов с комиксами, не имеющих RSS-каналов.
И мне было откровенно лень вручную проходить эти сайты и проверять наличие обновлений.
Поэтому был написан примитивный «паук», который сканировал сайты по расписанию, анализировал содержимое страниц и с помощью различных алгоритмов извлекал информацию об обновлениях и помещал эту информацию в базу данных, откуда другой скрипт — просмотрщик — генерировал RSS, Атом или HTML. Для доступа к сайтам было решено использовать PHP-модуль lib_curl. Можно было, конечно, обойтись простыми функциями вроде file_get_contents(), но эта функция не давала мне некоторых необходимых возможностей (например, получения http-статусов и заголовков), а wget у меня не было.
хостинг.
И я не знаю никаких PHP-модулей для него.
Покопавшись в документации к модулю, я решил, что есть смысл написать небольшую библиотеку, которая избавила бы меня от написания кучи рутинного кода, необходимого для работы с Курлой, а также предоставляла бы HTTP-ответы в виде удобного ООП.
интерфейс.
Примерно за неделю неспешного кодирования и месяц отладки библиотека была написана и вот уже два года я использую ее в нескольких подобных проектах.
Несколько человек, которым я показал исходный код, сказали, что вещь оказалась довольно удобной и было бы неплохо сделать ее общедоступной.
Кроме того, несколько потенциальных работодателей захотели увидеть мой код. Поэтому было решено разместить Снусмумрика на Гитхаб .
И дайте ссылку всем желающим.
На новизну идеи и реализации я совершенно не претендую.
Буду рад, если эта вещь пригодится кому-то в бизнесе.
Итак, что же можно сделать со Снусмумриком: — Настройте основные параметры Курлы через конфиг-массив; — Отправлять HTTP-запросы через Kurla, используя набор методов класса; — Маскировка под самые распространенные браузеры; — Не заморачивайтесь с разбором заголовков ответов; — Не заморачивайтесь с разбором файлов cookie; — Используя уже полученные куки, авторизуйтесь на сайтах.
Чего Снусмумкин не может: - Работа через HTTPS. Когда-нибудь я обязательно найду немного времени, чтобы разобраться в основах работы через протокол HTTPS и исправить это недоразумение.
Документацию по Снусмумрику с примерами использования можно найти в Репозитории Github в файле Readme.txt. Пока на английском языке, со временем планирую сделать русскую версию.
Альтернативы: — PEAR HTTP_Request2 ; — Zend_Http_Client ; — Снупи ; — gCurl .
Теги: #php #php5 #curl #curl_lib #http #php
-
Как Открыть Файлы Mdb Без Ms Access?
19 Oct, 24 -
Смертельная Битва: Возрождение
19 Oct, 24 -
Вконтакте Добавил Публичные Списки Друзей
19 Oct, 24 -
Мониторинг Фриланс-Платформ В Slack
19 Oct, 24 -
Еще Больше Бесплатных Смс В Mail.ru Агенте
19 Oct, 24 -
Подкаст Unclesoky - Эпизод №33
19 Oct, 24
