Модуль Grabber Kodik

  • Автор темы Владыка
  • Обновлено
  • 18, Oct 2024
  • #1
При помощи данного модуля вы можете сделать автонаполняемый онлайн кинотеатр с аниме и дорамами за несколько минут.

Лёгкая установка одним файлом.

Есть возможность автоматически поднимать сериалы при выходе новых серий, со сменой в тайтл серии и сезона, а так же поднимать фильмы при выходе нового качества.

Можно указывать парсить сначала новинки или по порядку так как находятся в базе.

Можно установить ограничение парсить только фильмы, только сериалы, только мультфильмы, только аниме или только аниме-сериалы:

Также есть возможность настроить ограничение парсинга по годам и странам.

Модуль в автоматическом режиме проставляет в дополнительные поля всю информацию о фильме: описание, постеры, актёры, режиссёры, название, оригинальное название, год, страны, жанры, World Art рейтинг, рейтинг КиноПоиск, рейтинг IMDB, КиноПоиск: кол-во голосов, IMDb: кол-во голосов, плеер, качество, перевод, последний вышедший сезон, последний вышедший эпизод, а также информацию с Shikimori и т.д. по заданным параметрам.

Есть возможность проставлять данные, а также недостающие категории в уже существующие фильмы/сериалы/аниме на сайте.

Работает полностью в автоматическом режиме, по крону.

Модуль удобен даже, если Вы пишите только оригинальные тексты для фильмов, а следить за появлением новинок самостоятельно у Вас нет времени, - для этого предусмотрена функция отправки свежих новостей на модерацию:

При включенной опции отправки на модерацию фильмы будут сами появляться на Вашем сайте, но будут не видимы другим пользователям и поисковикам.

Вам останется только добавить оригинальный текст и/или сделать другие нужные вам правки и подтвердить добавление фильма на Главную страницу сайта.
С версии 3.1:
  • Сделан отдельный крон для обновлений и автоподнятий, отдельно от граббинга (/engine/kodik/grab.php?last)
  • Добавлено автообновление фильмов/сериалов - без ID Кинопоиска, по id других баз: IMDB/MDL/Shikimori
  • Сделана настройка "плюс одна серия" в причину редактирования, вида: "1 сезон 6, 7, 8 и 9 серия - 07.04.2021". А также для мета-тайтла вида: "6, 7, 8 и 9 серия". Есть поле выбора сколько серий прибавлять.

    В причину редактирования пишет - по умолчанию.

    Для мета-тайтла - есть спец.

    тег {plus_episode} - если там не нужна +1 серия - можно убрать тег (при смене качества - в причину редактирования пишет качества материала)
  • А также для мета-тайтла вида: "6, 7, 8 и 9 серия"
  • Добавлены новые фильтры

    • Поднимать фильмы / мультфильмы / аниме при смене качества
    • Поднимать сериалы / мультсериалы / аниме-сериалы при смене сезонов и серий


  • Добавлена перезапись полей при автообновлении если данные изменились

    • Последняя озвучка
    • Кол-во эпизодов




С версии 3.2:
  • Добавлена функция Форматирования серий и сезонов - для доп. полей и метатегов

    • Форматированная серия вида 1 серия, 2 серия, 3 серия
    • Форматированная серия вида 1 серия, 1-2 серия, 1-3 серия, 1-4 серия
    • Форматированная серия вида 1 серия, 1,2 серия, 1,2,3 серия, 1,2,3,4 серия
    • Форматированная серия + 1 вида: если 1 серия - 1,2 серия, если 2 серия - 1,2,3 серия, если 5 серия - 4,5,6 серия
    • Форматированная серия + 1 вида 1,2 серия, 1,2,3 серия, 1,2,3,4,5 серия, 1-5,6,7 серия
    • Форматированный сезон вида 1 сезон, 2 сезон, 3 сезон
    • Форматированный сезон вида 1 сезон, 1-2 сезон, 1-3 сезон
    • Форматированный сезон вида 1 сезон, 1,2 сезон, 1,2,3 сезон



  • А так же функция прибавления серий и сезонов

    • Последняя серия + 1
    • Последний сезон + 1 - в доп полях и в метатйтл


  • Добавлена настройка сколько прибавлять к серии/сезону - см. вкладку сериалы (Последняя серия/сезон +1)
  • Полностью обновлена логика автообновления фильмов/сериалов - для материалов без ID Кинопоиска

    • если нет id kp - то проверять по id IMDb
    • если нет IMDb - то проверить по id MDL
    • если нет id MDL - то проверить по World Art
    • ну а если даже World Art нет - то проверить по Shiki


  • Добавлены новые фильтры по для сортировки по рейтингам (Кинопоиск, Imdb, shikimori, mydramalist)
  • Добавлен фильтр "Запрещенные страны" - не будут добавляться публикации только определенных стран. если ничего не выбрано - то все
  • Добавлены новые данные

    • next_episode_at - Время выхода следующего сезона
    • drama_genres - Жанры MyDramaList
    • mydramalist_rating - Рейтинг MyDramaList
    • mydramalist_votes - Количество голосов рейтинга на MyDramaList
    • drama_status - Статус дорамы
    • aired_at - Дата начала показа
    • released_at - Дата конца показа
    • episodes_aired - Количество уже вышедших эпизодов




С версии 3.3:
  • Для сериалов - сделан fix для использования своих доп. полей для форматированных серий/сезонов
  • Фикс проставления формат. серий/сезонов в доп. поля и тайтл - при запуске автонаполнения граббером
  • Настройка формат. серий и сезонов - перенесена из вкладки "Сериалы" - в общую вкладку "Доп. поля", чтобы не искали и не было путаницы
  • Добавлен фильтр "Максимум актеров" и "Максимум режиссёров" - можно указать ограничение на кол-во актеров и режиссеров
  • Добавлена поддержка плагинов DLE


С версии 4.0:
  • Сделан посерийный / посезонный граббинг-парсинг сериалов/аниме-сериалов/мульт-сериалов
  • Сделан вывод:

    • сезонов на странице с сериалом
    • всех эпизодов сезона - на странице с сезоном
    • вывод всех последних добавленных серий - в любой tpl сайта, например, на главной странице
    • и всех серий - в админке сайта, в "редактировании новости" , через кнопку "все серии"


  • Сделана настройка метатегов для страниц с сезоном / серией , описание серии, название серии , а так же постер серии
  • Сделаны кнопки-переключатели на предыдущую и следующую серию внутри сезона - на странице с серией, для посерийного вывода
  • Исправлена проблема с кириллицей при граббинге в URL


С версии 4.1:
  • Переделана полностью логика модуля - добавлен новый метод скачиваний материалов базы Кодик в БД сайта, в таблицу _kodik: раньше граббер брал фильмы только из API, теперь граббинг осуществляется как из JSON-файлов со всеми фильмами, сериалами - так и по старому из API - разными крон-задачами.

    Рекомендуется использовать - новый метод, именно путем скачивания из JSON-файлов
  • Добавлен новый крон для скачивания материалов базы - данный крон работает по новому пути: /engine/kodik/cron.php - для оптимизации работы запуска. Для работы с API - по прежнему доступны старые задачи
  • Сделана возможность граббинга материалов - без ID Кинопоиска (ранее граббер парсил на сайт только материалы с ID KP)
  • Изменена логика проверок на дубли - проверка теперь осуществляется не только по ID Кинопоиска, но и по ID Kodik, для тех материалов, где нет ID Кинопоиска в базе
    *должно быть создано и заполняться поле "kodik_id"


С версии 4.2:
  • Возможность задать секретный ключ для крона


С версии 4.3:
  • Переделана работа граббинга - сделан граббинг только по Kodik API, оптимизированы лимиты на переобход, упрощён сам запуск крона
  • Граббинг по API теперь работает со след. функциями модуля:

    • с разбивкой аниме-сериалов/сериалов на серии при граббинге материалов
    • и при запуске крона ?last - для проверки новых серий у сериалов и аниме-сериалов и поднятия новостей


  • Переделаны пути к кронам и упрощён сам запуск крона, для удобства пользователям модуля:

    • убран запуск через php-f , как было до этого (без возможности ручного запуска через строку браузера)
    • сделан запуск: сайт/kodik & type=тип-видео - с запуском как на стороне сервера, так и вручную, через строку браузера, с удобным чтением логов граббинга


  • Добавлена кнопка очистки таблицы _kodik , внутрь модуля - "Обновить очередь", - для очистки таблицы при применении новых выставленных фильтров для граббинга
  • Реализована разбивка сериалов и аниме-сериалов на серии при граббинге - теперь работает и по API
  • Переделены след. фильтры - теперь отбор по фильтрам идет не во время граббинга - а сразу идет запрос на получение готового списка в API:

    • по странам
    • по годам


  • Добавлены новые фильтры (с фильтрацией так же при запросе сразу в API):

    • Порядок добавления материалов (вы можете выбрать в каком порядке будут добавляться фильмы. по дате или по рейтингу. по возрастанию или убыванию)
    • Добавлен фильтр по озвучке
    • Добавлен новый фильтр по типу перевода (только голосовой перевод или только субтитры)
    • Добавлен фильтр по параметру camrip. Если указать включить, то будут выведены только материалы с качественной картинкой. Если выключить, то будут выведены все материалы.
    • Добавлен фильтр материалов по странам, в которых они не должны быть заблокированы.
    • Добавлен фильтр материалов по жанру - для ограничения грабинга, например, только мелодрам, только боевиков и тд.
    • Добавлен фильтр материалов по минимальному возрасту, с которого можно смотреть
    • Добавлен фильтр по возрастному рейтингу
    • Добавлен фильтр по статусам Shikimori, MyDramaList (anons, ongoing, released)


  • Добавлен чекбокс "Использовать посерийный модуль (ВКЛ/ВЫКЛ)" - отключить, если на сайте не используется постраничная разбивка на серии
  • Убрана вставка названия материала в краткое/полное описание и дискрипшн при отсутствии описания у материала
  • Исправлена ошибка: при ручном парсере - не парсило у сериалов информацию , при редактировании новости - fix
  • Баг-фикс у аниме-фильмов и фильмов в доп.поля проставляло формат. серии и сезонов - fix
  • Добавлена новая настройка регистра и размера постера: "Размер постера": - например, можно выставить автоконвертирование в 200x160 или 120 или 0 для сохранения оригинального изображения


С версии 4.4:
  • Реализована автоматическая загрузка скриншота эпизода с API базы для посерийного модуля - при автоматической разбивке на серии
  • Переделана логика парсинга эпизодов для постраничного модуля с базы при граббинге - теперь берется не последний эпизод, а episodes_total - кол-во эпизодов в сезоне
  • Пределена так же логика парсинга эпизодов - при ручном парсинге и автоообновлении ?last - значение кол-ва серий в сезоне берется теперь из массива "episodes" - берется последняя серия
  • Добавлена поддержка указания шаблона template="abc" - для тега вывода последних добавленных на сайт эпизодов {serialy last="yes" limit="5"} - при постраничном выводе серий
  • Добавлена возможность сортировки вывода серий внутри тегов: {serialy news-id="{news-id}" season="{season}"} и {serialy news-id="{news-id}" season="[xfvalue_last_season]"}
    *sort="desc" - от последней до первой, sort="asc" - от первой до последней
  • Добавлена настройка "Загружать скриншот к эпизодам с API" - при постраничном выводе серий сериалов
  • Добавлен новый тег <a href="{first-episode-link}">Смотреть с первой серии</a> - для посерийного модуля
  • Добавлен тег - для подсветки текущего эпизода, который просматривает пользователь
  • Добавлена кнопка "Обновить kodik плеер" на странице добавления/редактирования новостей у соответствующего поля с плеером - для быстрого проставления плеера к материалу с базы
  • Исправлено сохранение настроек фильтра "Допустимые страны"


С версии 4.5:
  • Сделан ручной поиск всех сезонов аниме-сериалов - через ручной парсер на странице добавления/редактирования новостей
  • Сделан граббинг всех сезонов аниме-сериалов (проверка идёт дополнительно по ID Shiki, если ID KP даже одинаковый - сравнение идетпо ID Shiki ещё. ID Shiki если отличается - и добавляется материал)
  • Добавлена поддержка DLE 15 - исправлен парсинг скриншотов и постеров на новой версии DLE (добро пожаловать в дорогие правки, DLE внедрили компосер, некоторые функции стали не актуальны совсем)


С версии 4.6:
  • Добавлена функция "Конвертировать все загружаемые изображения в формат WebP" на DLE 15 для постеров и скриншотов
  • Изменен путь загрузки постеров для DLE 15 (на актуальный в новой версии dle)
  • Исправлена настройка конвертирорвание регистра и размера постера на DLE v15
  • Исправлено заполнение поля shikimori_id
  • Исправлен парсинг "переводов" аниме и аниме-сериалов
  • Исправлена загрузка скриншотов на DLE 15
  • Заменен путь загрузки скриншотов для DLE 15 (на актуальный в новой версии dle)


С версии 4.7:
  • Добавлена поддержка PHP 8.0
  • Добавлен новый раздел "Для постраничного вывода серий"
  • Оптимизация работы посерийного парсинга для слабых серверов
  • Исправлена работа доп полей ID Shikimori, id_kodik
  • Исправлен вывод последних серий для постраничного вывода серий {serialy last="yes" limit="20"}


Для работы граббера нужен API Token Kodik.
Подробнее Kodik.BIZ

#Grabber Kodik #Kodik #Граббер Фильмов #Коди Граббер #Парсер Аниме #Парсер Дорам #Парсер Фильмов И Сериалов

Владыка


Рег
08 Apr, 2020

Тем
160

Постов
296

Баллов
1116
Тем
403,760
Комментарии
400,028
Опыт
2,418,908

Интересно