1

Тема: HDKinoteatr.com v2 (2018.11.11)

Вторая версия подкаста для www.hdkinoteatr.com.

Подкаст использует собственный API.
При обновлении раздела "Последние поступления" не чаще одного раза в 4 часа проверяет обновления подкаста.
Исходники скриптов выложены на GitHub, откуда и будут они обновляться.
Отдельно может быть обновлена функция получения ссылки с ресурса moonwalk (отсюда).
Всё в автоматическом режиме. Для того, чтобы проверки обновлений отключить, необходимо добавить ключ --nocheckupdates и --noupdatemoonwalk в дополнительные параметры.

Для создания списка сериалов необходимо встать на раздел "Сериалы" и через правую клавишу мышки выбрать "Создать ленты подкастов".
Теперь каждый сериал это будет отдельный подкаст, который можно отдельно обновлять с устройства.

Возможные ключи дополнительных параметров:
--yearintitle - Добавлять год выпуска в название фильмов;
--nofolders - При обновлении раздела не создавать папки для фильмов, а создавать сразу ссылки на них;
--maxingroup - При группировке по количеству, максимальное число элементов в группе;
--miningroup - Число элементов, при котором группировка вообще не будет срабатывать;
--group=(year|alph) - Режим группировки: year - по годам, alph - по алфавиту, если не указано - по количеству элементов;
--infoitems - Создание дополнительных информационных ссылок в папке фильма/сериала;
--trailersfolder - Создание дополнительной папки "Трейлеры", при заходе в которую будет произведён поиск трейлеров на kinopoisk.ru;
--controlfavorites - Создание управляющих ссылок "Добавить в избранное" для возможности добавить сериал в папку "Избранное";
--markonplay - При воспроизведении эпизода сериала, помечать и запоминать серию как просмотренную;
--nocheckupdates - Отключить проверку обновлений подкаста с GitHub;
--noupdatemoonwalk - Отключить проверку обновлений функции получения ссылки с moonwalk.

Для режима --nofolders могут использоваться также ключи:
--kpinname - добавление к названию фильма рейтинга Кинопоиск;
--imdbinname - добавление к названию фильма рейтинга IMDb.

+ История изменений

UPD 2017.06.07: Исправлена функция получения ссылок. Подправлена функция автообновления.
UPD 2017.08.17: Исправлена функция получения ссылок: слетала длительность видео.
UPD 2017.10.01: Обновление скриптов в связи с обновлениями на серверах moonwalk.
UPD 2017.12.07: Обновление функции получения ссылки с moonwalk в связи с изменениями на их сервере.
UPD 2018.01.28: Обновление функции получения ссылки с moonwalk в связи с изменениями на их сервере. Для тех, у кого подкаст автоматически не обновился.
UPD 2018.03.22: Очередные изменения в функции получения ссылки с moonwalk.
UPD 2018.03.23: Очередные изменения в функции получения ссылки с moonwalk.
UPD 2018.03.25: Очередные изменения.
UPD 2018.03.30: Изменения в функции получения ссылки с moonwalk.
UPD 2018.03.31: Замена заблокированного домена hdkinoteatr.com на moonwalk в ссылках.
UPD 2018.04.04: Исправлена работа ключа --nofolders. Добавлены к режиму --nofolders ключи --kpinname и --imdbinname.
UPD 2018.07.01: Изменения в функции получения ссылки с moonwalk.

UPD 2018.07.07: Изменения в функции получения ссылки с moonwalk (спасибо spell).
UPD 2018.09.08: Версия от spell.
UPD 2018.10.01: Обновление функции получения ссылки с moonwalk.
UPD 2018.10.01/2: Обновление функции получения ссылки с moonwalk.
UPD 2018.10.05: --//--
UPD 2018.10.06: --//--
UPD 2018.10.07: --//--
UPD 2018.10.11: --//--
UPD 2018.10.29: --//--
UPD 2018.11.07: --//--
UPD 2018.11.11: Доработана функция вычисления значений iv и key.

Прикреплённые файлы сообщения

HDKinoTeatr.com_v2.zip 86.65 kb, скачивалось 36 раз, начиная с 2018.11.11

Sony Bravia KDL-32CX523

2

Re: HDKinoteatr.com v2 (2018.11.11)

Главная особенность и сам эксперимент заключается в написании и использовании собственного API.

Теперь из-за изменений на сайте подкаст точно не сломается и нужды в его обновлении, теоретически, не будет.
База данных API пополняется автоматически. Данные кешируются и работать всё должно намного быстрее.
Также это решит возможные блокировки этого ресурса.

Создание API было сделано для этого сайта именно потому, что в отличии от данных moonwalk.co, здесь все фильмы категоризированы. Т.е. можно получить данные по разным категориям, странам и проч.

Если разобраться с работой API, вполне можно добавлять свои разделы. Например, если добавить подкаст со ссылкой "serials=0&limit=500&category=11&min_imdb=6&year=2016" (в ссылке указываются параметры для запроса), что это будет категория фантастики с IMDb не менее 6 за  2016 год.

Любые замечания пишите здесь. Нужна проверка в боевых условиях.

P.S.: По поводу папки "Трейлеры". К сожалению, во многих случаях, при заходе в эту папку можно видеть "На Кинопоиск.ру пока нет трейлеров этого фильма". Это потому, что эта папка создаётся без запроса к кинопоиску, а только при заходе в неё обнаруживается, что трейлеров нет. Заранее неизвестно, есть ли видео на кинопоиске по данному id. Мне это не очень, но пока ничего не придумал с этим.

Sony Bravia KDL-32CX523

3

Re: HDKinoteatr.com v2 (2018.11.11)

Спасибо ,работает ,правда толком еще не потестил. И можно ли сделать поддержку ссылок с VK, как было в предыдушей версии?

Toshiba 40ML963RB ,LG 43UK6710PLB ,LG 28MT48S-PZ.

4

Re: HDKinoteatr.com v2 (2018.11.11)

efim_brest, а какие ссылки с vk не идут? Там поддержка есть, но теперь многие видео спрятались за авторизацией и там сообщение, мол, сначала вы должны авторизоваться. Спасает в Internet Explorer зайти в свой vk и после этого в подкасте он начинает проигрывать такие ссылки.
Или может быть другая проблема, нужно посмотреть. Нужен пример.

Sony Bravia KDL-32CX523

5

Re: HDKinoteatr.com v2 (2018.11.11)

WendyH пишет:

efim_brest, а какие ссылки с vk не идут? Там поддержка есть, но теперь многие видео спрятались за авторизацией и там сообщение, мол, сначала вы должны авторизоваться. Спасает в Internet Explorer зайти в свой vk и после этого в подкасте он начинает проигрывать такие ссылки.
Или может быть другая проблема, нужно посмотреть. Нужен пример.

Например: "Поезд"2008г.

Toshiba 40ML963RB ,LG 43UK6710PLB ,LG 28MT48S-PZ.

6

Re: HDKinoteatr.com v2 (2018.11.11)

efim_brest, хм.. у меня показывает этот фильм. А в IE пробовали зайти в vk?

Sony Bravia KDL-32CX523

7

Re: HDKinoteatr.com v2 (2018.11.11)

Папка сериалы пустая, не обновляется.

8

Re: HDKinoteatr.com v2 (2018.11.11)

abvis пишет:

Папка сериалы пустая, не обновляется.

Вы делали именно так, как написано в первом сообщении в обведённом прямоугольнике предупреждении?

Sony Bravia KDL-32CX523

9

Re: HDKinoteatr.com v2 (2018.11.11)

Виноват.

10

Re: HDKinoteatr.com v2 (2018.11.11)

А можно, чтобы в категориях разбивало папки по годам, а не 00, 01, ...?

11

Re: HDKinoteatr.com v2 (2018.11.11)

abvis пишет:

А можно, чтобы в категориях разбивало папки по годам, а не 00, 01, ...?

Можно. В дополнительные параметры самой категории можно поставить ключ --group=year и группировка будет по годам.
Или этот ключ установить на всю папку "04 Категории".

Я как для себя делал. По-умолчанию фильмы в том порядке, как они добавлялись (от свежих к старым), чтобы новинки искать. Так мне проще.
Но на всех не угодишь, так что можно себе настроить ключами.

Sony Bravia KDL-32CX523
Спасибо сказали: abvis1

12

Re: HDKinoteatr.com v2 (2018.11.11)

Это привычка от 1 версии подкаста, и обычно таким образом проверяю - что нового.

13

Re: HDKinoteatr.com v2 (2018.11.11)

Да я так и сделаю, скорее всего, в следующей версии подкаста. Чтобы категории группировались по годам, а в них,  если элементов слишком много - по папкам.
Плюс я ещё косяки нашёл. Например, сериал "В лесах и на горах" - косяк в кодировке, нет приведения номеров серий к двузначным числам, длительность врёт.
Но это уже завтра. В общем, ищем косяки.

Sony Bravia KDL-32CX523

14 (2017.04.07 06:28:00 отредактировано efim_brest)

Re: HDKinoteatr.com v2 (2018.11.11)

WendyH пишет:

efim_brest, хм.. у меня показывает этот фильм. А в IE пробовали зайти в vk?

Заходил ,всё равно не хочет показывать.

+ открыть спойлер

"C:\Program Files (x86)\Home Media Server\hmsmpeg.exe" -probesize 7000000 -analyzeduration 10000000 -i "\\.\pipe\E79D31DF73D042648DEDBCC7C32D15DF" -f dvd -vf "scale=720:404,pad=720:406:0:0:0x000000,setdar=16/9" -vcodec mpeg2video -b:v 3000000 -pix_fmt yuv420p -threads 8 -acodec ac3 -ab 448000 -ar 48000 "D:\HMS\HmsTemp\Test_30f338976018bbac111081859ecc5200.mpg" -loglevel fatal

"C:\Program Files (x86)\Home Media Server\hmsmpeg.exe"  -probesize 7000000 -analyzeduration 10000000 -i "\\.\pipe\E79D31DF73D042648DEDBCC7C32D15DF" -f dvd -vf "scale=720:404,pad=720:406:0:0:0x000000,setdar=16/9" -vcodec mpeg2video -b:v 3000000 -pix_fmt yuv420p -threads 8 -acodec ac3 -ab 448000 -ar 48000 "D:\HMS\HmsTemp\Test_30f338976018bbac111081859ecc5200.mpg" -loglevel fatal

Input #0, avi, from '\\.\pipe\E79D31DF73D042648DEDBCC7C32D15DF':
  Duration: 00:00:10.00, start: 0.000000, bitrate: N/A
    Stream #0:0: Video: mpeg4 (Advanced Simple Profile) (XVID / 0x44495658), yuv420p, 1024x576 [SAR 1:1 DAR 16:9], 30 fps, 30 tbr, 30 tbn, 30 tbc
Output #0, dvd, to 'D:\HMS\HmsTemp\Test_30f338976018bbac111081859ecc5200.mpg':
    Stream #0:0: Video: mpeg2video (Main), yuv420p, 720x406 [SAR 406:405 DAR 16:9], q=2-31, 3000 kb/s, 30 fps, 90k tbn, 30 tbc
Stream mapping:
  Stream #0:0 -> #0:0 (mpeg4 (native) -> mpeg2video (native))
Press [q] to stop, [?] for help
\\.\pipe\E79D31DF73D042648DEDBCC7C32D15DF: Invalid argumentrate=2084.9kbits/s speed=16.3x
    Last message repeated 9 times
frame=  298 fps=0.0 q=2.0 Lsize=    2446kB time=00:00:09 bitrate=2010.5kbits/s speed=16.4x
video:2344kB audio:0kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: 4.365754%


Для продолжения нажмите любую клавишу . . .

В первой версии подкаста всё нормально.

+ открыть спойлер

"C:\Program Files (x86)\Home Media Server\hmsmpeg.exe" -probesize 7000000 -analyzeduration 10000000 -i "\\.\pipe\4B1EB43A2ED849B5B9390CB7C991A677" -f dvd -vcodec mpeg2video -b:v 3000000 -pix_fmt yuv420p -threads 8 -acodec ac3 -ab 448000 -ar 48000 "D:\HMS\HmsTemp\Test_a5025fcf79a2f6b4e2a620412ba92db0.mpg" -loglevel fatal

"C:\Program Files (x86)\Home Media Server\hmsmpeg.exe"  -probesize 7000000 -analyzeduration 10000000 -i "\\.\pipe\4B1EB43A2ED849B5B9390CB7C991A677" -f dvd -vcodec mpeg2video -b:v 3000000 -pix_fmt yuv420p -threads 8 -acodec ac3 -ab 448000 -ar 48000 "D:\HMS\HmsTemp\Test_a5025fcf79a2f6b4e2a620412ba92db0.mpg" -loglevel fatal

Input #0, mov,mp4,m4a,3gp,3g2,mj2, from '\\.\pipe\4B1EB43A2ED849B5B9390CB7C991A677':
  Duration: 01:28:47.00, start: 0.000000, bitrate: N/A
    Stream #0:0(und): Video: h264 (High) (avc1 / 0x31637661), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], 1797 kb/s, 25 fps, 25 tbr, 25 tbn, 50 tbc (default)
    Stream #0:1(und): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 127 kb/s (default)
Output #0, dvd, to 'D:\HMS\HmsTemp\Test_a5025fcf79a2f6b4e2a620412ba92db0.mpg':
    Stream #0:0(und): Video: mpeg2video (Main), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], q=2-31, 3000 kb/s, 25 fps, 90k tbn, 25 tbc (default)
    Stream #0:1(und): Audio: ac3, 48000 Hz, stereo, fltp, 448 kb/s (default)
Stream mapping:
  Stream #0:0 -> #0:0 (h264 (native) -> mpeg2video (native))
  Stream #0:1 -> #0:1 (aac (native) -> ac3 (native))
Press [q] to stop, [?] for help
frame= 1905 fps= 94 q=2.0 size=   24066kB time=00:01:16 bitrate=2577.2kbits/s speed=3.78x

Toshiba 40ML963RB ,LG 43UK6710PLB ,LG 28MT48S-PZ.
Спасибо сказали: WendyH1

15

Re: HDKinoteatr.com v2 (2018.11.11)

efim_brest, ок, спасибо, буду разбираться.

Sony Bravia KDL-32CX523

16

Re: HDKinoteatr.com v2 (2018.11.11)

с сериалами понятно. А остальные категории? там нет пункта "Создание ленты подкастов" и при обновлении система говорит, что обновить всё запрещено и воспользуйтесь лентой подкастов.

17

Re: HDKinoteatr.com v2 (2018.11.11)

berstrider пишет:

с сериалами понятно. А остальные категории? там нет пункта "Создание ленты подкастов" и при обновлении система говорит, что обновить всё запрещено и воспользуйтесь лентой подкастов.

Не подскажете, как именно мне переписать то сообщение, чтобы было понятно? Что именно вызывает вопросы?

Я устал говорить про то, почему это плохо, поэтому добавил пункт в FAQ.

berstrider, вы хотели обновить все разделы сразу? И как часто хотите обновлять их? Мой хилинький сервер не выдержит, если запросов будет очень много. А если с одного IP, то он на время будет не доступен (IP уйдёт в бан).

Sony Bravia KDL-32CX523

18

Re: HDKinoteatr.com v2 (2018.11.11)

efim_brest, попробуйте последнюю версию подкаста, проигрывает ли нормально ссылки с vk.com? Вроде у меня пошло.

Sony Bravia KDL-32CX523
Спасибо сказали: efim_brest1

19

Re: HDKinoteatr.com v2 (2018.11.11)

WendyH пишет:

efim_brest, попробуйте последнюю версию подкаста, проигрывает ли нормально ссылки с vk.com? Вроде у меня пошло.

Некоторые фильмы стали проигрываться ,но много и не идёт,например: "Два злобных глаза"1989 ,"Космические дальнобойщики"1996 (2 плеер) ,"Наваждение гостиницы Морской утёс"1994 и тд.

Toshiba 40ML963RB ,LG 43UK6710PLB ,LG 28MT48S-PZ.
Спасибо сказали: WendyH1

20

Re: HDKinoteatr.com v2 (2018.11.11)

efim_brest пишет:

Некоторые фильмы стали проигрываться ,но много и не идёт,например: "Два злобных глаза"1989 ,"Космические дальнобойщики"1996 (2 плеер) ,"Наваждение гостиницы Морской утёс"1994 и тд.

С этими фильмами даже подкаст vk.com не может справиться со вшитой авторизацией. Vk.com не даёт их скачивать. Они не доступны и на сайте hdkinoteatr.com. Ссылки с vk.com - устаревшие. Их со временем там заменяют на ссылки с moonwalk, как я понял.

Sony Bravia KDL-32CX523
Спасибо сказали: efim_brest1

21

Re: HDKinoteatr.com v2 (2018.11.11)

Не все фильмы попадают в последние поступления ,например из последних: "Последствия"2017, "Защитники"2016 и тд не попали.

Toshiba 40ML963RB ,LG 43UK6710PLB ,LG 28MT48S-PZ.

22 (2017.04.08 16:08:52 отредактировано efim_brest)

Re: HDKinoteatr.com v2 (2018.11.11)

efim_brest пишет:

Не все фильмы попадают в последние поступления ,например из последних: "Последствия"2017, "Защитники"2016 и тд не попали.

О, "Последствия "уже появился, "Защитники" нет.

Toshiba 40ML963RB ,LG 43UK6710PLB ,LG 28MT48S-PZ.

23

Re: HDKinoteatr.com v2 (2018.11.11)

efim_brest пишет:

Не все фильмы попадают в последние поступления ,например из последних: "Последствия"2017, "Защитники"2016 и тд не попали.

"Последствия" ещё просто не успели. У меня там запросы к сайту hdkinoteatr.com происходят не постоянно, а с промежутком, иначе бы при каждом запросе от любого человека мой сервер бы быстро заблокировали.

А вот с "Защитники" более интересная ситуация. По этому id фильм в базе уже есть. В так как у меня самые свежие поступления сортируются по id (от максимального к меньшему), то этот фильм не попадает в "свежее".
Как раз у этого фильма тот самый прикол - у него ссылка была на vk.com, а теперь его просто обновили.

В общем мне нужно доработать api, чтобы обновленные фильмы тоже попадали в свежее, т.е. запоминать дату последнего его обновления...

Спасибо, что внимательно смотрите как работает подкаст, мне это и нужно. Понаблюдать нужно первое время.

Sony Bravia KDL-32CX523
Спасибо сказали: efim_brest1

24 (2017.05.06 07:19:00 отредактировано berstrider)

Re: HDKinoteatr.com v2 (2018.11.11)

Здравствуйте. Сегодня перестал работать подкаст. Причем трейлеры показывает, а вот сами фильмы нет. Вчера смотрели "Назад в будущее", сегодня уже не работают. "Обновить подкаст" не помогает. Тестовое транскодирование тоже. Проверял другие фильмы и сериалы.
Сообщение в конце окна тестового транскодирования:

http://streamblast.cc/video/7ccdff37df2970c6/index.m3u8?cd=0&expired=1493923204&frame_commit=2a7aa22bf5768b95630386ecb96295ab&mw_pid=2502&signature=65cbf5833ef47dc2581db2b893c3f005: Server returned 403 Forbidden (access denied)

25 (2017.05.04 21:02:29 отредактировано slav67)

Re: HDKinoteatr.com v2 (2018.11.11)

Проверил только что "Назад в будущее". У меня все (три) части работают. Перед поиском обновил  подкаст "02 Последние поступления" (на всякий случай).

LG 42LA660V-ZA

26

Re: HDKinoteatr.com v2 (2018.11.11)

berstrider, да, заметил такую проблему. В общем случае, ссылка на файл .m3u8 отдаётся, в котором содержатся разные ссылки на различное качество. И этот файл скачивается нормально только с установленными кукисами и http заголовками, с которыми мы перед этим делали запросы для получения такой ссылки.
Короче, если в параметрах подкаста поставить ключ  --quality=high или  --quality=medium, то будут получаться ссылки, которые уже не будут так привязаны и подкаст начнёт работать. Потом поразбираюсь что можно с этим сделать. Пока нет времени.
Поставьте ключ  --quality со значением high, medium или low в дополнительные параметры.

Sony Bravia KDL-32CX523
Спасибо сказали: berstrider1

27

Re: HDKinoteatr.com v2 (2018.11.11)

Нет. ничего не помогает. И вот ещё, если пробовать из окна HMS просто открыть файл, то в браузере пишет "Контент недоступен в вашем регионе. Приносим извинения за неудобства. Sorry, video was deleted."

28 (2017.05.06 08:05:19 отредактировано berstrider)

Re: HDKinoteatr.com v2 (2018.11.11)

Вот первый попавшийся фильм:
- идёт на сайте: http://www.hdkinoteatr.com/drama/30013-freistatt.html
- даёт hms и не работает: http://moon.hdkinoteatr.com/video/2f2cc … 56e/iframe

тестовое транскодирование:

+ открыть спойлер

"C:\Program Files (x86)\Home Media Server\hmsmpeg.exe" -probesize 7000000 -analyzeduration 10000000 -i "Item Not Found" -f mpegts -vcodec mpeg2video -q:v 0 -pix_fmt yuv420p -threads 4 -acodec ac3 -ab 448000 -ar 48000 "D:\Program Files (x86)\HMS\temp\HmsTemp\Test_a44ac9878ad91a6cd06d14b35aa0331c.ts" -loglevel fatal

"C:\Program Files (x86)\Home Media Server\hmsmpeg.exe"  -probesize 7000000 -analyzeduration 10000000 -i "Item Not Found" -f mpegts -vcodec mpeg2video -q:v 0 -pix_fmt yuv420p -threads 4 -acodec ac3 -ab 448000 -ar 48000 "D:\Program Files (x86)\HMS\temp\HmsTemp\Test_a44ac9878ad91a6cd06d14b35aa0331c.ts" -loglevel fatal

Item Not Found: No such file or directory


Для продолжения нажмите любую клавишу . . .

Сейчас проверил, hdserials - та же беда, ссылки moonwalk не работают

29

Re: HDKinoteatr.com v2 (2018.11.11)

berstrider, в вашем случае получаемая ссылка выглядит как "Item Not Found". И это странно. Как будто скрипт подкаста попытался взять качество, которого нет. А такого в принципе не должно быть.
Также, кроме ключа --quality=high можно включить "Приоритет форматов видео (высота кадра)", это включается там же, где и дополнительные параметры, но выше над этим полем ввода. Попробуйте.

А вообще, если все подкасты с moonwalk не работают, то это беда. Значит они там что-то опять придумали.
У всех такая беда? У кого-нибудь ещё тоже не работает?
А то у меня вроде работает. Но только когда указано качество.

Sony Bravia KDL-32CX523

30 (2017.05.06 13:06:34 отредактировано abvis)

Re: HDKinoteatr.com v2 (2018.11.11)

Да, и Moon тоже не дает ссылок, точнее дает с кривыми названиями, которые не открываются.