Написать скрипт, который бы загружал плейлист m3u8 (Страница 1 из 2)

Проверена работа данного скрипта в действии,
выявился следующий любопытный момент.

За эталон был принят скрипт RuDetective.tv.hdf, умеющий прекрасно работать с HLS потоками.

Пример работы эталонного скрипта на канале Россия HD

Эталон демонстрирует прекрасную работу, HLS поток в HD качестве с битрейтом 8 Mbits идет на телевизор,
вся статистика доступна, загрузка CPU HMS в пределах 11 %

Второй пример:

Ток же поток из того же источника, из  статистики доступно только размер временного файла,
загрузка CPU HMS уже в пределах 27 %

Подправил скрипты в первом сообщении и обновил там подкаст.

Из-за того, что некрасиво брал название, если там встречается служебный тег.
Изменил регулярное выражение поиска двух подряд идущих строк, первая которая начинается на #EXTINF:, а вторая целиком, кончающаяся переводом строки или концом файла.

TRegExpr.Create('#EXTINF:(.*?)[\r\n]+(.*?)([\r\n]|$)');

А ниже в само название уже обрезаю с последней запятой.
Тогда, строки:

#EXTINF:-1 tvg-name="983? ,Первый канал HD
http://hlsstr03.svc.iptv.rt.ru/hls/CH_C06_1TVHD/bw3000000/variant.m3u8?version=2

в переменную sName из первой группировки сначала попадёт строка:
"-1 tvg-name="983? ,Первый канал HD"
а потом, после команды:

HmsRegExMatch('.*,(.*)', sName, sName);

в переменной sName будет уже - "Первый канал HD".

Интересно, что на моём телеке со стандартным профилем всё очень долго. А с установленным - практически мгновенно. Поэтому в выложенном подкасте стоит использование специального профиля.

Попробуйте поэкспериментировать, во-первых, вообще очистите профиль транскодирования у подкаста или включите другой. Во-вторых, отключите использование скрипта получения ссылки на медиаресурс (это равносильно в скрипте по Alt+4 убрать добавление пробела и сделать строку просто MediaResourceLink = mpFilePath;).

Видимо, под разные устройства немного по-разному профили ведут себя (из-за разных настроек). Поэтому нужно настраивать использование профилей конкретно под себя.

Сейчас названия каналов вносятся правильно,
следующий шаг - добавление логотипов.

Тут есть два пути:
1 - Быстрый - если в загружаемом файле присутствуют служебные теги tvg-logo,
тогда логотип берем либо из локального пути, либо по удаленной ссылке,
пример в приложении.
2 - Медленный, поиск по названию канала.
Так как все названия каналов стандартизованы и хранятся в единой базе,
то при отсутствии тега tvg-logo берем логотип канала по названию с любого публичного сервера.

Приложение:
Пример листа Sample-zabava-hls.m3u с вариантами логотипов

Проверена работа скрипта путем загрузки тестового плейлиста.

Большинство каналов определилось с картинками, но некоторые были без картинок.
Например, канал TV1000 Action.
Прикладываю официальную базу 3900 логотипов syslogo.tar, в которой данный канал находится под номером 1073.png

Требования к логотипам = формат 136х104х32 , расширение .png

На этом сайте собраны логотипы и названия всех каналов мира, в том числе и России.

http://www.lyngsat-logo.com/tvcountry/ru_1.html

Для стандартизации логотипов без ручной работы никак не обойтись, два варианта:
1 - брать готовую базу из официального пака syslogo.tar, но они там закодированы под номерами
для OS платформы Fusion, то есть нужно файл 1073.png сохранять в виде файла TV1000 Action.png

2 - в ручном режиме сохранять недостающие логотипы с сайта lyngsat-logo.com в требуемом формате.

Так, архив то получил. А теперь как связать то названия с ID? Есть где взять такую информацию?

Ээ.. ну тогда всё. Вариант с архивом отпадает.
Вообще, я провив телевидения как такового, поэтому занимаютсь этими вопросами постольку поскольку, чтобы кто-то мог посмотреть как именно подобные вопросы мог решить. Поэтому у меня нет большого энтузиазма заниматься лого тв каналов и ими вообще.

Я уже где-то писал, что если у вас или кого-то будет большое желание чтобы в телевизионных подкастах отображались лого, то можете любыми своими силами найти эти картинки, сохранить в формате <имя канала>.png, запаковать и дать ссылку на архив. Я закину эти картинки на сервер и они начнут отображаться.
Врядли я сам буду их специально собирать.

Максимум - написать граббер, который обойдёт сайт где есть эти наименования и картинки и сохранит их.
Например, поиск по самому сайту lyngsat-logo.com делать толком не получится, там не заложен поиск ими самими, а загружать кучу страниц для поиска постоянно тоже не годится. Поэтому остаётся только просто написать скрипт, который обойдёт все страницы с российскими каналами, например, и сохранит логотипы.
В общем, скорее всего так и сделаю. Надеюсь не забанят на интенсивное сканирование.

Да, HMS те ссылки, которые в подкасте, не сохраняет, считая что они должны создаваться подкастом. И это логично. Но то, что находится в папке - сохраняет, даже ссылки.
Но у папки скрипт немного в другом месте.

Можно добавить папку и добавить данный скрипт в "Скрипт создания подкаст-лент (Alt + 1)".
Вызывается на выполнение он только с программы, правой клавишей мышки и "Создать ленты подкастов".

Прикрепил пример.
Заметьте, когда загрузите пример в программу, увидите в папке уже ранее созданные ссылки. Т.е. их можно сохранять и загружать.

Посмотрел логотипы, вполне достойного качества, предложение такое=
сделать пакетную обработку для приведения к официальному размеру 136х104х32,
даже по хорошему в 2 прохода:
сначала сделать Trimm для удаления подложки
потом Resize до размера 136х104х32
и залить полученное на сервер,

в любом случае, все английские каналы должны определяться на раз,
пример = файл "TVA Sports HD.png" полностью соответствует названию канала "TVA Sports HD"

далее, по вопросу русских каналов, задача решается в 2 прохода, например, канал "24 Вести",
сначала ищем русский файл  "24 Вести", если файл не существует,
делаем транскрипцию в латиницу и ищем второй файл
"24 Vesti.png"

и он таки есть в нашей коллекции !
Бинго !

Добавил два примера логотипа одного канала:
"24 Vesti.png" - исходный файл
"24-Vesti-32b.png" - правильный файл логотипа в формате 136х104х32

Отвечаю по очереди:

Trim - удаление лишнего заднего фона.

Вариантов решения, как минимум 3:

1 - Запуск пакетной обработки в программе Photoshop

Открываете одну картинку, которую надо обрезать, идете в меню Window -> Actions, Создаете новый Action (Create New Action), автоматически начнется запись действий. Идете в Image -> Trim, ставите галочку Top Left Pixel Color, жмете ок. Останавливаете запись Action (кнопочка стоп).
Далее идете в File -> Automate -> Batch,
В поле Action — указываете только-что созданный вами Action
В поле Source — указываете Folder, жмете кнопку Choose, выбираете вашу папку с картинкам.
В поле Destination — указываете Save and Close
и нажимаете ОК.

2 - Запуск пакетного файла, например , на питоне (2.7, PIL):

from PIL import Image
import math
import sys

way = '1.png'
print sys.argv[1]
way = sys.argv[1]
image = Image.open(way)
width = image.size[0]
height = image.size[1]
alpha = image.getpixel((2,2))
left = width
right = 0
top = height
bottom = 0
print str(alpha)
for x in range(width):
    for y in range(height):
        rng = math.sqrt(math.pow(image.getpixel((x,y))[0]-alpha[0],2)+math.pow(image.getpixel((x,y))[1]-alpha[1],2)+math.pow(image.getpixel((x,y))[2]-alpha[2],2))
        #print str(rng)
        if rng > 89:                     
            if x<left:
                left = x
            if x>right:
                right = x
            if y<top:
                top = y
            if y>bottom:
                bottom = y
print str(left)+ ','+str(top)+'   '+str(right)+','+str(bottom)               

width = right-left
height = bottom-top
img = Image.new("RGBA", (width,height), (0,0,0,0))
for x in range(width):
    for y in range(height):
        img.putpixel((x,y),image.getpixel((x+left,y+top)))

img.save("test1.png", "PNG")

print "Done!"

В качестве параметра получает название файла, кропает, создает файл crop_имя.расширение.
Скормите этот скрипт bat файлу, который для всех файлов в папке его применит и будет результат

3 - Вариант обработки на сервере средствами PHP, более подробно здесь:
http://php.net/manual/ru/book.imagick.php

Это ответ на первый вопрос - как привести все логотипы к единому виду.

Еще один вариант официальных логотипов,
для OS платформы Fusion,
в комплекте:
логотипы каналов разрешением 136x104 в количестве 3437 штук в едином стиле
рассортированные по странам
(Названия стран и соответствия названиям файлов лежат в файле logosdb в 2х вариантах)

Залить на форум не получилось. выкладываю ссылкой: http://my-files.ru/2gw0h9

1 - И что у вас не получилось?
2 - немного странноватый скрипт, но за строчку

rng = math.sqrt(math.pow(image.getpixel((x,y))[0]-alpha[0],2)+math.pow(image.getpixel((x,y))[1]-alpha[1],2)+math.pow(image.getpixel((x,y))[2]-alpha[2],2))

спасибо
Запускать bat-ник с вызовом питоновского скрипта зачем? когда всё можно следать там же.
Это единственный вариант, который меня заинтересовал.
3 - Не серверное это дело, кучу файлов обрабатывать. Я знаю что такое ImageMagick и по той ссылке его описание.
Вы бы мне ещё ссылку на справочник по языку Phyton бы дали, типа "там более подробнее".

По поводу архива платформы Fusion. Вы видели те названия в файле logosdb.csv? Они соответствуют названиям каналов? Даже в транскрипции? Что мне с ним делать?

Я вам готов помочь. Как и любому. Всё, что касается кодинга по HMS.
У меня такое ощущение, что вы хотите, чтобы я подготовил вам набор картинок.
Обычно, чтобы немного отрезвить некоторых, я отвечаю: это совсем недорого вам обойдётся. 10000 рублей - и я вам подготовлю картинки в лучшем виде.
Или просто могу помочь подсказать в реализации какой-то идеи.

Да, второй вариант меня настолько заинтересовал, что я всё-таки разобрался и сделал скрипт. Долго не мог понять, почему getpixel возвращал int, но в итоге всё сделал. Определяется размер изображения, crop-ается, увеличивается пропорционально до ближайшей нужной ширины или высоты, добавляется фон по той стороне, где нужно добавить до нужного размера.
Вот crop_resize.py, можете разобраться и он всё за вас сделает.

from PIL import Image
import math
import sys
import os

InDir  = "D:\\tvimg"
OutDir = "D:\\tvimg_new"
newWidth  = 136
newHeight = 104
count  = 0;

def crop_resize( filename ):
  fileIn = os.path.abspath(os.path.join(InDir , filename))
  fileOut= os.path.abspath(os.path.join(OutDir, filename))
  try:
    image  = Image.open(fileIn)
    image  = image.convert('RGB')
    alpha  = image.getpixel((2,2))
    width, height = image.size
    left   = width
    right  = 0
    top    = height
    bottom = 0

    for x in range(width):
        for y in range(height):
            rng = math.sqrt(math.pow(image.getpixel((x,y))[0]-alpha[0],2)+math.pow(image.getpixel((x,y))[1]-alpha[1],2)+math.pow(image.getpixel((x,y))[2]-alpha[2],2))
            if rng > 89:                      
                if x<left:
                    left = x
                if x>right:
                    right = x
                if y<top:
                    top = y
                if y>bottom:
                    bottom = y

    image = image.crop((left, top, right+1, bottom+1))

    width, height = image.size

    kw = float(newWidth ) / width
    kh = float(newHeight) / height

    k = kw if kw < kh else kh # lowest coefficient

    width  = int(width  * k);
    height = int(height * k);

    image = image.resize((width, height), Image.ANTIALIAS)

    wr = (newWidth  - width )/2 if newWidth  > width  else 0
    hr = (newHeight - height)/2 if newHeight > height else 0

    newImage = Image.new("RGB", (newWidth, newHeight), alpha)
    newImage.paste(image, (wr, hr))

    newImage.save(fileOut, "PNG")

    width, height = newImage.size

    print filename+": " + str(width)+ 'x'+str(height)

  finally:
    return;

for filename in os.listdir(InDir):
    crop_resize( filename )
    count += 1
    if count > 3:
        break

print "Done!"

Если вам очень нужно, то можете подготовить картинки для каналов в виде <название канала>.png и кинуть мне ссылку на архив. Я залью его на свой сервер, чтобы можно было к ним обращаться по имени канала. Мне будет не сложно. Но, желательно, не 13000 файлов.

IMHO

Идея с универсальным решением сама по себе занятная. Но давайте проанализируем, сколько неопределенных переменных должно быть учтено для этого.

1. Иконки каналов (графические параметры).
В HMS->настройки профиля устройства есть такие параметры:

И конвертнет он любой входной формат в эти цифры. Конечно, сглаженный логотип с прозрачным фоном, идеально выглядящий на любом устройстве - это круто, но будет ли это везде работать? "Переварит" ли конкретный рендерер биты прозрачности в логотипе и не превратится ли этот логотип в мешанину пикселей? Гарантии 100% совместимости нет.
2. Связка: файл логотипа - название канала.
Ну нет единого стандарта пока, увы. И, если с западными каналами еще более-менее можно синтаксически выкручиваться, то как решит транслитерировать тот или иной сайт - одному богу известно, я уже молчу про иврит, арабский, иероглифы и прочее. Напрашивается по сути БД, которую нужно постоянно актуализировать ради идеи универсальности.

И все это ради иконок в списке каналов. Не могу не согласиться с WendyH - любой каприз за ваши деньги Если этот функционал реально востребован - ну пусть народ "проголосует" рублем, ибо для реализации и главное поддержки такого великолепия усилия исполнителя выходят далеко за рамки альтруизма.

Я привел только один пример,
сама OS платформы Fusion рассчитана на 10 000 записей о телеканалах в формате 136х104х32,
так как она изначально международная,
в файле конкретно для региона Россия приведены записи 180 каналов,

можно не заниматься этими логотипами, я просто высказываю свою точку зрения ...

По поводу логотипов - это был просто развернутый ответ на вопрос -
что делать с английскими названиями файлов логотипов, только и всего.

Я просто попытался сказать, что может быть, имеет смысл немного усложнить алгоритм поиска картинок,
и предложил целых три варианта, вместо одного явного:
для примера - канал "24 Вести"
1 - сначала ищем русский файл  "24 Вести",
если файл не существует,
2 - делаем транскрипцию в латиницу и ищем второй файл
"24 Vesti.png"
если файл не существует,
3 - используем базу Fusion и ищем файл 24vesti

Вероятность найти логотип увеличивается в 3 раза,
это было просто предложение ...