Создание скрипта чтения списка ресурсов

Как правило, смысл скрипта создания списка ресурсов сводится к тому, чтобы загрузить страницу(ы) какого-то сайта, распарсить (т.е. найти в коде страницы нам нужные блоки текста) и создать по этим данным список ссылок на ресурсы (например видео).

Т.к. окончательное предназначение скрипта - создание ссылок на медиа-ресурсы, для начала, давайте научимся создавать такие ссылки. Специально для этого есть очень полезная функция HmsCreateMediaItem. В окне редактирования скрипта, на панели справа в справочнике функций в разделе "Обработка медиа-ресурсов" находим данную функцию и смотрим какие параметры она может принимать. Нажав двойным щелчком мышки на данной функции, её текст перейдёт в поле скрипта в текущую позицию. Мы можем увидеть что-то типа:

HmsCreateMediaItem(const aItemPath: string; const aFolderID: string = ''; const aFolderPath: string = ''): THmsScriptMediaItem

Тут мы видим, что в скобках перечислены параметры, которые данная функция может принимать. Указаны они в формате Pascal, т.е. идёт наименование параметра и после двоеточия тип (string - строка, integer - числовой и т.п.). После функции тоже стоит двоеточие и тип - это тип значения, который возвращает функция.

Вот список параметров, которые принимает данная функция:

1. aItemPath - ссылка медиа-ресурса (строка);
2. aFolderID - ItemID папки или подкаста, где будет создана ссылка (строка). ItemID - свойство объекта класса THmsScriptMediaItem (например, т.к. переменная FolderItem содержит объект текущей папки или подкаста, то можно указать FolderItem.ItemID - это значит что ссылка будет создана в текущей папке);
3. aFolderPath - Имя подпапки (например, для группировки ссылок), которая будет создана автоматически (строка);

Третий параметр aFolderPath - строка, но после неё стоит равно и пустое значение. Если в параметрах функции установлены значения - то это значения по-умолчанию и такие параметры можно опускать, т.е. не указывать (необязательные).

Обратите внимание, что возвращает эта функция созданный объект с типом THmsScriptMediaItem. Справа в справочнике включаем отображение классов (если не включено) и находим среди них класс THmsScriptMediaItem. Вообще - это самый главный класс. Это класс любого элемента базы данных программы Домашний медиа-сервер, будь то медиа-ресурс, папка или подкаст. Но в данном случае, наша функция HmsCreateMediaItem создаёт именно медиа-ресурс. У данного класса есть индекс свойство Properties. Через указание номера свойства, можно установить или получить его значение. На самом деле это и есть параметры подкаста или медиа-ссылки, а значения номеров индекса определённых параметров перечислены в справочнике справа в разделе "Константы" -> "Идентификаторы параметров медиа-ресурса". Например:

• Item.Properties[mpiFilePath] - это ссылка;
• Item.Properties[mpiTitle] - название;
• Item.Properties[mpiThumbnail] - эскиз;
• Item.Properties[mpiTimeLength] - длительность (можно присваивать как строку вида 01:20:00.000 или как число в секундах);
• Item.Properties[mpiYear] - год;
• Item.Properties[mpiGenre] - жанр;
• Item.Properties[mpiCreateDate] - дата создания;

Трудно не заметить, что идентификаторы похожи на переменные типа mpFilePath, mpTitle. Да, так и есть, смысл несут тот же. Только переменные могут иметь унаследованные значения, а через идентификатор мы работам со свойством конкретного медиа-ресурса.

Давайте напишем такой скрипт (PascalScript):

// ОБЪЯВЛЕНИЕ ПЕРЕМЕННЫХ
var
  Item: THmsScriptMediaItem; // Создаваемый элемент подкаста

// ГЛАВНАЯ ПРОЦЕДУРА
begin
  Item := HmsCreateMediaItem('http://test.da/1', FolderItem.ItemID);
  Item.Properties[mpiTitle] := 'Первая';
  Item.Properties[mpiYear ] := '1990';
  Item.Properties[mpiGenre] := 'Боевик';
  
  Item := HmsCreateMediaItem('http://test.da/2', FolderItem.ItemID);
  Item.Properties[mpiTitle] := 'Вторая';
  Item.Properties[mpiYear ] := '2000';
  Item.Properties[mpiGenre] := 'Приключения';
  
  Item := HmsCreateMediaItem('http://test.da/3', FolderItem.ItemID);
  Item.Properties[mpiTitle] := 'Третья';
  Item.Properties[mpiYear ] := '2010';
  Item.Properties[mpiGenre] := 'Драма';
  
  Item := HmsCreateMediaItem('http://test.da/4', FolderItem.ItemID);
  Item.Properties[mpiTitle] := 'Четвёртая';
  Item.Properties[mpiYear ] := '2020';
  Item.Properties[mpiGenre] := 'Фантастика';
end.

То же самое на C++Script:

// ОБЪЯВЛЕНИЕ ПЕРЕМЕННЫХ
THmsScriptMediaItem Item; // Создаваемый элемент подкаста

// ГЛАВНАЯ ПРОЦЕДУРА
{
  Item = HmsCreateMediaItem('http://test.da/1', FolderItem.ItemID);
  Item[mpiTitle] = 'Первая';
  Item[mpiYear ] = '1990';
  Item[mpiGenre] = 'Боевик';
  
  Item = HmsCreateMediaItem('http://test.da/2', FolderItem.ItemID);
  Item[mpiTitle] = 'Вторая';
  Item[mpiYear ] = '2000';
  Item[mpiGenre] = 'Приключения';
  
  Item = HmsCreateMediaItem('http://test.da/3', FolderItem.ItemID);
  Item[mpiTitle] = 'Третья';
  Item[mpiYear ] = '2010';
  Item[mpiGenre] = 'Драма';
  
  Item = HmsCreateMediaItem('http://test.da/4', FolderItem.ItemID);
  Item[mpiTitle] = 'Четвёртая';
  Item[mpiYear ] = '2020';
  Item[mpiGenre] = 'Фантастика';
}

В функии HmsCreateMediaItem вторым параметром указано значение FolderItem.ItemID - это передаётся ItemID папки, где будет создан элемент. Т.к. переменная FolderItem содержит объект текущего подкаста или папки класса THmsScriptMediaItem, то у него есть свойство ItemID и медиа-ссылка будет создана именно в текущем подкасте.

Если приведённый код выше скопировать и сохранить как текст скрипта создания ссылок на медиа-ресурсы, обновить подкаст, то справа в окне можно увидеть следующую картину:

Рис.6 Результат теста создания медиа-ссылок.

Ура, мы научились создавать подкаст. Почти. Осталось узнать ещё несколько функций, чтобы загрузить страницу, распарсить её и создать ссылки на настоящие видео-ресурсы.

Загрузка страниц сайта

Для того, чтобы загрузить страницу в программе Домашний медиа-сервер, проще всего использовать функцию HmsDownloadURL. Для этого в окне редактирования скрипта, на панели справа в справочнике функций в разделе "Интернет" находим данную функцию и смотрим какие параметры она может принимать:

HmsDownloadURL(const aURL: string; const aHeaders: string = ''; aAcceptCompressed: Boolean = False): Variant

Параметры функции:

1. aURL - URL (адрес) страницы, которую мы хотим загрузить (строка);
2. aHeaders - строка заголовков http протокола, разделённых символами перевода строки и каретки (0x0A + 0x0D) (необязательный параметр). Например, там можно указать, что мы типа браузер Firefox: "User-Agent: Mozilla/5.0 (X11; Linux i686; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"+#10#13;
3. aAcceptCompressed - если True, использовать сжатие GZip или Deflate при запросе (необязательный параметр);

Итак, чтобы загрузить страничку сайта мы можем выполнить команду:

sHtml = HmsDownloadURL(mpFilePath);

Которая загрузит в переменную sHtml содержимое страницы по ссылке, указанной в переменной mpFilePath. А переменная mpFilePath содержит, как мы уже знаем, ссылку указанную в настройках подкаста под полем наименования.

Давайте в нашем первом подкасте, с указанной в настройках ссылкой https://www.ted.com/talks?language=ru, напишем такой скрипт чтения списка ресурсов (язык C++Script):

// Глобальные переменные
string gsHtml; // Содержимое страницы сайта

// ГЛАВНАЯ ПРОЦЕДУРА
{
  gsHtml = HmsDownloadUrl(mpFilePath); // Загрузка страницы по ссылке
  gsHtml = gsHtml;
}

Команду gsHtml = gsHtml; мы вставили только для того, чтобы можно было поставить на неё точку останова, нажав на ней F5 или нажав мышкой левее этой строки. После запуска нашего скрипта по F9, программа остановит выполнение на нашей строке. После чего мы можем посмотреть значение переменной gsHtml в окне по Ctrl-F7.

Рис.6 Просмотр результата загрузки страницы сайта

Загрузить страничку получилось. Теперь нужно в полученном тексте страницы найти информацию о видео и создать ссылки на них. Будем использовать специальный объект для поиска блоков текста по регулярному выражению. Скажу вам честно, что даже при том, что вы научитесь писать подкасты и прекрасно будете уметь писать скрипты - думать над тем, где нужную информацию взять и какое регулярное выражение использовать в каждом конкретном случае, будет занимать основное время при создании любого подкаста.

Парсинг

Разбор текста с тем, чтобы найти нужную информацию и вычленить из неё конкретные значения нужных полей, таких как ссылка, название, длительность видео, называется общим словом "парсинг". Парсинг страницы с использованием регулярных выражений сводится к тому, чтобы сначала в тексте найти блок, содержащий информацию о видео (как минимум название и ссылку на страницу с видео), а потом в найденном блоке вычленить нужную информацию. Потом найти следующий блок и так далее.

Как понять где и что нужно искать? Всё приходит с опытом. Открываем страницу сайта https://www.ted.com/talks?language=ru в браузере. Там мы можем увидеть список новых видео выступлений, на которые мы будем создавать ссылки в подкасте.

Рис.7 Как выглядит список видео в браузере

Теперь откроем код страницы, нажав Ctrl-U (или какая там отвечает горячая клавиша вашего любимого браузера за показ содержимого страницы). Внимательно смотрим html код. Долго изучаем. Можно просто попытаться найти упоминание названия одного из видео в коде и найти те участки, которые содержат информацию о видео. В данном случае можно найти текст, где где-то после <div class='container results' id='browse-results'> перечисляется информация о каждом видео. Тут каждый блок текста, где есть нужная информация (как минимум ссылка и наименование), начинается с тега <div class='media media--sm-v'> и заканчивается закрывающимися тегами </div>.

Рис.8 Часть исходного кода страницы, где есть информация о видео

Смотрим, между какими значениями достаточно вырезать нужную информацию и пишем простейшее регулярное выражение, которое будет искать текст между двумя этими значениями: media--sm-v(.*?)meta__item. Что означает, что будет искаться блок текста между скобками (группировка), перед которым стоит media--sm-v и после которого идёт meta__item. (Внутри скобок точка означает любой символ, после неё нужно указать сколько любых символов: звёздочка - означает сколько угодно, знак вопроса - до первого совпадения следующих условий). Полностью тут описывать как работать с регулярками я не буду, об этом хорошо написано в Википедии и множестве других сайтов этому посвящённых. Также, если хотите, для создания и проверки работы регулярных выражений есть неплохой онлайн инструмент https://regex101.com/#python, где можно в "TEST STRING" вставить html код нашей странички и прям там проверить, правильно ли мы придумали и вылавливает ли наше регулярное выражение нужную инфу: https://regex101.com/r/bX0wS8/2.

Внимание! При использовании языка C++Script или JScript, в строках символ обратного слеша \ используется как экранирующий символ. Это значит, что в строках, которых мы хотим поставить знак обратного слеша, нужно ставить его двойным: \\. Будьте внимательны при переводе регулярок из PascalScript в C++Script и обратно. Например, регулярка test\(.*?)\this в PascalScript или других языках будет выглядеть в C++Script как test\\(.*?)\\this. Пятьсот тысяч раз спотыкался на этом.

Для работы с регулярными выражениями в программе Домашний медиа-сервер есть несколько функций и классов. Некоторые из них мы сейчас рассмотрим.

Класс TRegExpr.

В окне редактирования скрипта в справочнике справа найдём среди классов TRegExpr и посмотрим его функции. Объекты из классов создаются вызовом конструктора Create. Там мы видим, что при вызове создания такого объекта нужно указать первый параметр - регулярное выражение, вторым параметром можно задать опции. Опции для регулярок также определены как встроенные константы. В справочнике можно включить показ встроенных констант и там в группе "Другие" все константы, начинающиеся на PCRE - это константы опций для использования в регулярных выражениях (модификаторы, как в PHP). Например, PCRE_SINGLELINE - по сути PCRE_CASELESS+PCRE_DOTALL - означает, что текст, где будет происходить поиск, будет представляться как одна строка, совпадения искаться регистронезависимо и точка в регулярном выражении будет означать по-настоящему любой символ, в том числе и перевод строк.

У класса TRegExpr есть методы:

• Search - начать поиск в указанном тексте;
• SearchAgain - продолжить поиск после места последнего найденного совпадения;
• Match - получить содержимое найденного блока (группировки, т.е. содержимого между скобок в регулярке). Можно как параметр передать номер группировки, если в регулярке указано их несколько;
• Replace - заменить найденные совпадения на указанную строку;

А также есть свойство Subject - это и есть текст, в котором происходит поиск совпадений по регулярному выражению.

Данный класс обычно используют с организацией цикла, в котором по очереди находят каждый блок текста по совпадению условиям регулярки и обрабатывают его, создавая элементы подкаста.

Вот пример такого цикла на PascalScript:

  RegEx := TRegExpr.Create('media--sm-v(.*?)meta__item', PCRE_SINGLELINE); // Создаём объект поиска блоков текста 
  If RegEx.Search(gsHtml) Then // Если нашли совпадение, запускаем цикл
    Repeat

      //... тут обрабатываем то, что получаем от RegEx.Match, т.е. найденный блок

    Until Not RegEx.SearchAgain; // Повторяем цикл пока SearchAgain возвращает True
  RegEx.Free; // Освобождаем объект из памяти

Пример цикла на C++Script:

  TRegExpr RegEx = TRegExpr.Create('media--sm-v(.*?)meta__item', PCRE_SINGLELINE); // Создаём объект поиска блоков текста 
  if (RegEx.Search(gsHtml)) do { // Если нашли совпадение, запускаем цикл do ... while

  //... тут обрабатываем то, что получаем от RegEx.Match, т.е. найденный блок

  } while (RegEx.SearchAgain()); // Повторяем цикл пока SearchAgain возвращает True
  RegEx.Free(); // Освобождаем объект из памяти

Помните, что объекты, созданные через конструктор функцию Create потом нужно не забыть удалить из памяти функцией Free. А ещё лучше, обернуть выполнение кода после создания объекта в обработку исключений try ... и в блоке finally выполнить функцию Free для созданных объектов.

Функция HmsRegExMatch

Функция HmsRegExMatch служит для нахождения в строке соответствия по условию регулярного выражения. Может принимать 5 параметров, 3 из них обязательны.

HmsRegExMatch(const aRegEx, aSubject: string; var aMatch: string; aIndex: Integer = 1; aOptions: Integer = 0): Boolean 

Возможные параметры функции:

1. aRegEx - регулярное выражение (строка);
2. aSubject - текст, где будет происходить поиск по регулярному выражению (строка);
3. aMatch - переменная типа строка, куда будет занесено значение группировки (то, что между скобок) регулярного выражения в случае успешного совпадения;
4. aIndex - номер группировки (число, по-умолчанию 1);
5. aOptions - опции использования регулярных выражений (число, константы начинающиеся на PCRE_).

Функция возвращает True, если найдено совпадение и помещает значение группировки в переменную в третьем параметре. В случае если не найдено, значение переменной не меняется. С помощью этой функции удобно вычленять нужную информацию из текста. Например, получить значение ссылки или наименования из блока текста, который содержит информацию о видео или вырезание нужного блока из текста.

Пример использования. Пусть sText1 содержит строку <h2>Пример использования</h2><a href="http://test.me/please">Ссылка1</a>. Тогда после команды:

HmsRegExMatch('<a[^>]+href="(.*?)"', sText1, sText2);

sText2 будет содержать http://test.me/please. Тест. А после команды:

HmsRegExMatch('<a[^>]+href="(.*?)/(.*?)"', sText1, sText2, 2);

sText2 будет содержать please (потому как четвёртым параметром указано получить вторую группировку).

Функции HmsRegExMatch2 и HmsRegExMatch3 отличаются только количеством указания переменных для получения результата группировок без указания их номера.

Функция HmsHtmlToText

Функция HmsHtmlToText превращает html код в чистый текст без тегов и преобразовывает специальные сущности типа  , < и проч. в символы. Вторым параметром может быть код кодовой страницы Windows (Windows codepage). Полезна, например, после получения наименования из html избавиться от тегов и возможных html сущностей.

HmsHtmlToText(const aHtmlText: string; aCodePage: Integer = 0): string

Параметры функции:

1. aHtmlText - преобразуемый текст (строка);
2. aCodePage - кодовая страница (число: 1251 - Windows, 866 - DOS, 65001 - UTF-8, ...). Необязательный параметр.

Пример:

sText = HmsHtmlToText('<h2>Пример использования</h2><strong>полезной&nbsp;функции</strong>');

После выполнения команды выше, sText будет содержать текст: "Пример использования полезной функции".
Будьте внимательны,   будет преобразован в неразрывный пробел. На вид его в тексте не отличить (хотя дизайнеры, говорят, могут). Но вот код его будет не Chr(32), а Chr(160).

Функция HmsExpandLink

Функция HmsExpandLink преобразует относительную ссылку в полную, не относительную. Например, если в тексте страницы сайта https://www.ted.com/talks?language=ru мы найдём ссылку /talks/1, то этой командой мы может её сделать полной. Допустим, переменная sLink содержит относительную ссылку /talks/1:

sLink = HmsExpandLink(sLink, 'https://www.ted.com');

После выполнения данной команды в sLink будет уже https://www.ted.com/talks/1. Если до выполнения этой команды переменная уже содержит полную ссылку, то её значение не изменится. Эта функция просто избавляет нас от лишней проверки, какая ссылка там содержится и лишних телодвижений. Потому как иногда в разных местах html кода могут встречаться ссылки как относительные, так и нет. Например, на картинки или постеры.

Внимание, замечено, что не все виды относительных ссылок она обрабатывает правильно, а только тех, которые начинаются на слеш /. А в жизни на некоторых сайтах, в редких случаях, могут начинаться без слеша или на точку со слешем ./. Да и вообще, html код страниц может быть разнообразным и не всегда соответствовать стандартам и рекомендациям W3C.

Ну всё. Вот и были рассказаны несколько функций, с помощью которых можно загрузить, распарсить загруженную страницу и получить данные для создания ссылок на медиа-ресурсы. Можно писать скрипты. Готовы? Поехали.

Пишем скрипт получения ссылки на ресурс

Т.к. ссылки наших видео-ресурсов - это не ссылки на файлы, которые мы могли бы отдать медиа-плееру (телевизору) на проигрывание, то нам нужно написать скрипт получения ссылки на медиа-ресурс, который бы нашёл и присвоил переменной MediaResourceLink ссылку на реальный файл видео.

Заходим в редактирование скрипта получения ссылки на ресурс и пишем там программу, которая бы загрузила страницу видео с сайта и нашла бы там реальную ссылку.

Для этого точно так же открываем страницу с видео в браузере и смотрим html код этой страницы. Очень долго изучаем. В данном случае, ближе к концу страницы можно обнаружить javascript код, который в формате json содержит ссылки на видео файлы с разными языками и качеством (идёт после <script>q("talkPage.init"). Желательно изучить несколько страниц с разными видео, чтобы найти общую картину. Например тут, в нашем случае, если есть файлы видео с русскими субтитрами - кончаются на -ru.mp4. Если с русскими субтитрами нет, то можно просто взять первую ссылку на видео, после ключевого слова "high".

Раз мы ссылки на видео нашли, осталось только придумать регулярное выражение, по которому бы можно было найти и получить нам нужную ссылку. Здесь я просто приведу уже готовые регулярные выражения без объяснения. Почему именно они такие - это вам задание на изучение регулярных выражений. Потому как у меня пока не стоит цель обучить с ними работать.

Т.к. все функции вы уже знаете, осталось написать простой код, который бы это сделал.

// Объявления переменных
var
  gsHtml: String; // Загруженная страница сайта

// ГЛАВНАЯ ПРОЦЕДУРА
begin
  gsHtml := HmsDownloadUrl(mpFilePath); // Загрузка страницы по ссылке

  If Not HmsRegExMatch('"high":"([^"]+-ru.mp4)"', gsHtml, MediaResourceLink)  // Пробуем получить ссылку на медиаресурс
    Then HmsRegExMatch('"high":"(.*?)"'         , gsHtml, MediaResourceLink); // Если не получилось, то пробуем по-другому
end.

Наш скрипт получения ссылки на ресурс на C++Script:

// ГЛАВНАЯ ПРОЦЕДУРА
{
  string gsHtml = HmsDownloadUrl(mpFilePath); // Загрузка страницы по ссылке

  if (!HmsRegExMatch('"high":"([^"]+-ru.mp4)"', gsHtml, MediaResourceLink)) // Пробуем получить ссылку на медиаресурс
       HmsRegExMatch('"high":"(.*?)"'         , gsHtml, MediaResourceLink); // Если не получилось, то пробуем по-другому
}

Все команды вам тут известны. Из вышеприведённого кода вы должны усвоить две важные вещи:

1. Результат скрипта получения ссылки на ресурс для медиа-ссылок заносится в переменную MediaResourceLink;
2. Код должен быть как можно более простым.

Тестовое транскодирование

Конечно, первая проверка работоспособности проходит ещё на этапе отладки скрипта, когда вы его пишете или уже написали. Но окончательная проверка работоспособности получения видео и возможность его транскодирования делается в программе, когда есть ссылки медиа-ресурса (созданы обновлением подкаста) и написан скрипт получения ссылки на медиа-ресурс.

Можно запустить тестовое транскодирование, чтобы посмотреть, реально ли ваша ссылка на медиа-ресурс является ссылкой на видео файл. В случае, если доступа по такой ссылке не будет или ссылка получена не правильно, то процесса транскодирования не будет, будут выведены ошибки. Для того, чтобы запустить тестовое транскодирование, нужно на ссылке медиа-ресурса нажать правой клавишей мышки и в появившемся окне выбрать "Тестовое транскодирование". В выпавшем далее списке устройств нужно выбрать одно, например - "Устройство по умолчанию".

Рис.9 Запуск тестового транскодирования

После этого должно появиться черное консольное окно, в котором высвечиваются параметры транскодирования и вывод сообщений о самой работе транскодера:

Рис.10 Результат тестового транскодирования

Смотрите на надписи. Если через некоторое время будет показано как на картинке выше (Рис.10), где будет идти время и показан битрейт, то значит всё в порядке и ваша видео ссылка, скорее всего, будет работать и на телевизоре (медиа-плеере).

Если выходят ошибки или транскодирования не происходит, то при отладке скрипта получения ссылки на медиа-ресурс нужно перехватить то значение, которое попадает в переменную MediaResourceLink и попытаться эту ссылку вставить в браузер. В браузере должно начаться проигрывание видео или он должен предложить скачать указанный файл. Если предлагает скачать файл - скачиваем и пытаемся проиграть в любом плеере на компьютере. Если ни скачать, ни проиграть данный файл по полученной ссылке не получается, значит мы что-то сделали не так и получившееся ссылка не является рабочей. И нужно возвращаться к изучению того, как получить реальную ссылку на файл.

Заключение первой статьи о созданием подкастов

В данной статье были даны только базовые знания о функциях и классах. Как их использовать, какие есть переменные и константы. Что из себя представляем написание подкаста. Много нюансов и уточнений были опущены специально, чтобы не мешать всё в кучу для людей, которые только знакомятся с возможностями скриптов в программе.

Более подробно и больше информации частями будет дано в следующих статьях о написании подкастов. Там будет рассмотрено создание на реальном сайте онлайн-кинотеатра со всеми трудностями (конечно не всеми - они появляются везде как уникальные), которые вас могут ожидать при создании подкаста.

Некоторые подкасты можно взять для изучения, как они написаны.

C++Sript:

• Carambatv.ru
• Yaplakal.com
• TTV Autoplaylist
• Tree.TV

PascalScript:

• Торрент ТВ (избр 16 ; 9)

и другие подкасты, не помеченные [WH] (их лучше не смотреть).