Re: Защиты от чтения скриптом

null@example.com (WendyH) — Sat, 23 May 2020 13:17:42 +0000

new jsSHA("SHA-256", "TEXT") - это аналог на PHP функции hash("sha256", ...)

Чтобы посчитать значение куки, судя по коду, нужно взять значение challenge_token и прибавлять к нему кодированный в base64 номер попытки.
Получить хеш sha256 от этого и сравнить восемь ли битовых нулей у первого 16-ричного числа (ну т.е. это по-сути можно сравнить с "00").

Это всё видно из кода на js.

Вот пример на PHP:

Array(
    'method'=>"GET",
    'ignore_errors' => true,
    'header'=>"User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36\r\n"));
// Скачиваем html страницу
$html   = file_get_contents($url, false, stream_context_create($opts));
// Выкорябываем значение challenge_token из js-кода
$token  = preg_match('/challenge_token\s*=\s*"(.*?)"/', $html, $m) ? $m[1] : "";
// Вычисляем значение куки
$cookie = CalcCookie($token);
// Добавляем в HTTP-заголовки нужные Cookies
$opts["http"]["header"] .= "Cookie: deflect=$cookie; \r\n";
// Делаем запрос повторно
$xml = file_get_contents($url, false, stream_context_create($opts));

echo $xml;

exit();

////////////////////////////////////////////////////////////
// Вычисление значения deflect для сайта kavkaz-uzel
function CalcCookie($challenge_token) {
    $i = 0; $hash_value = 1; $solution = "";
    do {
        $i++;
        $rand_add = base64_encode($i);
        $solution = $challenge_token . $rand_add;
        $hash_value = hash("sha256", $solution);
    } while (substr($hash_value, 0, 2)!="00");
    return $solution;
}

Ха-ха, пока писал на форум, что-то с https://www.kavkaz-uzel.eu/articles.rss произошло, что-то там у них пошло не так.
10 минут назад работало.

P.S.: Теперь работает сайт как надо. Видимо, у них временами что-то не так.

Защиты от чтения скриптом

null@example.com (smsbox3) — Sat, 23 May 2020 07:50:37 +0000

Последнее время часто сайты стали использовать защиту от чтения. Для примера я хочу прочитать скриптом ленту rss по адресу

https://www.kavkaz-uzel.eu/articles.rss

Казалось бы rss он и предназначен для чтения скриптом, но авторы решили иначе. Напрямую прочитать не получается.
Там грузится вот такая штука



  
    
    
    Just a moment...

    

    

    

    

  

  
    
    
      
        
      
      DDoS protection for civil society

Из всего этого богатства нам потребуется

Здесь видим запись кука

 ocument.cookie="deflect" + "=" + solution+  "; expires="+expiration+"; path=/";

после чего переадресация и там уже грузит, то, что надо.
Проблемы у меня две. Получить правильный кукис и что с ним делать?
Если curlом читать, то есть файл cookies.txt - вероятно в него надо занести данные и после этого следующим curl уже получиться прочитать.
Данные частично есть
path=/"
expires= то же есть готовый

  var expiration = "Sun, 24 May 2020 06:42:20 GMT";

Осталось получить solution

var challenge_token = "clvJw4IYx0cXz3/Y6JM5CHaUUHlMF8peAAAAAA==";
var solution = challenge_token + rand_add;

rand_add получается в цикле и я не понимаю, что тут автор накрутили?

Неофициальный форум DLNA Home Media Server — Защиты от чтения скриптом

Re: Защиты от чтения скриптом

Защиты от чтения скриптом