1 Ответ от smsbox3

  • smsbox3
  • Гуру
  • Неактивен
  • Зарегистрирован: 2018.04.19
  • Сообщений: 540

Re: top-radio.ru

На сайте https://top-radio.ru/ поставили защиту от парсинга.
При просмотре заголовков отдает такое

 [0] => HTTP/1.1 200 OK
    [Server] => nginx
    [Date] => Sun, 06 Mar 2022 07:30:40 GMT
    [Content-Type] => text/html
    [Content-Length] => 38762
    [Connection] => close
    [Vary] => Accept-Encoding
    [X-IAuth-Set-Uid] => 4:cA4ntQmSoFJV2aKZ:1646551840873:cA4ntQmSoFJV2aKZ/vS/lRvQ4d9v1w9V20cVaUQ==:0000
    [X-Request-Id] => eUFCgKp9EuQ1
    [Cache-Control] => Array
        (
            [0] => no-cache
            [1] => no-cache
        )

    [Expires] => Sun, 06 Mar 2022 07:30:39 GMT
    [Pragma] => Array
        (
            [0] => no-cache
            [1] => no-cache
        )

    [Access-Control-Allow-Origin] => *
    [Set-Cookie] => rerf=AAAAAGIkYyC0BpaeISF6Ag==; expires=Tue, 05-Apr-22 07:30:40 GMT; path=/
    [P3P] => policyref="/w3c/p3p.xml", CP="CUR ADM OUR NOR STA NID"

Если сюда кидаю, то, что курл там читает - форум пишет про ошибку и отправляет пустое сообщение :)
Два вопроса как побороть защиту от парсинга на сайте top радио и почему форум падает от кода с того сайта?

2 Ответ от smsbox3

  • smsbox3
  • Гуру
  • Неактивен
  • Зарегистрирован: 2018.04.19
  • Сообщений: 540

Re: top-radio.ru

Если посмотреть на код, что читает curl с этого сайта видим ohio8.vchecks.io - это довольно распространенная защита от DDoS.
При запуске из отладчика не стартует, более того, похоже у себя ip в банлист вешает, так как после нескольких попыток отладки выдает 403 и при обращении без отладчика.

3 Ответ от smsbox3

  • smsbox3
  • Гуру
  • Неактивен
  • Зарегистрирован: 2018.04.19
  • Сообщений: 540

Re: top-radio.ru

Описание работы этой защиты нашел
https://forum.adguard.com/index.php?thr … -me.31348/

4 Ответ от smsbox3

  • smsbox3
  • Гуру
  • Неактивен
  • Зарегистрирован: 2018.04.19
  • Сообщений: 540

Re: top-radio.ru

Рекомендую два варианта решения
1) "Вытаскивайте скрипт и регуляркой добывайте utm refferef и ipp_key"  и поясняют "Чтобы решить задачу,надо смотреть запрос который идет от впрогнозе.В снифере бас он третий...Смотрите какие данные отправляет впрогнозе после чека варити и ищите те же данные в скрипте варити".

2) Другой вариант проще, вытащить из браузера куки и подсунуть в запрос на php, только бразуер надо на сервере запускать, где потом скрипт работать будет.

Осталось все это на php реализовать.