1 Тема от smsbox3

  • smsbox3
  • Гуру
  • Неактивен
  • Зарегистрирован: 2018.04.19
  • Сообщений: 540

Тема: защита от парсинга

Попался сайт https://ofxmo.xyz Там защита от считывания php стоит. Если пытаться прочитать и вывести, что отвечает сервер приходит сообщение что проверку не прошел и вызывает на моем сервере phpinfo(); Чтобы посмотреть что он там присылает вероятно надо в файл писать, а не браузером смотреть. Раньше этот сайт такими вещами не занимался. Возможно это временно и скоро отменят.

2 Ответ от Spell

  • Spell
  • Spell
  • Модератор
  • Неактивен
  • Откуда: Здесь рядом
  • Зарегистрирован: 2016.09.12
  • Сообщений: 708

Re: защита от парсинга

smsbox3 пишет:

Попался сайт. Там защита

Через file_get_contents() загружаете страницу?
Или как-то по другому?

Отладка кода — это как охота. Только охота, на баги.

3 Ответ от smsbox3

  • smsbox3
  • Гуру
  • Неактивен
  • Зарегистрирован: 2018.04.19
  • Сообщений: 540

Re: защита от парсинга

Spell пишет:

Через file_get_contents() загружаете страницу?
Или как-то по другому?

Curl-ом. Сейчас, кстати, этот сайт перестал данную защиту мне отдавать. Вероятно, там ее включают время от времени. Посмотрю, что будет вечером и попробую записать в файл все, что отдается.

4 Ответ от Spell

  • Spell
  • Spell
  • Модератор
  • Неактивен
  • Откуда: Здесь рядом
  • Зарегистрирован: 2016.09.12
  • Сообщений: 708

Re: защита от парсинга

smsbox3 пишет:

Curl-ом. Сейчас, кстати, этот сайт перестал данную защиту мне отдавать. Вероятно, там ее включают время от времени. Посмотрю, что будет вечером и попробую записать в файл все, что отдается.

А случаем, функция curl, не тa, что я вам давал?

Отладка кода — это как охота. Только охота, на баги.

5 Ответ от smsbox3 (2020.01.29 11:27:35 отредактировано smsbox3)

  • smsbox3
  • Гуру
  • Неактивен
  • Зарегистрирован: 2018.04.19
  • Сообщений: 540

Re: защита от парсинга

Spell пишет:

А случаем, функция curl, не тa, что я вам давал?

Точно та самая.
Кстати вот еще один сайт, что защищается  http://s4.kinokard.ru/
Уточнее, читаете этот сайт, но выдает

<!DOCTYPE html><html lang="en"><head><title>s4.kinokard.ru</title></head><body><script type="cfd3de664315617c4ed18e4a-text/javascript">(function(d,w,n){var cs;if(""!==(cs=d.cookie)){cs=cs.split("; ");for(var i=0,l=cs.length,c;i<l;++i){c=cs[i].split("=",2);if(n===c[0]&&"0"===c[1]){d.cookie=n+"=KBYfEg4CXlpMQQNYHRJURQQcUl5MQ0lTE1QeSBRBQwQUWVldVQlbSFAMLw; expires=Fri, 28 Feb 2020 11:26:19 GMT; domain=s4.kinokard.ru; path=/;";w.location.replace("/");break;}}}})(document,window,"bi");</script><script src="https://ajax.cloudflare.com/cdn-cgi/scripts/7089c43e/cloudflare-static/rocket-loader.min.js" data-cf-settings="cfd3de664315617c4ed18e4a-|49" defer=""></script></body></html>

6 Ответ от Spell

  • Spell
  • Spell
  • Модератор
  • Неактивен
  • Откуда: Здесь рядом
  • Зарегистрирован: 2016.09.12
  • Сообщений: 708

Re: защита от парсинга

smsbox3 пишет:

Точно та самая.
Кстати вот еще один сайт, что защищается  http://s4.kinokard.ru/
Уточнее, читаете этот сайт, но выдает

<!DOCTYPE html><html lang="en"><head><title>s4.kinokard.ru</title></head><body><script type="cfd3de664315617c4ed18e4a-text/javascript">(function(d,w,n){var cs;if(""!==(cs=d.cookie)){cs=cs.split("; ");for(var i=0,l=cs.length,c;i<l;++i){c=cs[i].split("=",2);if(n===c[0]&&"0"===c[1]){d.cookie=n+"=KBYfEg4CXlpMQQNYHRJURQQcUl5MQ0lTE1QeSBRBQwQUWVldVQlbSFAMLw; expires=Fri, 28 Feb 2020 11:26:19 GMT; domain=s4.kinokard.ru; path=/;";w.location.replace("/");break;}}}})(document,window,"bi");</script><script src="https://ajax.cloudflare.com/cdn-cgi/scripts/7089c43e/cloudflare-static/rocket-loader.min.js" data-cf-settings="cfd3de664315617c4ed18e4a-|49" defer=""></script></body></html>

А в функции ssl  у вас равно 0 или 1; Это связано с отправкой данных, если http должно быть 0, а если https тогда равно 1

Отладка кода — это как охота. Только охота, на баги.

7 Ответ от smsbox3

  • smsbox3
  • Гуру
  • Неактивен
  • Зарегистрирован: 2018.04.19
  • Сообщений: 540

Re: защита от парсинга

Spell пишет:

А в функции ssl  у вас равно 0 или 1; Это связано с отправкой данных, если http должно быть 0, а если https тогда равно 1

На эти грабли я уже наступал :) 0 и 1 меняется в зависимости от протокола.

8 Ответ от Defrl (2020.01.30 08:04:19 отредактировано Defrl)

  • Defrl
  • Участник
  • Неактивен
  • Зарегистрирован: 2018.11.16
  • Сообщений: 22

Re: защита от парсинга

Там стоит cloudflare. Он может выводить страницу с подтверждением для подозрительных или новых запросов.
Может какие-то заголовки при парсинге не указаны (User-Agent или Referer)?

9 Ответ от smsbox3

  • smsbox3
  • Гуру
  • Неактивен
  • Зарегистрирован: 2018.04.19
  • Сообщений: 540

Re: защита от парсинга

Еще один сайт с защитой от парсинга  https://kinozayci.ru/ На этот раз от https://webhost1.ru/ отвечает кучей текста и опять же 5 секунд ожидания.

10 Ответ от smsbox3

  • smsbox3
  • Гуру
  • Неактивен
  • Зарегистрирован: 2018.04.19
  • Сообщений: 540

Re: защита от парсинга

Cloudflare на сайте http://f3.kinoxa.fun/
Кукисы получаю, подставляю но все равно не читает,  что-то еще надо. Не могу найти что же?

11 Ответ от matkin (2020.06.19 08:19:04 отредактировано matkin)

  • matkin
  • matkin
  • Участник
  • Неактивен
  • Зарегистрирован: 2017.06.14
  • Сообщений: 70

Re: защита от парсинга

smsbox3 пишет:

Cloudflare на сайте http://f3.kinoxa.fun/
Кукисы получаю, подставляю но все равно не читает,  что-то еще надо. Не могу найти что же?

Попрубуйте так.
'User-Agent=Android'

С уважением,
matkin

12 Ответ от Spell

  • Spell
  • Spell
  • Модератор
  • Неактивен
  • Откуда: Здесь рядом
  • Зарегистрирован: 2016.09.12
  • Сообщений: 708

Re: защита от парсинга

smsbox3 пишет:

Cloudflare на сайте http://f3.kinoxa.fun/
Кукисы получаю, подставляю но все равно не читает,  что-то еще надо. Не могу найти что же?

Уточните, по какому url уходит post /?__cf_chl_jschl_tk__
всю инфу можно в личку,у меня сразу на сайт в браузере пускает,проверки нет. и отследить не могу как генерируются запросы

Отладка кода — это как охота. Только охота, на баги.