1

Тема: защита от парсинга

Попался сайт https://ofxmo.xyz Там защита от считывания php стоит. Если пытаться прочитать и вывести, что отвечает сервер приходит сообщение что проверку не прошел и вызывает на моем сервере phpinfo(); Чтобы посмотреть что он там присылает вероятно надо в файл писать, а не браузером смотреть. Раньше этот сайт такими вещами не занимался. Возможно это временно и скоро отменят.

2

Re: защита от парсинга

smsbox3 пишет:

Попался сайт. Там защита

Через file_get_contents() загружаете страницу?
Или как-то по другому?

Отладка кода — это как охота. Только охота, на баги.

3

Re: защита от парсинга

Spell пишет:

Через file_get_contents() загружаете страницу?
Или как-то по другому?

Curl-ом. Сейчас, кстати, этот сайт перестал данную защиту мне отдавать. Вероятно, там ее включают время от времени. Посмотрю, что будет вечером и попробую записать в файл все, что отдается.

4

Re: защита от парсинга

smsbox3 пишет:

Curl-ом. Сейчас, кстати, этот сайт перестал данную защиту мне отдавать. Вероятно, там ее включают время от времени. Посмотрю, что будет вечером и попробую записать в файл все, что отдается.

А случаем, функция curl, не тa, что я вам давал?

Отладка кода — это как охота. Только охота, на баги.

5 (2020.01.29 11:27:35 отредактировано smsbox3)

Re: защита от парсинга

Spell пишет:

А случаем, функция curl, не тa, что я вам давал?

Точно та самая.
Кстати вот еще один сайт, что защищается  http://s4.kinokard.ru/
Уточнее, читаете этот сайт, но выдает

<!DOCTYPE html><html lang="en"><head><title>s4.kinokard.ru</title></head><body><script type="cfd3de664315617c4ed18e4a-text/javascript">(function(d,w,n){var cs;if(""!==(cs=d.cookie)){cs=cs.split("; ");for(var i=0,l=cs.length,c;i<l;++i){c=cs[i].split("=",2);if(n===c[0]&&"0"===c[1]){d.cookie=n+"=KBYfEg4CXlpMQQNYHRJURQQcUl5MQ0lTE1QeSBRBQwQUWVldVQlbSFAMLw; expires=Fri, 28 Feb 2020 11:26:19 GMT; domain=s4.kinokard.ru; path=/;";w.location.replace("/");break;}}}})(document,window,"bi");</script><script src="https://ajax.cloudflare.com/cdn-cgi/scripts/7089c43e/cloudflare-static/rocket-loader.min.js" data-cf-settings="cfd3de664315617c4ed18e4a-|49" defer=""></script></body></html>

6

Re: защита от парсинга

smsbox3 пишет:

Точно та самая.
Кстати вот еще один сайт, что защищается  http://s4.kinokard.ru/
Уточнее, читаете этот сайт, но выдает

<!DOCTYPE html><html lang="en"><head><title>s4.kinokard.ru</title></head><body><script type="cfd3de664315617c4ed18e4a-text/javascript">(function(d,w,n){var cs;if(""!==(cs=d.cookie)){cs=cs.split("; ");for(var i=0,l=cs.length,c;i<l;++i){c=cs[i].split("=",2);if(n===c[0]&&"0"===c[1]){d.cookie=n+"=KBYfEg4CXlpMQQNYHRJURQQcUl5MQ0lTE1QeSBRBQwQUWVldVQlbSFAMLw; expires=Fri, 28 Feb 2020 11:26:19 GMT; domain=s4.kinokard.ru; path=/;";w.location.replace("/");break;}}}})(document,window,"bi");</script><script src="https://ajax.cloudflare.com/cdn-cgi/scripts/7089c43e/cloudflare-static/rocket-loader.min.js" data-cf-settings="cfd3de664315617c4ed18e4a-|49" defer=""></script></body></html>

А в функции ssl  у вас равно 0 или 1; Это связано с отправкой данных, если http должно быть 0, а если https тогда равно 1

Отладка кода — это как охота. Только охота, на баги.

7

Re: защита от парсинга

Spell пишет:

А в функции ssl  у вас равно 0 или 1; Это связано с отправкой данных, если http должно быть 0, а если https тогда равно 1

На эти грабли я уже наступал :) 0 и 1 меняется в зависимости от протокола.

8 (2020.01.30 08:04:19 отредактировано Defrl)

Re: защита от парсинга

Там стоит cloudflare. Он может выводить страницу с подтверждением для подозрительных или новых запросов.
Может какие-то заголовки при парсинге не указаны (User-Agent или Referer)?

9

Re: защита от парсинга

Еще один сайт с защитой от парсинга  https://kinozayci.ru/ На этот раз от https://webhost1.ru/ отвечает кучей текста и опять же 5 секунд ожидания.

10

Re: защита от парсинга

Cloudflare на сайте http://f3.kinoxa.fun/
Кукисы получаю, подставляю но все равно не читает,  что-то еще надо. Не могу найти что же?

11 (2020.06.19 08:19:04 отредактировано matkin)

Re: защита от парсинга

smsbox3 пишет:

Cloudflare на сайте http://f3.kinoxa.fun/
Кукисы получаю, подставляю но все равно не читает,  что-то еще надо. Не могу найти что же?

Попрубуйте так.
'User-Agent=Android'

С уважением,
matkin

12

Re: защита от парсинга

smsbox3 пишет:

Cloudflare на сайте http://f3.kinoxa.fun/
Кукисы получаю, подставляю но все равно не читает,  что-то еще надо. Не могу найти что же?

Уточните, по какому url уходит post /?__cf_chl_jschl_tk__
всю инфу можно в личку,у меня сразу на сайт в браузере пускает,проверки нет. и отследить не могу как генерируются запросы

Отладка кода — это как охота. Только охота, на баги.