<![CDATA[Неофициальный форум DLNA Home Media Server — защита от парсинга]]> https://hms.lostcut.net/viewtopic.php?id=734 Fri, 19 Jun 2020 10:54:55 +0000 PunBB <![CDATA[Re: защита от парсинга]]> https://hms.lostcut.net/viewtopic.php?pid=17002#p17002 smsbox3 пишет:

Cloudflare на сайте http://f3.kinoxa.fun/
Кукисы получаю, подставляю но все равно не читает,  что-то еще надо. Не могу найти что же?

Уточните, по какому url уходит post /?__cf_chl_jschl_tk__
всю инфу можно в личку,у меня сразу на сайт в браузере пускает,проверки нет. и отследить не могу как генерируются запросы

]]> Fri, 19 Jun 2020 10:54:55 +0000 https://hms.lostcut.net/viewtopic.php?pid=17002#p17002 <![CDATA[Re: защита от парсинга]]> https://hms.lostcut.net/viewtopic.php?pid=17001#p17001 smsbox3 пишет:

Cloudflare на сайте http://f3.kinoxa.fun/
Кукисы получаю, подставляю но все равно не читает,  что-то еще надо. Не могу найти что же?

Попрубуйте так.
'User-Agent=Android'

]]> Fri, 19 Jun 2020 05:18:07 +0000 https://hms.lostcut.net/viewtopic.php?pid=17001#p17001 <![CDATA[Re: защита от парсинга]]> https://hms.lostcut.net/viewtopic.php?pid=16994#p16994 Cloudflare на сайте http://f3.kinoxa.fun/
Кукисы получаю, подставляю но все равно не читает,  что-то еще надо. Не могу найти что же?

]]> Thu, 18 Jun 2020 12:05:38 +0000 https://hms.lostcut.net/viewtopic.php?pid=16994#p16994 <![CDATA[Re: защита от парсинга]]> https://hms.lostcut.net/viewtopic.php?pid=16296#p16296 Еще один сайт с защитой от парсинга  https://kinozayci.ru/ На этот раз от https://webhost1.ru/ отвечает кучей текста и опять же 5 секунд ожидания.

]]> Thu, 30 Jan 2020 12:43:00 +0000 https://hms.lostcut.net/viewtopic.php?pid=16296#p16296 <![CDATA[Re: защита от парсинга]]> https://hms.lostcut.net/viewtopic.php?pid=16294#p16294 Там стоит cloudflare. Он может выводить страницу с подтверждением для подозрительных или новых запросов.
Может какие-то заголовки при парсинге не указаны (User-Agent или Referer)?

]]> Thu, 30 Jan 2020 05:03:58 +0000 https://hms.lostcut.net/viewtopic.php?pid=16294#p16294 <![CDATA[Re: защита от парсинга]]> https://hms.lostcut.net/viewtopic.php?pid=16282#p16282 Spell пишет:

А в функции ssl  у вас равно 0 или 1; Это связано с отправкой данных, если http должно быть 0, а если https тогда равно 1

На эти грабли я уже наступал :) 0 и 1 меняется в зависимости от протокола.

]]> Wed, 29 Jan 2020 11:23:50 +0000 https://hms.lostcut.net/viewtopic.php?pid=16282#p16282 <![CDATA[Re: защита от парсинга]]> https://hms.lostcut.net/viewtopic.php?pid=16281#p16281 smsbox3 пишет:

Точно та самая.
Кстати вот еще один сайт, что защищается  http://s4.kinokard.ru/
Уточнее, читаете этот сайт, но выдает

<!DOCTYPE html><html lang="en"><head><title>s4.kinokard.ru</title></head><body><script type="cfd3de664315617c4ed18e4a-text/javascript">(function(d,w,n){var cs;if(""!==(cs=d.cookie)){cs=cs.split("; ");for(var i=0,l=cs.length,c;i<l;++i){c=cs[i].split("=",2);if(n===c[0]&&"0"===c[1]){d.cookie=n+"=KBYfEg4CXlpMQQNYHRJURQQcUl5MQ0lTE1QeSBRBQwQUWVldVQlbSFAMLw; expires=Fri, 28 Feb 2020 11:26:19 GMT; domain=s4.kinokard.ru; path=/;";w.location.replace("/");break;}}}})(document,window,"bi");</script><script src="https://ajax.cloudflare.com/cdn-cgi/scripts/7089c43e/cloudflare-static/rocket-loader.min.js" data-cf-settings="cfd3de664315617c4ed18e4a-|49" defer=""></script></body></html>

А в функции ssl  у вас равно 0 или 1; Это связано с отправкой данных, если http должно быть 0, а если https тогда равно 1

]]> Wed, 29 Jan 2020 10:31:46 +0000 https://hms.lostcut.net/viewtopic.php?pid=16281#p16281 <![CDATA[Re: защита от парсинга]]> https://hms.lostcut.net/viewtopic.php?pid=16278#p16278 Spell пишет:

А случаем, функция curl, не тa, что я вам давал?

Точно та самая.
Кстати вот еще один сайт, что защищается  http://s4.kinokard.ru/
Уточнее, читаете этот сайт, но выдает

<!DOCTYPE html><html lang="en"><head><title>s4.kinokard.ru</title></head><body><script type="cfd3de664315617c4ed18e4a-text/javascript">(function(d,w,n){var cs;if(""!==(cs=d.cookie)){cs=cs.split("; ");for(var i=0,l=cs.length,c;i<l;++i){c=cs[i].split("=",2);if(n===c[0]&&"0"===c[1]){d.cookie=n+"=KBYfEg4CXlpMQQNYHRJURQQcUl5MQ0lTE1QeSBRBQwQUWVldVQlbSFAMLw; expires=Fri, 28 Feb 2020 11:26:19 GMT; domain=s4.kinokard.ru; path=/;";w.location.replace("/");break;}}}})(document,window,"bi");</script><script src="https://ajax.cloudflare.com/cdn-cgi/scripts/7089c43e/cloudflare-static/rocket-loader.min.js" data-cf-settings="cfd3de664315617c4ed18e4a-|49" defer=""></script></body></html>
]]> Wed, 29 Jan 2020 08:24:38 +0000 https://hms.lostcut.net/viewtopic.php?pid=16278#p16278 <![CDATA[Re: защита от парсинга]]> https://hms.lostcut.net/viewtopic.php?pid=16277#p16277 smsbox3 пишет:

Curl-ом. Сейчас, кстати, этот сайт перестал данную защиту мне отдавать. Вероятно, там ее включают время от времени. Посмотрю, что будет вечером и попробую записать в файл все, что отдается.

А случаем, функция curl, не тa, что я вам давал?

]]> Wed, 29 Jan 2020 08:06:28 +0000 https://hms.lostcut.net/viewtopic.php?pid=16277#p16277 <![CDATA[Re: защита от парсинга]]> https://hms.lostcut.net/viewtopic.php?pid=16276#p16276 Spell пишет:

Через file_get_contents() загружаете страницу?
Или как-то по другому?

Curl-ом. Сейчас, кстати, этот сайт перестал данную защиту мне отдавать. Вероятно, там ее включают время от времени. Посмотрю, что будет вечером и попробую записать в файл все, что отдается.

]]> Wed, 29 Jan 2020 08:04:08 +0000 https://hms.lostcut.net/viewtopic.php?pid=16276#p16276 <![CDATA[Re: защита от парсинга]]> https://hms.lostcut.net/viewtopic.php?pid=16274#p16274 smsbox3 пишет:

Попался сайт. Там защита

Через file_get_contents() загружаете страницу?
Или как-то по другому?

]]> Wed, 29 Jan 2020 05:13:29 +0000 https://hms.lostcut.net/viewtopic.php?pid=16274#p16274 <![CDATA[защита от парсинга]]> https://hms.lostcut.net/viewtopic.php?pid=16273#p16273 Попался сайт https://ofxmo.xyz Там защита от считывания php стоит. Если пытаться прочитать и вывести, что отвечает сервер приходит сообщение что проверку не прошел и вызывает на моем сервере phpinfo(); Чтобы посмотреть что он там присылает вероятно надо в файл писать, а не браузером смотреть. Раньше этот сайт такими вещами не занимался. Возможно это временно и скоро отменят.

]]> Tue, 28 Jan 2020 21:28:57 +0000 https://hms.lostcut.net/viewtopic.php?pid=16273#p16273