<?xml version="1.0" encoding="utf-8"?>
<feed xmlns="http://www.w3.org/2005/Atom">
	<title type="html"><![CDATA[Неофициальный форум DLNA Home Media Server &mdash; Защита сайтов от парсинга.]]></title>
	<link rel="self" href="https://hms.lostcut.net/extern.php?action=feed&amp;tid=902&amp;type=atom" />
	<updated>2025-07-19T11:31:04Z</updated>
	<generator>PunBB</generator>
	<id>https://hms.lostcut.net/viewtopic.php?id=902</id>
		<entry>
			<title type="html"><![CDATA[Защита сайтов от парсинга.]]></title>
			<link rel="alternate" href="https://hms.lostcut.net/viewtopic.php?pid=18484#p18484" />
			<content type="html"><![CDATA[<p>Столкнулся с проверкой на бота - называется Анубис. Исходный код <a href="https://github.com/TecharoHQ/anubis">https://github.com/TecharoHQ/anubis</a><br />Полюбоваться на работу можно invidious.f5.si или invidious.nerdvpn.de<br />Осталось разобраться как обойти на php эти грабли.</p><p>вот, что пишут разработчики:<br />Anubis — это компромисс. Anubis использует схему Proof-of-Work, похожую на Hashcash, предлагаемую схему Proof-of-Work для борьбы со спамом в электронной почте. Идея заключается в том, что на отдельных уровнях дополнительная нагрузка игнорируется, но на уровне массового парсинга она накапливается и значительно удорожает сбор данных.</p><p>В конечном счете, это хак, чья настоящая цель — предоставить «достаточно хорошее» решение-заполнитель, чтобы можно было потратить больше времени на идентификацию и идентификацию headless-браузеров (например, по тому, как они выполняют рендеринг шрифтов), чтобы не отображать страницу с подтверждением работы пользователям, которые с гораздо большей вероятностью являются законными пользователями.</p><p>Обратите внимание, что Anubis требует использования современных функций JavaScript, которые такие плагины, как JShelter, отключают. Пожалуйста, отключите JShelter и другие подобные плагины для этого домена.</p>]]></content>
			<author>
				<name><![CDATA[smsbox3]]></name>
				<uri>https://hms.lostcut.net/profile.php?id=1305</uri>
			</author>
			<updated>2025-07-19T11:31:04Z</updated>
			<id>https://hms.lostcut.net/viewtopic.php?pid=18484#p18484</id>
		</entry>
</feed>
