At individual scales the additional load is ignorable, but at mass scraper levels it adds up and makes scraping much more expensive. Ultimately, this is a placeholder solution so that more time can be spent on fingerprinting and identifying headless browsers (EG: via how they do font rendering) so that the challenge proof of work page doesn't need to be presented to users that are much more likely to be legitimate. Please note that Anubis requires the use of modern JavaScript features that plugins like JShelter will disable.
Kontext a účel adaptéru
Na nejnižších škálách je dodatečná zátěž zanedbatelná, ale při masivním škrábání dat se hromadí a zvyšuje náklady na scraping. Tento adaptor představuje dočasné řešení, které umožní věnovat více času fingerprintingu a identifikaci headless prohlížečů. Cílem je, aby stránka s důkazem práce (proof of work) nebyla zobrazována uživatelům, kteří jsou velmi pravděpodobně legitimní.
Princip fungování a jeho dopady
Jednou z hlavních myšlenek je, že na úrovních, kde lze jednotlivé dodatečné zátěže ignorovat, adaptor nepřináší výrazný dopad. Avšak při velkých objemech škrábání dat se tato zátěž kumuluje a navýší náklady na provoz. Přístup je navržen jako placeholder řešení, které dává čas na zdokonalení identifikace headless DNS/Browser prostředí a jazykového zpracování.
Technologie a omezení
- Využití moderních JavaScriptových prvků, které mohou být blokovány pluginy jako JShelter.
- Identifikace a fingerprinting pro odlišení legitimních uživatelů od botů a headless prohlížečů.
- Transparentnost a minimalizace dopadu na běžné uživatele při implementaci ochranných mechanismů.
Praktické aspekty implementace
- Vysoká úroveň designu adaptérů: integrace do existující architektury pro škrábání dat bez výrazného narušení uživatelské zkušenosti.
- Monitorování zátěže: sledování nákladů na výpočetní výkon a síťový provoz při různých objemech požadavků.
- Testování kompatibility: zajištění, že změny neporuší funkčnost legitímních uživatelů a kompatibilitu s moderními JS prvky.
Bezpečnostní a etické souvislosti
Zvyšování obtíží pro scraping má za cíl chránit obsah a data, avšak musí být vyváženo respektem k soukromí a legálním omezením. Identifikace headless prohlížečů a fingerprinting by měla být prováděna eticky a v souladu s platnými zákony a podmínkami použití.
Možné doprovodné formáty
V závislosti na konkrétním použití lze zvážit doplnění tabulky s klíčovými metrikami a časovým scénářem nasazení. Důležité jsou zejména ukazatele: zátěž na serveru, průměrná doba odpovědi, míra falešně pozitivních identifikací a vliv na uživatelskou zkušenost.
Výukový program FingerprintJS Pro - Jak zabránit vícenásobným registracím ve formuláři pomocí otisků prstů v prohlížeči
Závěr ve formě praktických doporučení
Pro postupné zvyšování odolnosti proti scraping je vhodné nejprve ověřit účinnost identifikace headless prohlížečů a zhodnotit dopad na legitimní uživatele. Důraz je kladen na efektivní vyvažování mezi ochranou obsahu a uživatelskou důvěrou, a na schopnost rychle reagovat na nové techniky škrábání dat.