nedeľa 19. júla 2015

Stop umelému trafiku alebo ako zastaviť spamovacie roboty

Zastaviť umelú návštevnosť (referral traffic) a zakázať (dať ban) doménu sú dva rozdielne pojmy aj keď priamo súvisia tématicky. Máme na výber tri možnosti! Záleží na tom, čo chceme a čo od nášho rozhodnutia očakávame.

Ak vám ide o zastavenie, teda zlikvidovania trafiku zapisovaným na google analytics počítadle, to môžete tak, že vytvoríte filter pre doménu a od aktualizácie filtra by sa nemala zobrazovať.

Ale je tu ešte jedna možnosť. Váš .htacces môže slúžiť k tomu na čo je určený a to je nielen na presmerovanie ale aj na zakazujúce procesy. Môžeme domény presmerovať ale môžeme im zakázať úplne vstupovať do root domény.

Presmerovanie nechcenej domény prichádzajúcej vytvárať umelý trafik:

RewriteCond %{HTTP_REFERER} floating-share-buttons.com [NC,OR]
RewriteCond %{HTTP_REFERER} floating-share-buttons.com
RewriteRule .* - [F]

Zakázať sa dá všetko a teda aj spam spôsobovaný umelým trafikom.


Upozorním však že v niektorých prípadoch môže dôjsť k zacykleniu.

Druhá verzia zakázania domény:

SetEnvIfNoCase Referer vchulkah spammer=yes
SetEnvIfNoCase Referer zoneg spammer=yes
SetEnvIfNoCase Referer floating-share-buttons spammer=yes
SetEnvIfNoCase Referer sharebutton\.net spammer=yes
SetEnvIfNoCase Referer mvsteel spammer=yes
SetEnvIfNoCase Referer pornogig spammer=yes
SetEnvIfNoCase Referer 4webmasters spammer=yes
SetEnvIfNoCase Referer brothers-smaller spammer=yes
SetEnvIfNoCase Referer ispaniya-costa-blanca spammer=yes
SetEnvIfNoCase Referer steelmaster spammer=yes
SetEnvIfNoCase Referer lawgibb spammer=yes
SetEnvIfNoCase Referer to2ko spammer=yes
SetEnvIfNoCase Referer darkoman spammer=yes
SetEnvIfNoCase Referer bmw\.afora spammer=yes
SetEnvIfNoCase Referer viel spammer=yes
SetEnvIfNoCase Referer urth spammer=yes
SetEnvIfNoCase Referer avkzarabotok spammer=yes
SetEnvIfNoCase Referer xn--90acenikpebbdd4f6d\.xn--p1ai spammer=yes
SetEnvIfNoCase Referer xoztovari spammer=yes
SetEnvIfNoCase Referer jobrate spammer=yes
SetEnvIfNoCase Referer karizha-house spammer=yes
SetEnvIfNoCase Referer med-poisk spammer=yes
SetEnvIfNoCase Referer bif-ru spammer=yes
SetEnvIfNoCase Referer semalt spammer=yes
SetEnvIfNoCase Referer buttons-for-website spammer=yes
SetEnvIfNoCase Referer seoanalyses spammer=yes
SetEnvIfNoCase Referer sex spammer=yes
SetEnvIfNoCase Referer clck spammer=yes
SetEnvIfNoCase Referer buttons-for-website spammer=yes
SetEnvIfNoCase Referer site5\.floating-share-buttons spammer=yes
SetEnvIfNoCase Referer site2\.floating-share-buttons spammer=yes
SetEnvIfNoCase Referer site1\.floating-share-buttons spammer=yes
SetEnvIfNoCase Referer www1\.free-social-buttons spammer=yes
SetEnvIfNoCase Referer www2\.free-social-buttons spammer=yes
SetEnvIfNoCase Referer www3\.free-social-buttons spammer=yes
SetEnvIfNoCase Referer www4\.free-social-buttons spammer=yes
SetEnvIfNoCase Referer www5\.free-social-buttons spammer=yes
SetEnvIfNoCase Referer free-social-buttons spammer=yes
SetEnvIfNoCase Referer webmonetizer spammer=yes
SetEnvIfNoCase Referer get-free-traffic-now spammer=yes
SetEnvIfNoCase Referer trafficmonetizer spammer=yes
SetEnvIfNoCase Referer yandex.ru/clck/jsredir?from=* spammer=yes
Deny from env=spammer
Rozhodne bodku v doméne je nutné oeskapovať, čiže použiť opačné lomítko (\.) aby nedošlo k zacykleniu.

Tretí spôsob zablokovania podľa IP adresy:

SetEnvIF X-Forwarded-For "00.000.00.000" DenyIP
SetEnvIF X-Forwarded-For "00.000.00.00" DenyIP
Deny from env=DenyIP

Takto zapísaná IP adresa je v trvalom zablokovaní, takže ak sa domnievate že toto je to pravé riešenie nečakajte a riešte problém hneď.

Písal som o troch konkrétnych možnostiach. Ako dodatok môžeme napísať pravidlo, že všetko čo obsahuje povedzme slovo "buttons" môžeme presmerovať:

RewriteCond %{HTTP_REFERER} buttons [NC]
RewriteRule .* - [F]

Veľa záleží na správnych nastaveniach.

Môžeme to samozrejme urobiť tvrdšie a razantnejšie a presmerovať pravidlá na robots txt súbor a do súboru zapísať pravidlo pre spamovací UserAgent. Takto zapísaný príkaz dá chybové hlásenie 500.

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} xenu [NC,OR]
RewriteCond %{HTTP_USER_AGENT} nutch [NC,OR]
RewriteCond %{HTTP_USER_AGENT} curl [NC,OR]
RewriteCond %{HTTP_USER_AGENT} larbin [NC,OR]
RewriteCond %{HTTP_USER_AGENT} heritrix [NC,OR]
RewriteCond %{HTTP_USER_AGENT} wget [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} baiduspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider+ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} exabot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} dotbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} FeedlyBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Feedspot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} spbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} XoviBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} SurdotlyBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Nachobot [NC]
RewriteRule !^robots\.txt$ - [F]

RewriteEngine On
RewriteCond %{HTTP_REFERER} floating\-share\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} social\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} simple\-share\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} free\-share\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} free\-social\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} site2\.floating\-share\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} 4webmasters\.org [NC,OR]
RewriteCond %{HTTP_REFERER} forum\.topic63942780\.darodar\.com [NC,OR]
RewriteCond %{HTTP_REFERER} webmonetizer\.net [NC,OR]
RewriteCond %{HTTP_REFERER} site1\.floating\-share\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} www\.Get\-Free\-Traffic\-Now\.com [NC,OR]
RewriteCond %{HTTP_REFERER} site5\.floating\-share\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} www2\.free\-social\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} trafficmonetizer\.org [NC,OR]
RewriteCond %{HTTP_REFERER} www5\.free\-social\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} www4\.free\-social\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} www3\.free\-social\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} www1\.free\-social\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} bingsandbox\.com [NC,OR]
RewriteCond %{HTTP_REFERER} jtemplate\.ru [NC,OR]
RewriteCond %{HTTP_REFERER} 100dollars\-seo\.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons\-for\-website\.com [NC,OR]
RewriteCond %{HTTP_REFERER} get\-free\-traffic\-now\.com [NC,OR]
RewriteCond %{HTTP_REFERER} semaltmedia\.com [NC,OR]
RewriteCond %{HTTP_REFERER} darodar\.com [NC,OR]
RewriteCond %{HTTP_REFERER} semalt\.com [NC,OR]
RewriteCond %{HTTP_REFERER} semalt\.semalt\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ilovevitaly\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ilovevitaly\.co [NC,OR]
RewriteCond %{HTTP_REFERER} ilovevitaly\.ru [NC,OR]
RewriteCond %{HTTP_REFERER} iloveitaly\.ro [NC,OR]
RewriteCond %{HTTP_REFERER} priceg\.com [NC,OR]
RewriteCond %{HTTP_REFERER} o\-o\-8\-o\-o\.ru [NC,OR]
RewriteCond %{HTTP_REFERER} see\-your\-website\-here\.com [NC,OR]
RewriteCond %{HTTP_REFERER} sharebutton\.net [NC]
RewriteRule .* - [F,L]
Týmto posielame na robots a v druhom bloku zakazujeme spamerov.

Do robots potom zapíšeme pravidlá:

User-agent: nutch
Disallow: /
User-agent: larbin
Disallow: /
User-agent: heritrix
Disallow: /
User-agent: wget
Disallow: /
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
User-agent: Baiduspider+
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: exabot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: FeedlyBot
Disallow: /
User-agent: Feedspot
Disallow: /
User-agent: spbot
Disallow: /
User-agent: XoviBot
Disallow: /
User-agent: SurdotlyBot
Disallow: /
User-agent: Nachobot
Disallow: /


Na začiatku malo stáť ako motto:

Registrujte svoje weby len tam kde sa nedočítate o nevhodných praktikách alebo... Testujte svoje webové stránky na overených seo testeroch na ktoré nie sú na nete žiadne nežiadúce komentáre.

Žiadne komentáre:

Zverejnenie komentára