nedeľa 19. júla 2015

Stop umelému trafiku alebo ako zastaviť spamovacie roboty

Zastaviť umelú návštevnosť (referral traffic) a zakázať (dať ban) doménu sú dva rozdielne pojmy aj keď priamo súvisia tématicky. Máme na výber tri možnosti! Záleží na tom, čo chceme a čo od nášho rozhodnutia očakávame.

Ak vám ide o zastavenie, teda zlikvidovania trafiku zapisovaným na google analytics počítadle, to môžete tak, že vytvoríte filter pre doménu a od aktualizácie filtra by sa nemala zobrazovať.

Ale je tu ešte jedna možnosť. Váš .htacces môže slúžiť k tomu na čo je určený a to je nielen na presmerovanie ale aj na zakazujúce procesy. Môžeme domény presmerovať ale môžeme im zakázať úplne vstupovať do root domény.

Presmerovanie nechcenej domény prichádzajúcej vytvárať umelý trafik:

RewriteCond %{HTTP_REFERER} floating-share-buttons.com [NC,OR]
RewriteCond %{HTTP_REFERER} floating-share-buttons.com
RewriteRule .* - [F]

Zakázať sa dá všetko a teda aj spam spôsobovaný umelým trafikom.


Upozorním však že v niektorých prípadoch môže dôjsť k zacykleniu.

Druhá verzia zakázania domény:

SetEnvIfNoCase Referer vchulkah spammer=yes
SetEnvIfNoCase Referer zoneg spammer=yes
SetEnvIfNoCase Referer floating-share-buttons spammer=yes
SetEnvIfNoCase Referer sharebutton\.net spammer=yes
SetEnvIfNoCase Referer mvsteel spammer=yes
SetEnvIfNoCase Referer pornogig spammer=yes
SetEnvIfNoCase Referer 4webmasters spammer=yes
SetEnvIfNoCase Referer brothers-smaller spammer=yes
SetEnvIfNoCase Referer ispaniya-costa-blanca spammer=yes
SetEnvIfNoCase Referer steelmaster spammer=yes
SetEnvIfNoCase Referer lawgibb spammer=yes
SetEnvIfNoCase Referer to2ko spammer=yes
SetEnvIfNoCase Referer darkoman spammer=yes
SetEnvIfNoCase Referer bmw\.afora spammer=yes
SetEnvIfNoCase Referer viel spammer=yes
SetEnvIfNoCase Referer urth spammer=yes
SetEnvIfNoCase Referer avkzarabotok spammer=yes
SetEnvIfNoCase Referer xn--90acenikpebbdd4f6d\.xn--p1ai spammer=yes
SetEnvIfNoCase Referer xoztovari spammer=yes
SetEnvIfNoCase Referer jobrate spammer=yes
SetEnvIfNoCase Referer karizha-house spammer=yes
SetEnvIfNoCase Referer med-poisk spammer=yes
SetEnvIfNoCase Referer bif-ru spammer=yes
SetEnvIfNoCase Referer semalt spammer=yes
SetEnvIfNoCase Referer buttons-for-website spammer=yes
SetEnvIfNoCase Referer seoanalyses spammer=yes
SetEnvIfNoCase Referer sex spammer=yes
SetEnvIfNoCase Referer clck spammer=yes
SetEnvIfNoCase Referer buttons-for-website spammer=yes
SetEnvIfNoCase Referer site5\.floating-share-buttons spammer=yes
SetEnvIfNoCase Referer site2\.floating-share-buttons spammer=yes
SetEnvIfNoCase Referer site1\.floating-share-buttons spammer=yes
SetEnvIfNoCase Referer www1\.free-social-buttons spammer=yes
SetEnvIfNoCase Referer www2\.free-social-buttons spammer=yes
SetEnvIfNoCase Referer www3\.free-social-buttons spammer=yes
SetEnvIfNoCase Referer www4\.free-social-buttons spammer=yes
SetEnvIfNoCase Referer www5\.free-social-buttons spammer=yes
SetEnvIfNoCase Referer free-social-buttons spammer=yes
SetEnvIfNoCase Referer webmonetizer spammer=yes
SetEnvIfNoCase Referer get-free-traffic-now spammer=yes
SetEnvIfNoCase Referer trafficmonetizer spammer=yes
SetEnvIfNoCase Referer yandex.ru/clck/jsredir?from=* spammer=yes
Deny from env=spammer
Rozhodne bodku v doméne je nutné oeskapovať, čiže použiť opačné lomítko (\.) aby nedošlo k zacykleniu.

Tretí spôsob zablokovania podľa IP adresy:

SetEnvIF X-Forwarded-For "00.000.00.000" DenyIP
SetEnvIF X-Forwarded-For "00.000.00.00" DenyIP
Deny from env=DenyIP

Takto zapísaná IP adresa je v trvalom zablokovaní, takže ak sa domnievate že toto je to pravé riešenie nečakajte a riešte problém hneď.

Písal som o troch konkrétnych možnostiach. Ako dodatok môžeme napísať pravidlo, že všetko čo obsahuje povedzme slovo "buttons" môžeme presmerovať:

RewriteCond %{HTTP_REFERER} buttons [NC]
RewriteRule .* - [F]

Veľa záleží na správnych nastaveniach.

Môžeme to samozrejme urobiť tvrdšie a razantnejšie a presmerovať pravidlá na robots txt súbor a do súboru zapísať pravidlo pre spamovací UserAgent. Takto zapísaný príkaz dá chybové hlásenie 500.

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} xenu [NC,OR]
RewriteCond %{HTTP_USER_AGENT} nutch [NC,OR]
RewriteCond %{HTTP_USER_AGENT} curl [NC,OR]
RewriteCond %{HTTP_USER_AGENT} larbin [NC,OR]
RewriteCond %{HTTP_USER_AGENT} heritrix [NC,OR]
RewriteCond %{HTTP_USER_AGENT} wget [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} baiduspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider+ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} exabot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} dotbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} FeedlyBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Feedspot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} spbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} XoviBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} SurdotlyBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Nachobot [NC]
RewriteRule !^robots\.txt$ - [F]

RewriteEngine On
RewriteCond %{HTTP_REFERER} floating\-share\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} social\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} simple\-share\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} free\-share\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} free\-social\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} site2\.floating\-share\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} 4webmasters\.org [NC,OR]
RewriteCond %{HTTP_REFERER} forum\.topic63942780\.darodar\.com [NC,OR]
RewriteCond %{HTTP_REFERER} webmonetizer\.net [NC,OR]
RewriteCond %{HTTP_REFERER} site1\.floating\-share\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} www\.Get\-Free\-Traffic\-Now\.com [NC,OR]
RewriteCond %{HTTP_REFERER} site5\.floating\-share\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} www2\.free\-social\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} trafficmonetizer\.org [NC,OR]
RewriteCond %{HTTP_REFERER} www5\.free\-social\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} www4\.free\-social\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} www3\.free\-social\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} www1\.free\-social\-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} bingsandbox\.com [NC,OR]
RewriteCond %{HTTP_REFERER} jtemplate\.ru [NC,OR]
RewriteCond %{HTTP_REFERER} 100dollars\-seo\.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons\-for\-website\.com [NC,OR]
RewriteCond %{HTTP_REFERER} get\-free\-traffic\-now\.com [NC,OR]
RewriteCond %{HTTP_REFERER} semaltmedia\.com [NC,OR]
RewriteCond %{HTTP_REFERER} darodar\.com [NC,OR]
RewriteCond %{HTTP_REFERER} semalt\.com [NC,OR]
RewriteCond %{HTTP_REFERER} semalt\.semalt\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ilovevitaly\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ilovevitaly\.co [NC,OR]
RewriteCond %{HTTP_REFERER} ilovevitaly\.ru [NC,OR]
RewriteCond %{HTTP_REFERER} iloveitaly\.ro [NC,OR]
RewriteCond %{HTTP_REFERER} priceg\.com [NC,OR]
RewriteCond %{HTTP_REFERER} o\-o\-8\-o\-o\.ru [NC,OR]
RewriteCond %{HTTP_REFERER} see\-your\-website\-here\.com [NC,OR]
RewriteCond %{HTTP_REFERER} sharebutton\.net [NC]
RewriteRule .* - [F,L]
Týmto posielame na robots a v druhom bloku zakazujeme spamerov.

Do robots potom zapíšeme pravidlá:

User-agent: nutch
Disallow: /
User-agent: larbin
Disallow: /
User-agent: heritrix
Disallow: /
User-agent: wget
Disallow: /
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
User-agent: Baiduspider+
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: exabot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: FeedlyBot
Disallow: /
User-agent: Feedspot
Disallow: /
User-agent: spbot
Disallow: /
User-agent: XoviBot
Disallow: /
User-agent: SurdotlyBot
Disallow: /
User-agent: Nachobot
Disallow: /


Na začiatku malo stáť ako motto:

Registrujte svoje weby len tam kde sa nedočítate o nevhodných praktikách alebo... Testujte svoje webové stránky na overených seo testeroch na ktoré nie sú na nete žiadne nežiadúce komentáre.

streda 8. júla 2015

Favicon.ico - prečo a načo je dôležitý

Favocon.ico je obrázok, ktorý je dôležitý ako predstaviteľ loga vašej webstránky. Zvyčajne ho zapisujeme do meta časti webu takto:

<link rel="icon" href="/sk/favicon.ico" type="image/x-icon">
alebo aj takto:
<link rel="icon" href="favicon.ico" type="image/x-icon">
záleží od toho kam favicon umiestnime, teda či je v priečinku s obrázkami alebo v root. Pokiaľ umiestnite favicon do oboch spomínaných častí tak potom robot vykoná nasledovné indexovanie:

Sto na sto alebo 100/100, aj takéto hodnoty dokážete urobiť pokiaľ viete čo chcete od svojho webu.


66.249.81.170 - - [08/Jul/2015:12:19:12 +0200] "GET /pt/ HTTP/1.0" 200 3231 "-" "Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google favicon"
66.249.81.170 - - [08/Jul/2015:12:19:12 +0200] "GET / HTTP/1.0" 200 3387 "-" "Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google favicon"
66.249.81.174 - - [08/Jul/2015:12:19:12 +0200] "GET /cz/ HTTP/1.0" 200 3560 "-" "Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google favicon"
66.249.81.174 - - [08/Jul/2015:12:19:12 +0200] "GET /sk/ HTTP/1.0" 200 3618 "-" "Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google favicon"
66.249.81.197 - - [08/Jul/2015:12:19:12 +0200] "GET / HTTP/1.0" 200 3009 "-" "Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google favicon"
66.249.81.170 - - [08/Jul/2015:12:19:12 +0200] "GET /fr/ HTTP/1.0" 200 3355 "-" "Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google favicon"
66.249.81.174 - - [08/Jul/2015:12:19:12 +0200] "GET /de/ HTTP/1.0" 200 3312 "-" "Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google favicon"
66.249.81.174 - - [08/Jul/2015:12:19:12 +0200] "GET /pt/favicon.ico HTTP/1.0" 200 799 "-" "Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google favicon"
66.249.81.170 - - [08/Jul/2015:12:19:12 +0200] "GET /favicon.ico HTTP/1.0" 200 799 "-" "Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google favicon"
66.249.81.170 - - [08/Jul/2015:12:19:12 +0200] "GET /ru/ HTTP/1.0" 200 3757 "-" "Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google favicon"
66.249.81.170 - - [08/Jul/2015:12:19:12 +0200] "GET /fr/favicon.ico HTTP/1.0" 200 799 "-" "Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google favicon"
66.249.81.170 - - [08/Jul/2015:12:19:12 +0200] "GET /sk/favicon.ico HTTP/1.0" 200 799 "-" "Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google favicon"
66.249.81.170 - - [08/Jul/2015:12:19:12 +0200] "GET /de/favicon.ico HTTP/1.0" 200 799 "-" "Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google favicon"
66.249.81.170 - - [08/Jul/2015:12:19:12 +0200] "GET /cz/favicon.ico HTTP/1.0" 200 799 "-" "Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google favicon"
66.249.81.170 - - [08/Jul/2015:12:19:12 +0200] "GET /es/ HTTP/1.0" 200 3297 "-" "Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google favicon"
66.249.81.197 - - [08/Jul/2015:12:19:12 +0200] "GET /img/favicon.ico HTTP/1.0" 200 805 "-" "Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google favicon"

Má to samozrejme niekoľko výhod ktoré vidíte zvýraznené tučným písmom. Nič zvláštne to nie je keď použijete obe varianty aplikácie favicon.ico a ako vidíte obe sú validované a indexované rovnocenne. Favicon má mať optimálne od 9 x 9 px do 16 x 16 px a optimálna veľkosť je do 800 Bajtov, najlepšia však okolo 500 Bajtov.

Htaccess treba samozrejme upraviť a dopísať direktívy:

<IfModule mod_headers.c>
    ExpiresByType image/x-icon "access plus 1 year"
    Header unset ETag
</IfModule>

AddType image/x-icon .ico

Pre obrázok typu favicon.ico je najlepšie určiť čo najdlhšiu dobu expirácie, teda jeden rok.