Oculta tu red de blog privada a tus competidores

Iniciado por Sauron · 14 sept 2014 · 12 respuestas · 29.293 visitas

1. SSauron14 sept 2014
   Con tantos bots rastreando internet es fácil ver las estrategias de SEO de tus competidores con herramientas como Ahrefs, MajesticSEO y similares. Lo que vamos a hacer es bloquear el paso a los robots de páginas que recopilan información SEO de cada web. Te recomiendo que ocultes tu red privada de blogs (PBN), para ello, debes subir a la carpeta raíz de nuestro proyecto el fichero robots.txt, que contiene:
   
   

   # Blocking bad link checker robots
   
   User-agent: Rogerbot 
   User-agent: Exabot 
   User-agent: MJ12bot 
   User-agent: Dotbot 
   User-agent: Gigabot 
   User-agent: AhrefsBot 
   User-agent: BlackWidow 
   User-agent: Bot\ mailto:craftbot@yahoo.com 
   User-agent: ChinaClaw 
   User-agent: Custo 
   User-agent: DISCo 
   User-agent: Download\ Demon 
   User-agent: eCatch 
   User-agent: EirGrabber 
   User-agent: EmailSiphon 
   User-agent: EmailWolf 
   User-agent: Express\ WebPictures 
   User-agent: ExtractorPro 
   User-agent: EyeNetIE 
   User-agent: FlashGet 
   User-agent: GetRight 
   User-agent: GetWeb! 
   User-agent: Go!Zilla 
   User-agent: Go-Ahead-Got-It 
   User-agent: GrabNet 
   User-agent: Grafula 
   User-agent: HMView 
   User-agent: HTTrack 
   User-agent: Image\ Stripper 
   User-agent: Image\ Sucker 
   User-agent: Indy\ Library
   User-agent: InterGET 
   User-agent: Internet\ Ninja 
   User-agent: JetCar 
   User-agent: JOC\ Web\ Spider 
   User-agent: larbin 
   User-agent: LeechFTP 
   User-agent: Mass\ Downloader 
   User-agent: MIDown\ tool 
   User-agent: Mister\ PiX 
   User-agent: Navroad 
   User-agent: NearSite 
   User-agent: NetAnts 
   User-agent: NetSpider 
   User-agent: Net\ Vampire 
   User-agent: NetZIP 
   User-agent: Octopus 
   User-agent: Offline\ Explorer 
   User-agent: Offline\ Navigator 
   User-agent: PageGrabber 
   User-agent: Papa\ Foto 
   User-agent: pavuk 
   User-agent: pcBrowser 
   User-agent: RealDownload 
   User-agent: ReGet 
   User-agent: SiteSnagger 
   User-agent: SmartDownload 
   User-agent: SuperBot 
   User-agent: SuperHTTP 
   User-agent: Surfbot 
   User-agent: tAkeOut 
   User-agent: Teleport\ Pro 
   User-agent: VoidEYE 
   User-agent: Web\ Image\ Collector 
   User-agent: Web\ Sucker 
   User-agent: WebAuto 
   User-agent: WebCopier 
   User-agent: WebFetch 
   User-agent: WebGo\ IS 
   User-agent: WebLeacher 
   User-agent: WebReaper 
   User-agent: WebSauger 
   User-agent: Website\ eXtractor 
   User-agent: Website\ Quester 
   User-agent: WebStripper 
   User-agent: WebWhacker 
   User-agent: WebZIP 
   User-agent: Wget 
   User-agent: Widow 
   User-agent: WWWOFFLE 
   User-agent: Xaldon\ WebSpider 
   User-agent: Zeus
   Disallow: /

   
   
   También puedes bloquear los bots usando el fichero .htaccess, como te muestro en este ejemplo:
   
   

   RewriteEngine On
   RewriteBase /
   
   RewriteCond %{HTTP_USER_AGENT} .*Twice.* [OR]
   RewriteCond %{HTTP_USER_AGENT} .*Yand.* [OR]
   RewriteCond %{HTTP_USER_AGENT} .*Voil.* [OR]
   RewriteCond %{HTTP_USER_AGENT} .*libw.* [OR]
   RewriteCond %{HTTP_USER_AGENT} .*Java.* [OR]
   RewriteCond %{HTTP_USER_AGENT} .*Sogou.* [OR]
   RewriteCond %{HTTP_USER_AGENT} .*psbot.* [OR]
   RewriteCond %{HTTP_USER_AGENT} .*Exabot.* [OR]
   RewriteCond %{HTTP_USER_AGENT} .*boitho.* [OR]
   RewriteCond %{HTTP_USER_AGENT} .*ajSitemap.* [OR]
   RewriteCond %{HTTP_USER_AGENT} .*Rankivabot.* [OR]
   RewriteCond %{HTTP_USER_AGENT} .*DBLBot.* [OR]
   RewriteCond %{HTTP_USER_AGENT} .*MJ1.* [OR]
   RewriteCond %{HTTP_USER_AGENT} .*Rankivabot.* [OR]
   RewriteCond %{HTTP_USER_AGENT} .*AhrefsBot.*
   RewriteRule ^(.*)$ http://anysite.com/ [L,R=301]
   
   Order Allow,Deny
   Allow from all
   Deny from 110.0.0.0/8
   Deny from 111.0.0.0/8
   Deny from 112.0.0.0/5
   Deny from 120.0.0.0/6
   Deny from 124.0.0.0/8
   Deny from 125.0.0.0/8
   Deny from 147.0.0.0/8
   Deny from 169.208.0.0
   Deny from 175.0.0.0/8
   Deny from 180.0.0.0/8
   Deny from 182.0.0.0/8
   Deny from 183.0.0.0/8
   Deny from 202.0.0.0/8
   Deny from 203.0.0.0/8
   Deny from 210.0.0.0/8
   Deny from 211.0.0.0/8
   Deny from 218.0.0.0/8
   Deny from 219.0.0.0/8
   Deny from 220.0.0.0/8
   Deny from 221.0.0.0/8
   Deny from 222.0.0.0/8

   
   
   Aquí tienes una lista de bots:
   http://foroblackhat.com/hilo-listado-de-bots-que-scrapean-internet
   
   También existe un plugin para Wordpress que puedes hacer esto cómodamente desde la administración de tu blog:
   https://www.mcssl.com/content/65522/link-privacy.zip
2. AAlekhine14 sept 2014#2
   Pues me viene cómo anillo al dedo!
3. Sseopacorro14 sept 2014#3
   Tambien puedes usar el plugin Spyder Spanker.
4. SSauron14 sept 2014#4

   seopacorro escribió:Tambien puedes usar el plugin Spyder Spanker.

   
   
   Ese plugin es de pago. Otra opción que acabo de ver es el plugin gratuito Wordfence:
   https://wordpress.org/plugins/wordfence/
   
   Tiene entre otras caracteristicas (copio de su página):
   

   Includes a firewall to block common security threats like fake Googlebots, malicious scans from hackers and botnets.
   
   Block entire malicious networks. Includes advanced IP and Domain WHOIS to report malicious IP's or networks and block entire networks using the firewall. Report security threats to network owner.

   
   
   Y siempre tienes la opción de hacerlo a mano con los ejemplos que he puesto en el primer mensaje :)
5. Sseopacorro14 sept 2014#5
   Si pones un precio a la seguridad de tu PBN, la cual te hace ganar dinero, y ese precio es 39 dolares, es poco dinero.
   
   Wordfence asegura el sitio web desde el backdoor, pero no lo hace la isolacion contra los boots.
   
   Lo gratis, al final sale caro :)
   
   
   

   Sauron escribió:

   seopacorro escribió:Tambien puedes usar el plugin Spyder Spanker.

   
   
   Ese plugin es de pago. Otra opción que acabo de ver es el plugin gratuito Wordfence:
   https://wordpress.org/plugins/wordfence/
   
   Tiene entre otras caracteristicas (copio de su página):
   

   Includes a firewall to block common security threats like fake Googlebots, malicious scans from hackers and botnets.
   
   Block entire malicious networks. Includes advanced IP and Domain WHOIS to report malicious IP's or networks and block entire networks using the firewall. Report security threats to network owner.

   
   
   Y siempre tienes la opción de hacerlo a mano con los ejemplos que he puesto en el primer mensaje :)

6. SSauron14 sept 2014#6
   @"seopacorro" tienes razón con lo gratis sale caro, a mi ya me han salido caras muchas cosas sobre todo en mis comienzos. Pero justo este caso, es una excepción xDDD, Wordfence hace lo mismo que el plugin de pago que tu comentas y además muchas más cosas, lo único tienes que configurarlo tú, indicando los bots y los rangos de IPs de estos, pero realmente eso es muy sencillo y en mi primer mensaje puedes sacar todo lo necesario.
7. Jjsto29 sept 2014#7

   Sauron escribió:@"seopacorro" tienes razón con lo gratis sale caro, a mi ya me han salido caras muchas cosas sobre todo en mis comienzos. Pero justo este caso, es una excepción xDDD, Wordfence hace lo mismo que el plugin de pago que tu comentas y además muchas más cosas, lo único tienes que configurarlo tú, indicando los bots y los rangos de IPs de estos, pero realmente eso es muy sencillo y en mi primer mensaje puedes sacar todo lo necesario.

   
   
   Nunca se me habría ocurrido usar Wordfence para bloquear los bots, iba buscando algún plugin pero creo que voy a probar lo que dices antes. Muchas gracias.
8. Bblackhatseba1 oct 2014#8
   Mi pregunta es si esos bots no usan proxys para poder rastrear las web?
9. SSauron1 oct 2014#9

   blackhatseba escribió:Mi pregunta es si esos bots no usan proxys para poder rastrear las web?

   
   
   Los crawlers de sitios como ahrefs, majesticseo y demás no se ocultan tras Proxies, tu puedes bloquearlos. El tema es que si cierto muchos bots para saltarse limitaciones que le ponen las webs a la hora de ser rastreadas emplean proxies, contra esto poco puedes hacer xD, hay algunos servicios como CloudFlare que algo "hacen", pero vamos siguen estando lejos de ser una buena solución.
10. Jjose77rz11 dic 2015#10
    Entonces si se puede hacer con el plugin Wordefence o es mejor el plugin de pago que recomendo compañero seopacorro?
11. Aalvarop30 ene 2016#11
    Buenas,
    buena lista!! gracias por compartir! Yo en wordpress personalmente uso Link Privacy y la verdad es que me va de lujo ;)
12. Mmecherito4 dic 2016#12
    Siempre mejor desde htacess para no dejar footprints de lo que hacemos.
13. KKuorFaN4 sept 2021#13
    Genial, gracias por el aporte.

Este hilo pertenece al archivo del foro y ya no admite respuestas.