Comprobar masivamente las cabeceras HTTP de un listado de URL

Iniciado por Sauron · 21 ene 2014 · 0 respuestas · 5184 visitas

1. SSauron21 ene 2014
   Si queremos sacar un listado de urls con la respuesta HTTP que devuelven, por ejemplo 200 si la web existe o un 404 si la web no existe. La mejor herramienta online que he encontrado es:
   http://www.tomanthony.co.uk/tools/bulk-http-header-compare/
   
   He probrado enviar más de 1000 URL y no ha podido terminar la tarea, pero con 400 URLs si lo puede hacer perfectamente. Puedes ordenar las códigos de respuesta una vez haya acabado el análisis, pulsando en 'Response Code'
   
   El resultado puedes exportarlo a un CSV y abrirlo en excel y seleccionar las urls por ejemplo que tienen un 404, y comprobarles la autoridad con nuestra herramienta:
   http://foroblackhat.com/hilo-herramienta-para-comprobar-la-autoridad-de-un-listado-de-urls
   
   Y así registrarte los blogs eliminados que tienen autoridad.
   
   por ejemplo, el siguiente listado puede ser introducido tal cual en nuestro programa de comprobar autoridad, coge correctamente la url siempre cuando haya un espacio o tabulador que lo separe en este caso del 404:
   

   http://afistfullofstarstuff.tumblr.com	404	
   http://otakugeneration.tumblr.com	404	
   http://funny-gifs-videos.tumblr.com	404	
   http://matte-painting.tumblr.com	404	
   http://strive4allah.tumblr.com	404	
   http://kimijuanblog.tumblr.com	404	
   http://pornisfantastic.tumblr.com	404	
   http://foxthroughafender.tumblr.com	404	
   http://klainedestined.tumblr.com	404	
   http://richyxc93.tumblr.com	404	
   http://winglessnews.tumblr.com	404	
   http://deviljericho.tumblr.com	404	
   http://disney-tasthic.tumblr.com	404	
   http://pensiericontingenti.tumblr.com	404	
   http://joker1007.tumblr.com	404	
   http://pokehidden.tumblr.com	404	
   http://xcgirl08.tumblr.com	404	
   http://mustesnaisler.tumblr.com	404	
   http://mybaudelaire.tumblr.com	404	
   http://adverbadjective.tumblr.com	404	
   http://koryminx.tumblr.com	404	
   http://salutemyblog.tumblr.com	404	
   http://5redpandas.tumblr.com	404	
   http://tacticalhoneybadger.tumblr.com	404	
   http://mynameispetey.tumblr.com	404	
   http://icomefromthesun.tumblr.com	404	
   http://crystalline---green.tumblr.com	404	
   http://thepellucidpanda.tumblr.com	404	
   http://indywrestling.tumblr.com	404	
   http://timtebowonline.tumblr.com	404	
   http://sweet-phi.tumblr.com	404	
   http://calebthefox.tumblr.com	404	
   http://askthedelightfulchildren.tumblr.com	404	
   http://schniall.tumblr.com	404	
   http://calyps-oh.tumblr.com	404	
   http://realityoccasionally.tumblr.com	404	
   http://jwtroemner.tumblr.com	404	
   http://makototz.tumblr.com	404	
   http://thetemptingtemptations.tumblr.com	404	
   http://fuckyeahbedroomdecor.tumblr.com	404	
   http://mosh.tumblr.com	404	
   http://michellenotmarie.tumblr.com	404	
   http://itskshowtime.tumblr.com	404	
   http://news-kardashian.tumblr.com	404	
   http://fuckyeahvanswarped.tumblr.com	404	
   http://f33ny.tumblr.com	404	
   http://teachersinproduction.tumblr.com	404	
   http://greysanatomyheadcanons.tumblr.com	404	
   http://just-imagine-beautiful.tumblr.com	404	
   http://sehuns-rainbow-colored-jizz.tumblr.com	404	
   http://octoberweather-oversizedsweaters.tumblr.com	404	
   http://fredasaurusrex.tumblr.com	404	
   http://philallery.tumblr.com	404	
   http://oscarpetter.tumblr.com	404	
   http://villagepress.tumblr.com	404	
   http://twerkmag.tumblr.com	404	
   http://rirrilil.tumblr.com	404	
   http://tabasco-star.tumblr.com	404	
   http://fuckyeahsment-exo.tumblr.com	404	
   http://mazylelix.tumblr.com	404	
   http://livmenakedlunch.tumblr.com	404	
   http://missmariemjolnir.tumblr.com	404	
   http://chrisredford.tumblr.com	404	
   http://myownprivatelockerroom.tumblr.com	404	
   http://lauriesaysfuckoff.tumblr.com	404	
   http://weinenundlachen.tumblr.com	404	
   http://bythebear.tumblr.com	404	
   http://esmeweatherwax.tumblr.com	404	
   http://ask-survivor-simon-petrikov.tumblr.com	404	
   http://tanzania-gemstv.tumblr.com	404	
   http://dashboardemergency.tumblr.com	404	
   http://je-mappelle-michelle.tumblr.com	404	
   http://fastcashloans365.tumblr.com	404	
   http://harbisikerimbak.tumblr.com	404	
   http://sorryforaminutedeadforever.tumblr.com	404	
   http://lalexis.tumblr.com	404	
   http://cle0-patra.tumblr.com	404	
   http://cheerfulrealist.tumblr.com	404	
   http://iloveallan.tumblr.com	404	
   http://dinosaurrpuke.tumblr.com	404	
   http://revolutionaryk.tumblr.com	404	
   http://halleybutt.tumblr.com	404	
   http://itsmiazarring.tumblr.com	404	
   http://bad-reputation-96.tumblr.com	404	
   http://fitnessmadness.tumblr.com	404	
   http://ineedmoretimeforanime.tumblr.com	404	
   http://seattles0unders.tumblr.com	404	
   http://thethingsyouvedone.tumblr.com	404	
   http://gorgeousgreymatter.tumblr.com	404	
   http://saraanddarionpluscats.tumblr.com	404	
   http://kevosthename.tumblr.com	404	
   http://thepsychohaswritten.tumblr.com	404	
   http://thebrownpottery.tumblr.com	404	
   http://rwa42.tumblr.com	404	
   http://theseaofgreen.tumblr.com	404	
   http://munkiepoo.tumblr.com	404	
   http://ireblog4weed.tumblr.com	404	
   http://fyeahtonygoldwyn.tumblr.com	404	
   http://paigelovescorgis.tumblr.com	404	
   http://giveabookwormablog.tumblr.com	404	
   http://semirevolutionary.tumblr.com	404	
   http://vtheaterboxoffice.tumblr.com	404	
   http://starbgc.tumblr.com	404	
   http://lettersformybrothers.tumblr.com	404	
   http://mad-swtor-scribbles.tumblr.com	404	
   http://eilyphant.tumblr.com	404	
   http://arthistoryphotos.tumblr.com	404	
   http://yyzzx.tumblr.com	404	
   http://clandestinepopularity.tumblr.com	404	
   http://lordofthemisha.tumblr.com	404	
   http://deadsamo.tumblr.com	404	
   http://ladyofthefrills.tumblr.com	404	
   http://alexandernortonblog.tumblr.com	404	
   http://makennasnyder.tumblr.com	404	
   http://xiaoyao0620.tumblr.com	404	
   http://the-villain-in-training.tumblr.com	404	
   http://famousmenwearingtiaras.tumblr.com	404	
   http://super-jayzner.tumblr.com	404	
   http://venustemple.tumblr.com	404	
   http://navycorpsman-girlfriend.tumblr.com	404	
   http://itisthefuture.tumblr.com	404	
   http://singlekinkymaster.tumblr.com	404	
   http://best--ofluck2013watchonline1.tumblr.com	404	
   http://alphacouple.tumblr.com	404

Este hilo pertenece al archivo del foro y ya no admite respuestas.