Herramienta para extraer urls usando footprints

Iniciado por Sauron · 7 mar 2014 · 43 respuestas · 50.389 visitas

1. SSauron7 mar 2014
   
   Esta es de las herramientas más interesante que he hecho para el foro, podemos usarla para sacar miles de URLs usando footprints combinándolos con keywords, al puro estilo de ScrapeBox :). Si quieres usar la combinación de footprint junto con un listado de keywords, dentro del footprint debe estar la cadena %KW% que es la que se irá sustituyendo por cada keyword que has puesto en el listado.
   
   La página de resultados está dividida en dos partes, la de arriba que corresponde con un cuadro en el que se va mostrando los resultados:
   
   
   Como puedes ver tiene dos botones que ejecutan dos acciones diferentes, una es eliminar las urls duplicadas y la otra es quedarnos con los Root Domains y eliminar los duplicados, una vez que has ejecutado una acción no hay vuelta atrás, si quieres regresas al listado se debe ejecutar nuevamente. La última opción nos va a venir genial para encontrar blogs eliminados con el listado que obtengamos y pasándoselo al a herramienta Xenu, con la opción de Maximum depth puesta a 0 que encontrarás en Options > Preferences, para que sólo analice el listado de urls que le vamos a pasar desde un fichero .txt que habremos rellenado con el listado que hemos sacado de esta herramienta y pasándoselo a Xenu desde File > Check URL List. Aquí puedes ver una prueba que he hecho de 3500 URLs que ha sacado la herramienta, ha encontrado más de 20 que estaban eliminados.
   
   
   
   Para conseguir un listado de keywords, puedes usar la herramienta de sugerencias palabras clave:
   http://foroblackhat.com/herramientas/sugerirkeywords.php
   Nos generará un listado de más de 300 sugerencias.
   
   Puedes ver esta nueva herramienta en:
   http://foroblackhat.com/herramientas/scrapeador.php
2. Ddeidei7 mar 2014#2
   Es una pasada la herramienta, eres un artista
3. SSauron7 mar 2014#3
   @deidei me alegro que te guste :)
4. Mmiwel138 mar 2014#4
   Buenísima herramienta. Qué pedazo de trabajo... a este paso, el foro se va a convertir en algo muy grande!!
5. Kkerberos8 mar 2014#5
   Ya me quedan menos para los 10 mensajes, en cuanto pueda echarle mano a la herramienta, os comento. Pero decir que, a simple vista, tiene una pintaza increíble.
6. Sscp1310 mar 2014#6
   Una pregunta, cuando tienes los links en xenu hay alguna manera de sacar la lista para poder comprobar el da/pa o hay que hacerlo uno a uno.
   
   Saludos desde mi móvil :ugeek:
7. SSauron10 mar 2014#7
   @scp13 pues lo que hago es generar el reporte en Xenu y la sección de enlaces rotos (404) copio todas las líneas tal cual y lo pego en el herramienta para comprobar autoridad, ya la he puesto para que ignore cualquier línea que no sea una url :)
8. Sscp1310 mar 2014#8
   Gracias! Esta tarde los pasaré y seguro que cuelgo algún blog de tumblr para regalar :D
   
   Saludos desde mi móvil :ugeek:
9. AAlekhine23 mar 2014#9
   Joder impresionante, estoy impaciente por probar dicha herramienta.
10. Mmarias24 mar 2014#10
    Suena genial a ver que encuentro con ella :P, gracias.
11. Ssamek26 mar 2014#11
    Yo la e probado y funciona de maravilla vaya pedazo de currada.. Gracias por poner a dispósicion a todos los del foro este scraper que funciona como scrapebox..:D
12. Nnlopez29 mar 2014#12
    Muchas Gracias.
    

    ---

    
    Yo uso scraprebox y despues los paso por xenu.
13. Ddavidnacho3 abr 2014#13
    Grande Sauron,
    
    Vas a convertir este foro en un referente hispano sin duda...
    
    A ver si me paso más por aquí y vamos aportando conocimiento.
    
    Saludos.
14. Eelpoyo67 abr 2014#14
    Excelente aporte! Una pregunta como sabemos en el Xenu que estan eliminados? ya que a mi me dice en todas webs el status - OK en verde.
    Vale creo que ya lo entiendo, debera poner no found como en la imagen.
15. SSauron7 abr 2014#15

    elpoyo6 escribió:Excelente aporte! Una pregunta como sabemos en el Xenu que estan eliminados? ya que a mi me dice en todas webs el status - OK en verde

    
    
    La mayoría de webs estarán en verde, alrededor de 0,1 a 1% encontrarás eliminados. Cuando acabe Xenu crea un informe y ahí lo verás ;)
16. Iillonas7 abr 2014#16
    tiene buena pinta, veamos
17. Ddeidei8 abr 2014#17
    @Sauron no funciona el scrapeador o es que si metes este footprint no funciona site:com "Powered by drupal" inurl:blog "post a comment" -"comments closed" -"you must be logged in" %loquesea%
18. SSauron8 abr 2014#18

    deidei escribió:@Sauron no funciona el scrapeador o es que si metes este footprint no funciona site:com "Powered by drupal" inurl:blog "post a comment" -"comments closed" -"you must be logged in" %loquesea%

    
    
    Cierto metiendole los - al footprint se liaba, ya lo he solucionado!!
    
    Ten encuenta un footprint tan restrictivo debes usar keywords muy generales de una o dos palabras a la sumo y bien seleccionadas, porque has restringido mucho el campo de búsqueda.
    
    

    Powered by drupal" inurl:blog "post a comment" -"comments closed" -"you must be logged in" %KW% 

    
    
    En el listado de keywords si metes:
    juegos
    juegos gratis
    juegos flash
    juegos online
    
    Algo así muy genérico, sino no te va a arrojar resultados. Y aún así devuelve pocos xD
    
    También aviso este scrapeador no trabaja sobre Google, es un buscador alternativo que a su vez scrapea a Google, para evitar que se quemen muy rápido los proxies públicos que pongo, lo hago así, y por lo que veo footprint con tantas opciones no los trabaja muy bien. Por lo que recomiendo poner footprints algo más sencillitos ;)
    
    Muchas de las herramientas que he hecho se apoyan en proxies públicos, por lo que si notáis que van regular es posible que tenga muchos de los proxies quemados (se van descatando cada día estos), por lo que tenemos que ir renovandolos en:
    http://foroblackhat.com/herramientas/comprobarproxy.php
19. SSteve8 abr 2014#19
    Me esta gustando bastante este foro ya que @sauron se esta esmerando, gracias campeón!!!
20. Mm0ritz16 abr 2014#20
    Yo creo que esta tool tiene una cruzada contra mi jajajajaja es broma... tengo scrapebox cracked y me ha dejado de funcionar... me vengo a esta tool pongo:
    
    site:domain.com palabra
    
    Y le doy a buscar y se pega mil años buscando y...
    
    Contandores
    esperando: 0
    hechos: 0
    
    Y sigue buscando jajajajaja
21. CCloniKa25 abr 2014#21
    Que barbaridad! Es genial! Graciasss
22. Mmauroxan26 abr 2014#22
    No se cuentos mensajes mas van, pero necesito el scrapeador
    

    ---

    
    Bueno ahora quiero felicitar a toda la gente de este foro, absolutamente a todos ;)
23. SSilvia7727 abr 2014#23
    @mauroxan , son 10, pero 10 que no sean de flood, ni cosas sin sentio , spam, mesajes repetidos, mensajes sin sentido,... como estas haciendo. Por favor, para de hacerlo.
    Si necesitas usar las herramientas, aporta
24. Rrafffael27 abr 2014#24
    Muy buena la herramienta, las posibilidades de encontrar subdominios con autoridad es más facil con esta herramienta. Voy a probarla.
25. Mmozorro11 may 2014#25
    Se agradece lo del scrapeador, voy a probarlo cuando tenga un rato con algunos tumblr.
26. RRhan11 may 2014#26
    como te pasas! abra que probarla tiene MUY buena pinta! gracias
27. Ddavazquez12 may 2014#27
    Genial la herramienta, la estoy probando y va de vicio, me estoy volviendo adicto a este foro y a los cracks que colaboran en él. Y la combinación con Xenu abre unas posibilidades muy interesantes jeje.
    
    Un saludo y a seguir con este pedazo de foro ;)
    
    Edito para reiterar mi enhorabuena por la herramienta, en un rato he encontrado varios tumblr caducados con PA>30 para registrar.
28. Sshuldinier21 may 2014#28
    No veo la hora de empezar a utilizarla, gran trabajo!
29. AAmadeo198422 may 2014#29
    Yeah me encanta la herramienta! Scrapebox a veces y según los resultados que desees va algo lento.
    
    Gracias!
30. Cchanito25 may 2014#30
    Ya me queda poco para poder utilizarla, @sauron@ me encanta es para flipar!!!
31. Ddenoto5 jun 2014#31
    Probandolo ahora, grandísima herramienta, grandísimo trabajo!
    Gracias :D
32. EEl Nota24 ago 2014#32
    Estoy deseando usarla, pero creo que hacen falta 10 post para poder hacerlo.
    
    ¿Quedará algo interesante? :huh:
33. EEzkielnet28 ago 2014#33
    Tengo una duda @"Sauron" He seguido el tutorial y he encontrado varios tumbrl not found que en teoría no están registrados pero cuando voy a registrarlos tumblr me dice "alguien se ha adelantado blabla" pero la url sigue notfound. ¿Debe pasar algún periodo de tiempo para que se elimen completamente? Hay algunos con PA:50 y me da coraje. :dodgy:
    
    Un saludo.
34. Mmiriamjimz29 ago 2014#34
    Es la primera ocasion que estoy en un foro como este y la verdad que estoy maravillada!!
35. Ggeoh0t3 oct 2014#35
    me va a servir para solidificar mis tiers :)
36. TTalega5 dic 2014#36
    A mi no me funciona, no saca nada :S
37. BBloggr28 dic 2014#37
    y para que sirven? :S
38. Ccacharreando20148 ene 2015#38
    Hola Nicolas,
    
    tiene una pinta estupenda , en cuanto saque algo de tiempo la uso y te comento.
39. Ggustavober12 may 2015#39
    La herramienta sirve para scrapear artículos en español?
40. EEvolucion14 may 2015#40
    Uff, excelente herramienta, no la había visto, entre hoy de casualidad y me encuentro conque hay muchas mas heramientas. Gracias por esto y por lo que viene
41. EEddrick1 jun 2015#41
    Que buena idea se ve genial
42. Eemilio.agustin2 jun 2015#42
    Tiene una pinta excelente, deseando probarla.
    APORTAZO!
43. Ddanielgap2 jun 2015#43
    Una pinta estupenda. Ya es una suite con una buena cantidad de herramientas. Felicidades por el trabajo
44. CCharlie Govin11 jun 2015#44
    Gracias por las herramientas!! parecen muy utiles ! :)

Este hilo pertenece al archivo del foro y ya no admite respuestas.