Scrapear con phyton

Iniciado por carlosse · 3 may 2014 · 11 respuestas · 24.557 visitas

1. Ccarlosse3 may 2014
   No soy programador, aunque html y php si que ando un poco. El tema es que me quería meter a aprender a scrapear bien, con phyton y scrappy básicamente. Hay mucho manual en google, pero nada como la información de primera mano.
   
   1 .Algun consejo?
   2. Por qué tool empezar xpath, pyton básico?
   3. Carlos estás perdiendo el tiempo, dedicate a hacer webs..
   4. Alguien me enseñaría en Madrid, quedando 4-5 días o lo que necesitemos? a un precio fair para los dos...
2. Llobogris4 may 2014#2
   Yo todavía no me he puesto mucho con Python y lo parte de lo que me he puesto ha sido para esto hace unos pocos días ya que necesito hacer un bot a pleno rendimiento para sacar mails cosa para la que PHP no está a la altura aunque es completamente válido, pero te puedo decir que aquí https://github.com/scrapy/scrapy/wiki tienes tutos.
   
   Y para empezar tendrás que instalar Python si usas Windows porque creo que no viene por defecto, si usas una distro Linux ya viene y si usas Mac creo que también, después pues a escribir código xD. Puedes ejecutar código directamente en la consola escribiendo python, y te saldrá la consola de Python (>>>) y para salir escribes exit(), y para ejecutar un archivo externo, por ejemplo 'bot.py' escribes python bot.py en la consola y te lo ejecuta
   
   No te he dicho mucho, pero lo poco que es espero que te sirva de ayuda :)
3. SSauron4 may 2014#3
   Os recomendaría que vieseis la posibilidad de hacer el scraper en Golang. Este lenguaje esta pegando muy fuerte para el backend (apis...)
4. Llobogris4 may 2014#4

   Sauron escribió:Os recomendaría que vieseis la posibilidad de hacer el scraper en Golang. Este lenguaje esta pegando muy fuerte para el backend (apis...)

   
   Antes de utilizar Go prefiero utilizar NodeJS, instalas jQuery y ya tienes el mejor motor para 'navegar' el HTML que pueda existir. Además de que Node es rápidisimo y no es un mundo nuevo si ya sabes Javascript.
   Yo ni si quiera he mirado Go, pero me suena que leí hace un tiempo que no tiene excepciones porque los autores dijeron que eran innecesarias al ser excepciones xD y éstas se suelen utilizar bastante.
5. SSauron4 may 2014#5
   @lobogris la verdad no sabía que nodejs era tan eficiente :), pero creo que go le gana:
   http://jaxbot.me/articles/benchmarks_nodejs_vs_go_vs_php_3_14_2013
   
   De todas maneras la verdad cada vez soy menos fan de lo que hace Google y este lenguaje ha salido de ellos, así que no creo que me pase a hacer scraper en golang...
6. Llobogris4 may 2014#6

   Sauron escribió:@lobogris la verdad no sabía que nodejs era tan eficiente :), pero creo que go le gana:
   /articles/benchmarks_nodejs_vs_go_vs_php_3_14_2013
   
   De todas maneras la verdad cada vez soy menos fan de lo que hace Google y este lenguaje ha salido de ellos, así que no creo que me pase a hacer scraper en golang...

   
   NodeJS es muy rápido, más que Ruby y por ahí se andará con Python, pero estos tres tanto como Go son lenguajes tan rápidos en los cuales decidir en base a su velocidad es lo de menos porque prácticamente no lo vas a notar, quiero decir que habría que decidir más frente a consumo de recursos y para qué se van a usar. En cambio PHP pues ya se ve que se nota bastante xD, aunque personalmente para la programación web me quedo con éste (o Rails en su defecto) por la razón de que es con el que mejor me llevo además de su facilidad.
   Y sí, creo que yo tampoco programaré nunca en Go por la misma razón xD, de Google me quedo con Angular y Polymer y es más que suficiente xD.
   
   P.D: Al mencionarme no envía notificaciones?
7. SStarSplish30 ago 2014#7
   yo te are un post para scrapear con phyton pero no es recomendable..
8. Aarkako20 sept 2014#8

   StarSplish escribió:yo te are un post para scrapear con phyton pero no es recomendable..

   
   
   ¿porque no es recomendable scrapear con phyton?
9. RRhazz12 ene 2016#9

   StarSplish escribió:yo te are un post para scrapear con phyton pero no es recomendable..

   
   
   

   arkako escribió:¿porque no es recomendable scrapear con phyton?

   
   
   Y me dejó con la duda... :dodgy:
10. PPornoteca4K14 oct 2016#10
    ¿Qué es scrapear?
11. SSauron14 oct 2016#11

    Pornoteca4K escribió:¿Qué es scrapear?

    
    
    Scrapear es recorrer páginas webs y extraer datos de estas
12. CChiriz19 mar 2017#12
    Hola,
    
    Yo realizo Web Scraping con Python, con el Framework Scrapy.
    
    Modificas 4 archivos como máximo, y con eso podrás realizar todo.
    
    Puedo dejarles un tutorial que he creado yo, tambien tengo videos.
    
    Tutorial de Web Scraping Python
    
    PD. Espero responder la duda, y tambien no molestar al creador de este tema, si es así que me lo indique para crear mi propio tema.
    
    Saludos!

Este hilo pertenece al archivo del foro y ya no admite respuestas.