Re: [Python-es] Pandas

[DiegoUG]

Nose si sea tu caso, pero en mi caso la uso para operaciones matemáticas
complejas.

El 30 de enero de 2017, 8:34, Kiko  escribió:

>
>
> El 29 de enero de 2017, 18:35, LA REPISA  escribió:
>
>> Buenas tardes,
>>
>> ¿Consideráis a Pandas una librería orientada al análisis de datos  o más
>> bien, una librería orientada al manejo y preparación de los datos (Data
>> munging)?
>>
>
> Depende. Mi respuesta es tan vaga como la pregunta :-)
>
> Define análisis de datos y define manejo y preparación de datos.
>
> Para lo segundo, sin duda es una herramienta increible.
> Para lo primero, si análisis de datos es sacar un promedio de los valores
> de una columna después de filtrar por determinadas condiciones entonces
> también vale. Si es aplicar un GBRT, un análisis cluster o hacer
> procesamiento de señal pues hay librerías más especializadas.
>
> Saludos.
>
>
>>
>> Un saludo desde Madrid
>>
>>
>> Enviado desde mi iPhone
>> ___
>> Python-es mailing list
>> Python-es@python.org
>> https://mail.python.org/mailman/listinfo/python-es
>>
>
>
> ___
> Python-es mailing list
> Python-es@python.org
> https://mail.python.org/mailman/listinfo/python-es
>
>


-- 
  *Diego Alonso Uribe Gamez*
--

*Desarrollador web*

Twitter: @DiegoUG 

Google+: +DiegoAlonsoUribeGamez

--
___
Python-es mailing list
Python-es@python.org
https://mail.python.org/mailman/listinfo/python-es

Re: [Python-es] scrapear un javascript

[Chema Cortes]

Ahora mismo, alrededor de javascript se ha montado un ecosistema tan arcano
que es dificil darte ideas generales que puedan aplicarse en cualquier
caso. Lo único que se puede hacer es esperar a que el navegador acabe por
mostrar todo el contenido y, aún así, nunca estarás seguro de que lo que
muestre no haya sido adaptado a tu situación geográfica, perfiles sociales
o, simplemente, que te hayan vetado tu IP por parecer un bot.

La idea del scraping es obtener información de una web que no es ofrecida
de otra manera. Lo ideal es que hubiera una API para obtener esta
información. (En Europa se empieza a ofrecer esta información desde las
administraciones públicas mediante opendata/opengov)

Si no has tenido suerte y, además, sigues empeñado en extraer la
información mediante python, mi consejo es usar webdriver (como te decía
lasizoillo), pero hazlo mediante Selenium. Aunque es más un framework para
diseñar pruebas de páginas webs, también hay quien lo usa para hacer
scraping. En los siguientes artículos puedes ver el proceso desde las
pruebas iniciales hasta definir un sistema de producción que funciona
mediante phantomjs (como también te decía lasizoillo):

http://thiagomarzagao.com/2013/11/12/webscraping-with-selenium-part-1/
http://thiagomarzagao.com/2013/11/14/webscraping-with-selenium-part-2/
http://thiagomarzagao.com/2013/11/15/webscraping-with-selenium-part-3/
http://thiagomarzagao.com/2013/11/16/webscraping-with-selenium-part-4/
http://thiagomarzagao.com/2013/11/17/webscraping-with-selenium-part-5/



El dom., 29 ene. 2017 a las 16:35, Gonzalo V () escribió:

> gracias javi, muy útil tu respuesta. ¿que más se debería saber cómo para
> tener un camino más certero?
>
> El 27 ene. 2017 8:26 AM, "lasizoillo"  escribió:
>
> Buenas,
>
> Para hacer scraping en sitios que abusan de javascript, siempre que no
> tengas unos criterios de eficiencia excesivos (en plan quiero un
> millón de requests hechas para mañana) y no te importe que el scraper
> use demasiada memoria, yo tiraría por echarle un vistazo a webdriver.
> Haces las pruebas manejando un chrome o un firefox y si todo va bien
> pasas a controlar un navegador headless como phantomjs.
>
> Te obliga a aprender tecnologías, pero a la larga te ahorra tiempo.
>
> Otra opción es investigar que hace ese javascript para simular su
> comportamiento con tu scraper. Googleando un poco tiene pinta que es
> una cosa tipo de .net y que hay ejemplos de como lidiar con ello:
>
>
> http://toddhayton.com/2015/05/04/scraping-aspnet-pages-with-ajax-pagination/
>
> http://stackoverflow.com/questions/23885771/scraping-with-dopostback-with-link-url-hidden
>
> Con la información que das tampoco se ser más concreto. Espero que te
> sea de utilidad.
>
> Un saludo,
>
> Javi
>
>
> El día 27 de enero de 2017, 5:33, Gonzalo V  escribió:
> > Hola amigos.
> > Estoy scrapeando un sitio web publico con urllib y beautifulsoup4 y hay
> unos
> > tab o lenguetas que se llenan a través de javascript. ¿cómo podría
> obtener
> > esa información?
> > este es el link, el href
> >   > id="ctl00_mainPlaceHolder_btnVotaciones"
> >
> href="javascript:__doPostBack(ctl00$mainPlaceHolder$btnVotaciones,)">Votaciones
> >
> > y no lo puedo abrir con urllib.request.urlopen
> >
> > alguien sabe cómo?, han tenido algún problema similar?
> >
> >
> >
> > Saludos,
> > Gonzalo
> >
> > ___
> > Python-es mailing list
> > Python-es@python.org
> > https://mail.python.org/mailman/listinfo/python-es
> >
> ___
> Python-es mailing list
> Python-es@python.org
> https://mail.python.org/mailman/listinfo/python-es
>
> ___
> Python-es mailing list
> Python-es@python.org
> https://mail.python.org/mailman/listinfo/python-es
>
-- 
Hyperreals *R  "Quarks, bits y otras criaturas infinitesimales":
http://blog.ch3m4.org 
___
Python-es mailing list
Python-es@python.org
https://mail.python.org/mailman/listinfo/python-es

Re: [Python-es] Pandas

[Kiko]

El 29 de enero de 2017, 18:35, LA REPISA  escribió:

> Buenas tardes,
>
> ¿Consideráis a Pandas una librería orientada al análisis de datos  o más
> bien, una librería orientada al manejo y preparación de los datos (Data
> munging)?
>

Depende. Mi respuesta es tan vaga como la pregunta :-)

Define análisis de datos y define manejo y preparación de datos.

Para lo segundo, sin duda es una herramienta increible.
Para lo primero, si análisis de datos es sacar un promedio de los valores
de una columna después de filtrar por determinadas condiciones entonces
también vale. Si es aplicar un GBRT, un análisis cluster o hacer
procesamiento de señal pues hay librerías más especializadas.

Saludos.


>
> Un saludo desde Madrid
>
>
> Enviado desde mi iPhone
> ___
> Python-es mailing list
> Python-es@python.org
> https://mail.python.org/mailman/listinfo/python-es
>
___
Python-es mailing list
Python-es@python.org
https://mail.python.org/mailman/listinfo/python-es

[Python-es] Pandas

[LA REPISA]

Buenas tardes,

¿Consideráis a Pandas una librería orientada al análisis de datos  o más bien, 
una librería orientada al manejo y preparación de los datos (Data munging)?


Un saludo desde Madrid


Enviado desde mi iPhone
___
Python-es mailing list
Python-es@python.org
https://mail.python.org/mailman/listinfo/python-es