Posibles soluciones que se me ocurren además de las que te han comentado: 1) Utilizar PyTables (http://www.pytables.org/)
2) En lugar de volcar toda la información a memoria y trabajar contra ésta, ¿volcarlo a una base de datos SQLite y trabajar contra la base de datos? Salu2 2017-12-19 17:34 GMT+01:00 Pavel Stephan Muñoz <minib...@gmail.com>: > Me extraña un poco que una máquina con 32GB de RAM tenga problemas con un > fichero de 1GB. > > Qué posibilidades tienes de dividir el fichero en varios más pequeños? > Como con el comando split de unix/linux https://www. > computerhope.com/unix/usplit.htm > > Saludos, > Pavel Muñoz > > El 19 de diciembre de 2017, 16:43, LA REPISA <larep...@gmail.com> > escribió: > >> Gracias, es un fichero de más de 1 GB. Son más de 5 millones de registros >> con 34 variables... >> >> Parece que le cuesta con el chunk. La verdad que necesito trabajar con >> ese tipo de ficheros y python me gusta, pero creo que me voy a tener que >> cambiar de Software. Una pena. >> >> Gracias de nuevo >> >> Enviado desde mi iPhone >> >> El 19 dic 2017, a las 16:32, Pavel Stephan Muñoz <minib...@gmail.com> >> escribió: >> >> Hola. >> >> Y qué tamaño tiene el fichero? >> Con Pandas podrías intentar leyéndolo parte por parte utilizando el >> parámetro chunksize de la función read_table: >> >> pd.read_table('tmp.sv', sep=';', chunksize=100) >> >> A lo mejor y esto ayuda. Más info acá: >> http://pandas-docs.github.io/pandas-docs-travis/io.html#iter >> ating-through-files-chunk-by-chunk >> >> Saludos, >> Pavel Muñoz >> >> >> >> El 19 de diciembre de 2017, 16:17, LA REPISA <larep...@gmail.com> >> escribió: >> >>> Buenas tardes, >>> >>> Tengo un fichero plano cuyos campos están separados por ‘;’, cópo puedo >>> importarlo a un dataframe de Python. Al intentar importarlo me devuelve >>> “python no responde”, la máquina se queda sin recursos (es una máquina con >>> 32 GB de memoria RAM) >>> >>> Mil gracias >>> _______________________________________________ >>> Python-es mailing list >>> Python-es@python.org >>> https://mail.python.org/mailman/listinfo/python-es >>> >> >> >> >> -- >> *Pavel Stephan Muñoz* >> >> _______________________________________________ >> Python-es mailing list >> Python-es@python.org >> https://mail.python.org/mailman/listinfo/python-es >> >> >> _______________________________________________ >> Python-es mailing list >> Python-es@python.org >> https://mail.python.org/mailman/listinfo/python-es >> >> > > > -- > *Pavel Stephan Muñoz* > > _______________________________________________ > Python-es mailing list > Python-es@python.org > https://mail.python.org/mailman/listinfo/python-es > >
_______________________________________________ Python-es mailing list Python-es@python.org https://mail.python.org/mailman/listinfo/python-es
