No soy experto en data mining con R, sé que existe algún paquete al respecto, pero no sé si R serÃa lo más adecuado para cantidades ingentes de datosâ¦
Saludos, Juan Carmona. De: Eduardo Bieñkowski [mailto:eduko...@gmail.com] Enviado el: miércoles, 04 de junio de 2014 17:07 Para: Joan Carmona CC: Isidro Hidalgo; r-help-es Asunto: Re: [R-es] Cargar csv de 16GB en R Si pero que pasarÃa entonces si lo que se necesita hacer es minerÃa de datos con R, y queda un fichero enorme a pesar de darle todos los filtros y selecciones posibles????? El 4 de junio de 2014, 8:24, Joan Carmona <jc...@carmonarocha.com <mailto:jc...@carmonarocha.com> > escribió: Es cierto que R carga los objetos en memoria, pero ésta puede ser memoria RAM + Virtual. Yo he trabajado con data frames mayores que la memoria fÃsica. Es cierto que esto ralentiza las operaciones. Lo que marca realmente los lÃmites de la memoria es la versión del sistema operativo y de R, que han de ser de 64 bits. En un sistema de 32 bits el direccionamiento teórico máximo es de 4 Gbytes, pero en un sistema de 64 bits el lÃmite es de varios Tbytes. Teóricamente (y sólo teóricamente) se podrÃa trabajar con objetos muy grandes, siempre que tengas suficiente espacio en disco. -----Mensaje original----- De: r-help-es-boun...@r-project.org <mailto:r-help-es-boun...@r-project.org> [mailto:r-help-es-boun...@r-project.org <mailto:r-help-es-boun...@r-project.org> ] En nombre de Isidro Hidalgo Enviado el: miércoles, 04 de junio de 2014 11:39 Para: 'r-help-es' Asunto: Re: [R-es] Cargar csv de 16GB en R ¿Memoria virtual y R? Por lo que tengo entendido, como ha dicho Carlos antes, R trabaja con la memoria fÃsica, por lo que nunca vas a poder trabajar simultáneamente con objetos que requieran más memoria que la RAM de tu equipo. De hecho, bajo mi punto de vista, es el problema fundamental de R. Si funcionara con memoria virtual... IGUAL HASTA ME CASABA CON ÃL, XD Asà que, por favor, si alguien puede aclarar este asunto, lo agradecerÃa enormemente... Un saludo a todos. Isidro Hidalgo Arellano Observatorio Regional de Empleo ConsejerÃa de Empleo y EconomÃa http://www.jccm.es > -----Mensaje original----- > De: r-help-es-boun...@r-project.org <mailto:r-help-es-boun...@r-project.org> > [mailto:r-help-es-bounces@r- <mailto:r-help-es-bounces@r-> > project.org <http://project.org> ] En nombre de Javier Marcuzzi Enviado el: > miércoles, 04 de > junio de 2014 1:54 > Para: Joan Carmona > CC: r-help-es; laura tomé > Asunto: Re: [R-es] Cargar csv de 16GB en R > > Estoy de acuerdo con la observación de Joan, yo supe utilizar formas > para trabajar con más memoria de la configurada como base, pero > tengamos en cuenta que una vez importados los datos, cualquier > operación estará entre la memoria fÃÂsica y la virtual, es todo un > desafÃÂo y dependerá del análisis estadÃÂstico (me refiero a los > algoritmos que ordenen al CPU). > > Mi experiencia cuándo trabaje con muchos datos y tocando los > parámetros de memoria, en algo parecido a un modelo mixto, una > variable 5 minutos de procesamiento, dos variables unos 15 minutos, > ambas más una relación más de dos dÃÂas de procesamiento, esa > relación en solo una variable algo como una hora. Básicamente podÃÂa > por separado, pero cuándo sumaba algo al modelo de tiempos razonables > pasaba a dos dÃÂas (medido en la pantalla de R porque pasaba datos > según procesaba - verbose=TRUE). > > Javier Marcuzzi > > > El 3 de junio de 2014, 18:54, Joan Carmona <jc...@carmonarocha.com > <mailto:jc...@carmonarocha.com> > > escribió: > > > Hola Laura, > > > > Asumo que estás usando una versión de R de 64 bits, de lo > > contrario ya irÃÂas muy limitada por la versión, si ésta fuera de 32 bits. > > > > R puede trabajar con objetos mayores que la memoria fÃÂsica > instalada, > > gracias a la memoria virtual de la máquina. > > > > Pero hay que tener en cuenta que, en Windows, R limita la memoria > > disponible para una sesión de R. Para cambiar este lÃÂmite, mira > > los comandos memory.size y memory.limit > > > > Saludos, > > > > Juan Carmona > > > > -----Mensaje original----- > > De: r-help-es-boun...@r-project.org > > <mailto:r-help-es-boun...@r-project.org> [mailto: > > r-help-es-boun...@r-project.org <mailto:r-help-es-boun...@r-project.org> ] > > En nombre de laura tomé > > Enviado el: martes, 03 de junio de 2014 19:37 > > Para: r-help-es@r-project.org <mailto:r-help-es@r-project.org> > > Asunto: [R-es] Cargar csv de 16GB en R > > > > > > > > > > Hola, > > > > Estoy todavÃÂa dando mis primeros pasos en R y una de las cosas que > > tengo que hacer es trabajar con un csv de 16 GB. Consta de 10 > > columnas, 7 númericas He probado varias cosas entre ellas los > > paquetes 'colbycol', data.table, ff , etc, pero nada, mi ordenador > > de queda frito. Por cierto, tiene 8GB de RAM y Windows 8 > > > > ÿDebo trocear previamente el csv,me recomendais algún paquete en > > especial, etc para trabajar con un fichero tan pesado, otra > solución?... > > > > Muchas gracias > > [[alternative HTML version deleted]] > > > > _______________________________________________ > > R-help-es mailing list > > R-help-es@r-project.org <mailto:R-help-es@r-project.org> > > https://stat.ethz.ch/mailman/listinfo/r-help-es > > > > [[alternative HTML version deleted]] _______________________________________________ R-help-es mailing list R-help-es@r-project.org <mailto:R-help-es@r-project.org> https://stat.ethz.ch/mailman/listinfo/r-help-es _______________________________________________ R-help-es mailing list R-help-es@r-project.org <mailto:R-help-es@r-project.org> https://stat.ethz.ch/mailman/listinfo/r-help-es -- Eduardo [[alternative HTML version deleted]]
_______________________________________________ R-help-es mailing list R-help-es@r-project.org https://stat.ethz.ch/mailman/listinfo/r-help-es