[R-es] ORACLE SQL/ LEER DATOS EN R

2017-12-06 Thread Antonio Rodriguez Andres 
Estimados usuarios de R

Buenos días a todos los usuarios. Estamos intentando abrir una base de
datos de ORACLE en R. Es una base de datos muy grande con datos inviduales
sobre empleo de los individuos y sus caracteristicas. He echado un vistazo
a https://www.r-bloggers.com/connecting-r-to-an-oracle-database/,y
aparecen algunas instrucciones y el paquete RODBC.

Alguien tiene experiencia con estas bases de datos? donde podria encontrar
mas informacion? Asumo que otro problema puede ser el problema de memoria
en el ordenador, al ser una enorme base de datos. Pero esto entiendo que se
puede solucionar.

Agradeceria cualquier sugerencia o ayuda

Saludos
Antonio

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] ORACLE SQL/ LEER DATOS EN R

2017-12-06 Thread Francisco Rodríguez 
Con oracle puedes usar, si tu máquina es de 64bits la librería Roracle que va 
muy bien y no es muy complicada de instalar.


Hay que distinguir 2 cosas, cuando accedes a la base de datos y allí haces la 
consulta, eso da igual si lo haces con RODBC o Roracle y cuando cargas los 
datos en tu data.frame, en esta operación, ya no está usando el gestor de base 
de datos sino tu propio R. La velocidad y cantidad de datos que puedas cargar 
dependerá en el segundo paso de tu máquina y del software, es aquí donde merece 
la pena para grandes datos usar Roracle porque debería ir mejor.


Claramente la limitación la vas a tener ya que al cargar los datos en memoria 
podrá alogar el máximo de RAM de que disponga tu máquina local, aunque puede ir 
consultando por partes

esto no deja de ser una "chapuza" con la que hay que convivir en R, lo ideal 
aquí sería que conforme vas leyendo escribir en disco duro y liberar memoria 
para seguir leyendo el resto de os datos y así ir por bloques, sobre todo si tu 
data.frame va a pesar más de 20GB (salvo que dispongas de un servidor), aquí te 
las tendrás que ingeniar yo no he visto (salvo que alguien conozca algo más) 
librerías que me permitan hacer esta operación de modo lo más optimizado 
posible, cuando me ha ocurrido esto he tenido que montarme alguna función para 
hacerlo y lógicamente el proceso puede ser bastante lento

Por tanto mi recomendación si vas a trabajar con Oracle y si tienes una máquina 
de 64bits es que al menos uses ROracle, funciona bastante bien

Un saludo

Un saludo

De: R-help-es  en nombre de ismael mardomingo 

Enviado: miércoles, 6 de diciembre de 2017 11:12
Para: Antonio Rodriguez Andres; r-help-es
Asunto: Re: [R-es] ORACLE SQL/ LEER DATOS EN R

Yo he accedido sin problemas a bases de datos de Oracle desde R con el paquete 
RODBC. Si tienes tablas muy grandes siempre puedes realizar la lectura por 
partes a trav�s de consultas.



Para poder acceder he configurado, trabajo con Windows, en Herramientas 
Administrativas -->Or�genes de Datos ODBC (32 o 64 bits seg�n el sistema que 
tengas) un origen de datos a la base de datos Oracle que utilizo para 
conectarme desde R con el paquete RODBC y accedes sin problemas.



Un saludo,

Ismael



Enviado desde Correo para 
Windows 10




De: R-help-es  en nombre de Antonio Rodriguez 
Andres 
Enviado: Wednesday, December 6, 2017 10:10:19 AM
Para: r-help-es
Asunto: [R-es] ORACLE SQL/ LEER DATOS EN R

Estimados usuarios de R

Buenos d�as a todos los usuarios. Estamos intentando abrir una base de
datos de ORACLE en R. Es una base de datos muy grande con datos inviduales
sobre empleo de los individuos y sus caracteristicas. He echado un vistazo
a https://www.r-bloggers.com/connecting-r-to-an-oracle-database/,y
aparecen algunas instrucciones y el paquete RODBC.

Alguien tiene experiencia con estas bases de datos? donde podria encontrar
mas informacion? Asumo que otro problema puede ser el problema de memoria
en el ordenador, al ser una enorme base de datos. Pero esto entiendo que se
puede solucionar.

Agradeceria cualquier sugerencia o ayuda

Saludos
Antonio

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es
Página de Información de 
R-help-es
stat.ethz.ch
Esta es una lista de correo para solicitar ayuda sobre R en español y se 
entiende como un complemento social a la documentación, libros, etc. 
disponibles sobre R ...




[[alternative HTML version deleted]]


[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] ORACLE SQL/ LEER DATOS EN R

2017-12-06 Thread Antonio Rodriguez Andres 
Muchas gracias por la ayuda y el consejo

Saludos

2017-12-06 12:31 GMT+01:00 Francisco Rodríguez :

> Con oracle puedes usar, si tu máquina es de 64bits la librería Roracle que
> va muy bien y no es muy complicada de instalar.
>
>
> Hay que distinguir 2 cosas, cuando accedes a la base de datos y allí haces
> la consulta, eso da igual si lo haces con RODBC o Roracle y cuando cargas
> los datos en tu data.frame, en esta operación, ya no está usando el gestor
> de base de datos sino tu propio R. La velocidad y cantidad de datos que
> puedas cargar dependerá en el segundo paso de tu máquina y del software, es
> aquí donde merece la pena para grandes datos usar Roracle porque debería ir
> mejor.
>
>
> Claramente la limitación la vas a tener ya que al cargar los datos en
> memoria podrá alogar el máximo de RAM de que disponga tu máquina local,
> aunque puede ir consultando por partes
> esto no deja de ser una "chapuza" con la que hay que convivir en R, lo
> ideal aquí sería que conforme vas leyendo escribir en disco duro y liberar
> memoria para seguir leyendo el resto de os datos y así ir por bloques,
> sobre todo si tu data.frame va a pesar más de 20GB (salvo que dispongas de
> un servidor), aquí te las tendrás que ingeniar yo no he visto (salvo que
> alguien conozca algo más) librerías que me permitan hacer esta operación de
> modo lo más optimizado posible, cuando me ha ocurrido esto he tenido que
> montarme alguna función para hacerlo y lógicamente el proceso puede ser
> bastante lento
>
> Por tanto mi recomendación si vas a trabajar con Oracle y si tienes una
> máquina de 64bits es que al menos uses ROracle, funciona bastante bien
>
> Un saludo
>
> Un saludo
> --
> *De:* R-help-es  en nombre de ismael
> mardomingo 
> *Enviado:* miércoles, 6 de diciembre de 2017 11:12
> *Para:* Antonio Rodriguez Andres; r-help-es
> *Asunto:* Re: [R-es] ORACLE SQL/ LEER DATOS EN R
>
> Yo he accedido sin problemas a bases de datos de Oracle desde R con el
> paquete RODBC. Si tienes tablas muy grandes siempre puedes realizar la
> lectura por partes a trav�s de consultas.
>
>
>
> Para poder acceder he configurado, trabajo con Windows, en Herramientas
> Administrativas -->Or�genes de Datos ODBC (32 o 64 bits seg�n el sistema
> que tengas) un origen de datos a la base de datos Oracle que utilizo para
> conectarme desde R con el paquete RODBC y accedes sin problemas.
>
>
>
> Un saludo,
>
> Ismael
>
>
>
> Enviado desde Correo para
> Windows 10
>
>
>
> 
> De: R-help-es  en nombre de Antonio
> Rodriguez Andres 
> Enviado: Wednesday, December 6, 2017 10:10:19 AM
> Para: r-help-es
> Asunto: [R-es] ORACLE SQL/ LEER DATOS EN R
>
> Estimados usuarios de R
>
> Buenos d�as a todos los usuarios. Estamos intentando abrir una base de
> datos de ORACLE en R. Es una base de datos muy grande con datos inviduales
> sobre empleo de los individuos y sus caracteristicas. He echado un vistazo
> a https://www.r-bloggers.com/connecting-r-to-an-oracle-database/,y
> aparecen algunas instrucciones y el paquete RODBC.
>
> Alguien tiene experiencia con estas bases de datos? donde podria encontrar
> mas informacion? Asumo que otro problema puede ser el problema de memoria
> en el ordenador, al ser una enorme base de datos. Pero esto entiendo que se
> puede solucionar.
>
> Agradeceria cualquier sugerencia o ayuda
>
> Saludos
> Antonio
>
> [[alternative HTML version deleted]]
>
> ___
> R-help-es mailing list
> R-help-es@r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
> Página de Información de R-help-es
> 
> stat.ethz.ch
> Esta es una lista de correo para solicitar ayuda sobre R en español y se
> entiende como un complemento social a la documentación, libros, etc.
> disponibles sobre R ...
>
>
>
> [[alternative HTML version deleted]]
>
>


-- 

Member, Editorial Committee, *The Economic and Labour Relations Review* (a
SAGE journal)

http://elr.sagepub.com/

Member, Editorial Committee, African Journal of Economic and Management
Studies

http://emeraldgrouppublishing.com/products/journals/editorial_team.htm?id=ajems

https://www.researchgate.net/profile/Antonio_Andres (Research Gate profile)

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

[R-es] STATA base de datos

2017-12-06 Thread Antonio Rodriguez Andres 
Tengo una base de datos muy grande en formato Stata, (dta), he probado a
leerla con el paquete foreign, y el comando
read.dta, pero como tiene 28 variables y casi medio millon de individuos,
cuando pruebo a hacer graficas o algo, me sale problema
de memoria.

Entonces, una solucion es intentar pasar de STATA a CSV y luego usar el
comando fread, y finalmente cargar los datos como RData.

SIn embargo he intentado

setwd("C:/Users/and0096/Desktop/TREXIMA")
library ('foreign')
write.table(read.dta(file.choose('private98-06more_than9.dta')),
file="output.csv", quote = FALSE, sep = ",")




Pero de esta manera me demora mucho, se queda el computador como colgado,
hay alguna otra manera de hacerlo mas rapida. El fichero de Stata
tiene bastante peso (726, 625 bytes). Solo llego al fichero output.csv.
He instalado el paquete data.table
pero cuando tecleo

datacz = as.data.frame(fread('output.csv'))


Error in fread("output.csv") : could not find function "fread"



Entiendo que algo mal estoy haciendo. Alguna idea mejor de como leer ese
fichero de STATA

Saludos cordiales

Antonio


-- 

Member, Editorial Committee, *The Economic and Labour Relations Review* (a
SAGE journal)

http://elr.sagepub.com/

Member, Editorial Committee, African Journal of Economic and Management
Studies

http://emeraldgrouppublishing.com/products/journals/editorial_team.htm?id=ajems

https://www.researchgate.net/profile/Antonio_Andres (Research Gate profile)

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] STATA base de datos

2017-12-06 Thread Freddy Omar López Quintero 
El mié, 06-12-2017 a las 12:55 +0100, Antonio Rodriguez Andres
escribió:
> me sale problema
> de memoria.

Pregunta posiblemente tonta: ¿tienes suficiente memoria para procesar
un archivo de tales dimensiones? Puede que ni aún cambiando la manera
de leer el archivo realmente lo puedas procesar.
> Entonces, una solucion es intentar pasar de STATA a CSV y luego usar
> el
> comando fread, y finalmente cargar los datos como RData

¿Has probado el paquete haven y específicamente su función read_dta?
Parece que es bastante más eficiente que la de foreign y preserva más
características que trae el formato de stata.

¡Ojalá algo sirva!

¡Salud!


-- 
«...homines autem hominum causa esse generatos...»

Cicero
[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] STATA base de datos

2017-12-06 Thread Antonio Rodriguez Andres 
Freddy

el archivo lo leo en segundos en Stata. puedo probar el paquete heaven.
Pero si recuerdo me dio problemas en RStudio

El 6/12/2017 13:03, "Freddy Omar López Quintero" 
escribió:

> El mié, 06-12-2017 a las 12:55 +0100, Antonio Rodriguez Andres escribió:
>
> me sale problema
> de memoria.
>
>
> Pregunta posiblemente tonta: ¿tienes suficiente memoria para procesar un
> archivo de tales dimensiones? Puede que ni aún cambiando la manera de leer
> el archivo realmente lo puedas procesar.
>
>
> Entonces, una solucion es intentar pasar de STATA a CSV y luego usar el
> comando fread, y finalmente cargar los datos como RData
>
>
> ¿Has probado el paquete haven y específicamente su función read_dta?
> Parece que es bastante más eficiente que la de foreign y preserva más
> características que trae el formato de stata.
>
> ¡Ojalá algo sirva!
>
> ¡Salud!
>
> --
>
> «...homines autem hominum causa esse generatos...»
>
> Cicero
>

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] STATA base de datos

2017-12-06 Thread Antonio Rodriguez Andres 
He llegado hacer un summary o algo asi. Despues de leerlo pero tarda mucho.
Y si hago un histograma de una variable edad, hay colapsa.

El 6/12/2017 13:05, "Antonio Rodriguez Andres" <
antoniorodriguezandre...@gmail.com> escribió:

> Freddy
>
> el archivo lo leo en segundos en Stata. puedo probar el paquete heaven.
> Pero si recuerdo me dio problemas en RStudio
>
> El 6/12/2017 13:03, "Freddy Omar López Quintero" 
> escribió:
>
>> El mié, 06-12-2017 a las 12:55 +0100, Antonio Rodriguez Andres escribió:
>>
>> me sale problema
>> de memoria.
>>
>>
>> Pregunta posiblemente tonta: ¿tienes suficiente memoria para procesar un
>> archivo de tales dimensiones? Puede que ni aún cambiando la manera de leer
>> el archivo realmente lo puedas procesar.
>>
>>
>> Entonces, una solucion es intentar pasar de STATA a CSV y luego usar el
>> comando fread, y finalmente cargar los datos como RData
>>
>>
>> ¿Has probado el paquete haven y específicamente su función read_dta?
>> Parece que es bastante más eficiente que la de foreign y preserva más
>> características que trae el formato de stata.
>>
>> ¡Ojalá algo sirva!
>>
>> ¡Salud!
>>
>> --
>>
>> «...homines autem hominum causa esse generatos...»
>>
>> Cicero
>>
>

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] STATA base de datos

2017-12-06 Thread Carlos Ortega 
Pero entonces, ¿has leído ya el fichero en RStudio? ¿lo has convertido de
Stata a csv o algún otro formato que con el que puedas trabajar en RStudio?.
¿O ahora el problema es que has convertido el fichero pero no puedes hacer
ningún tipo de análisis porque tu equipo no tiene suficientes recursos?...

Gracias,
Carlos.

El 6 de diciembre de 2017, 13:09, Antonio Rodriguez Andres <
antoniorodriguezandre...@gmail.com> escribió:

> He llegado hacer un summary o algo asi. Despues de leerlo pero tarda mucho.
> Y si hago un histograma de una variable edad, hay colapsa.
>
> El 6/12/2017 13:05, "Antonio Rodriguez Andres" <
> antoniorodriguezandre...@gmail.com> escribió:
>
> > Freddy
> >
> > el archivo lo leo en segundos en Stata. puedo probar el paquete heaven.
> > Pero si recuerdo me dio problemas en RStudio
> >
> > El 6/12/2017 13:03, "Freddy Omar López Quintero" <
> freddy.vat...@gmail.com>
> > escribió:
> >
> >> El mié, 06-12-2017 a las 12:55 +0100, Antonio Rodriguez Andres escribió:
> >>
> >> me sale problema
> >> de memoria.
> >>
> >>
> >> Pregunta posiblemente tonta: ¿tienes suficiente memoria para procesar un
> >> archivo de tales dimensiones? Puede que ni aún cambiando la manera de
> leer
> >> el archivo realmente lo puedas procesar.
> >>
> >>
> >> Entonces, una solucion es intentar pasar de STATA a CSV y luego usar el
> >> comando fread, y finalmente cargar los datos como RData
> >>
> >>
> >> ¿Has probado el paquete haven y específicamente su función read_dta?
> >> Parece que es bastante más eficiente que la de foreign y preserva más
> >> características que trae el formato de stata.
> >>
> >> ¡Ojalá algo sirva!
> >>
> >> ¡Salud!
> >>
> >> --
> >>
> >> «...homines autem hominum causa esse generatos...»
> >>
> >> Cicero
> >>
> >
>
> [[alternative HTML version deleted]]
>
> ___
> R-help-es mailing list
> R-help-es@r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>



-- 
Saludos,
Carlos Ortega
www.qualityexcellence.es

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] STATA base de datos

2017-12-06 Thread Antonio Rodriguez Andres 
Carlos

use library foreign, y read.dta. Consegui leer los datos. Pero demora
mucho. explore los datos con head y tail, y con summary. Conseguis los
resultados. Muy lento. Una cosa a. hacer es un histograma y ahi ya ponia
cannot allocate memory.

Pense que podria leer los datos de otra manera mas eficiente.

El 6/12/2017 13:32, "Carlos Ortega"  escribió:

> Pero entonces, ¿has leído ya el fichero en RStudio? ¿lo has convertido de
> Stata a csv o algún otro formato que con el que puedas trabajar en RStudio?.
> ¿O ahora el problema es que has convertido el fichero pero no puedes hacer
> ningún tipo de análisis porque tu equipo no tiene suficientes recursos?...
>
> Gracias,
> Carlos.
>
> El 6 de diciembre de 2017, 13:09, Antonio Rodriguez Andres <
> antoniorodriguezandre...@gmail.com> escribió:
>
>> He llegado hacer un summary o algo asi. Despues de leerlo pero tarda
>> mucho.
>> Y si hago un histograma de una variable edad, hay colapsa.
>>
>> El 6/12/2017 13:05, "Antonio Rodriguez Andres" <
>> antoniorodriguezandre...@gmail.com> escribió:
>>
>> > Freddy
>> >
>> > el archivo lo leo en segundos en Stata. puedo probar el paquete heaven.
>> > Pero si recuerdo me dio problemas en RStudio
>> >
>> > El 6/12/2017 13:03, "Freddy Omar López Quintero" <
>> freddy.vat...@gmail.com>
>> > escribió:
>> >
>> >> El mié, 06-12-2017 a las 12:55 +0100, Antonio Rodriguez Andres
>> escribió:
>> >>
>> >> me sale problema
>> >> de memoria.
>> >>
>> >>
>> >> Pregunta posiblemente tonta: ¿tienes suficiente memoria para procesar
>> un
>> >> archivo de tales dimensiones? Puede que ni aún cambiando la manera de
>> leer
>> >> el archivo realmente lo puedas procesar.
>> >>
>> >>
>> >> Entonces, una solucion es intentar pasar de STATA a CSV y luego usar el
>> >> comando fread, y finalmente cargar los datos como RData
>> >>
>> >>
>> >> ¿Has probado el paquete haven y específicamente su función read_dta?
>> >> Parece que es bastante más eficiente que la de foreign y preserva más
>> >> características que trae el formato de stata.
>> >>
>> >> ¡Ojalá algo sirva!
>> >>
>> >> ¡Salud!
>> >>
>> >> --
>> >>
>> >> «...homines autem hominum causa esse generatos...»
>> >>
>> >> Cicero
>> >>
>> >
>>
>> [[alternative HTML version deleted]]
>>
>> ___
>> R-help-es mailing list
>> R-help-es@r-project.org
>> https://stat.ethz.ch/mailman/listinfo/r-help-es
>>
>
>
>
> --
> Saludos,
> Carlos Ortega
> www.qualityexcellence.es
>

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] STATA base de datos

2017-12-06 Thread eric 

  
  
Hola Antonio, luego de instalar el paquete data.table tienes que
  cagar la libreria antes de poder usar fread(), para esto tienes
  que hacer:
library(data.table)
otro detalles es que si quieres usar data.table no debes usar
  as.data.frame(), es decir, la linea en que lees deberia ser:
datacz <- fread('output.csv')

Y es buena idea si despues de leer la BD usas setkey() para "ordenar" la BD y aprovechar el orden para hacer mas rapidos los calculos (aunque no estoy completamente seguro de esto ultimo, pero puedes leer al respecto y asegurarte).

Suerte con tu BD !!

Eric.




  


On 12/06/2017 08:55 AM, Antonio
  Rodriguez Andres wrote:


  Tengo una base de datos muy grande en formato Stata, (dta), he probado a
leerla con el paquete foreign, y el comando
read.dta, pero como tiene 28 variables y casi medio millon de individuos,
cuando pruebo a hacer graficas o algo, me sale problema
de memoria.

Entonces, una solucion es intentar pasar de STATA a CSV y luego usar el
comando fread, y finalmente cargar los datos como RData.

SIn embargo he intentado

setwd("C:/Users/and0096/Desktop/TREXIMA")
library ('foreign')
write.table(read.dta(file.choose('private98-06more_than9.dta')),
file="output.csv", quote = FALSE, sep = ",")




Pero de esta manera me demora mucho, se queda el computador como colgado,
hay alguna otra manera de hacerlo mas rapida. El fichero de Stata
tiene bastante peso (726, 625 bytes). Solo llego al fichero output.csv.
He instalado el paquete data.table
pero cuando tecleo

datacz = as.data.frame(fread('output.csv'))


Error in fread("output.csv") : could not find function "fread"



Entiendo que algo mal estoy haciendo. Alguna idea mejor de como leer ese
fichero de STATA

Saludos cordiales

Antonio





-- 
Forest Engineer
Master in Environmental and Natural Resource Economics
Ph.D. student in Sciences of Natural Resources at La Frontera University
Member in AguaDeTemu2030, citizen movement for Temuco with green city standards for living

Nota: Las tildes se han omitido para asegurar compatibilidad con algunos lectores de correo.

  


___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] STATA base de datos

2017-12-06 Thread Carlos Ortega 
OK.
Lee primero los datos, guarda el data.frame (.RData o en un .csv o lo que
quieras).
Sal de RStudio o incluso reinicia el ordenador para liberar el máximo de
memoria.

Y comienza una nueva sesión con RStudio cargando los datos con "fread()".
Por otro lado, este conjunto de datos ¿cómo es de grande (filas y
columnas)?.

¿Y qué máquina tienes?. ¿Cuanta RAM tienes?.

Gracias,
Carlos.


El 6 de diciembre de 2017, 13:42, Antonio Rodriguez Andres <
antoniorodriguezandre...@gmail.com> escribió:

> Carlos
>
> use library foreign, y read.dta. Consegui leer los datos. Pero demora
> mucho. explore los datos con head y tail, y con summary. Conseguis los
> resultados. Muy lento. Una cosa a. hacer es un histograma y ahi ya ponia
> cannot allocate memory.
>
> Pense que podria leer los datos de otra manera mas eficiente.
>
> El 6/12/2017 13:32, "Carlos Ortega"  escribió:
>
>> Pero entonces, ¿has leído ya el fichero en RStudio? ¿lo has convertido de
>> Stata a csv o algún otro formato que con el que puedas trabajar en RStudio?.
>> ¿O ahora el problema es que has convertido el fichero pero no puedes
>> hacer ningún tipo de análisis porque tu equipo no tiene suficientes
>> recursos?...
>>
>> Gracias,
>> Carlos.
>>
>> El 6 de diciembre de 2017, 13:09, Antonio Rodriguez Andres <
>> antoniorodriguezandre...@gmail.com> escribió:
>>
>>> He llegado hacer un summary o algo asi. Despues de leerlo pero tarda
>>> mucho.
>>> Y si hago un histograma de una variable edad, hay colapsa.
>>>
>>> El 6/12/2017 13:05, "Antonio Rodriguez Andres" <
>>> antoniorodriguezandre...@gmail.com> escribió:
>>>
>>> > Freddy
>>> >
>>> > el archivo lo leo en segundos en Stata. puedo probar el paquete heaven.
>>> > Pero si recuerdo me dio problemas en RStudio
>>> >
>>> > El 6/12/2017 13:03, "Freddy Omar López Quintero" <
>>> freddy.vat...@gmail.com>
>>> > escribió:
>>> >
>>> >> El mié, 06-12-2017 a las 12:55 +0100, Antonio Rodriguez Andres
>>> escribió:
>>> >>
>>> >> me sale problema
>>> >> de memoria.
>>> >>
>>> >>
>>> >> Pregunta posiblemente tonta: ¿tienes suficiente memoria para procesar
>>> un
>>> >> archivo de tales dimensiones? Puede que ni aún cambiando la manera de
>>> leer
>>> >> el archivo realmente lo puedas procesar.
>>> >>
>>> >>
>>> >> Entonces, una solucion es intentar pasar de STATA a CSV y luego usar
>>> el
>>> >> comando fread, y finalmente cargar los datos como RData
>>> >>
>>> >>
>>> >> ¿Has probado el paquete haven y específicamente su función read_dta?
>>> >> Parece que es bastante más eficiente que la de foreign y preserva más
>>> >> características que trae el formato de stata.
>>> >>
>>> >> ¡Ojalá algo sirva!
>>> >>
>>> >> ¡Salud!
>>> >>
>>> >> --
>>> >>
>>> >> «...homines autem hominum causa esse generatos...»
>>> >>
>>> >> Cicero
>>> >>
>>> >
>>>
>>> [[alternative HTML version deleted]]
>>>
>>> ___
>>> R-help-es mailing list
>>> R-help-es@r-project.org
>>> https://stat.ethz.ch/mailman/listinfo/r-help-es
>>>
>>
>>
>>
>> --
>> Saludos,
>> Carlos Ortega
>> www.qualityexcellence.es
>>
>


-- 
Saludos,
Carlos Ortega
www.qualityexcellence.es

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] STATA base de datos

2017-12-06 Thread Antonio Rodriguez Andres 
Gracias Carlos. Voy a probar y te digo.

El 6/12/2017 13:49, "Carlos Ortega"  escribió:

> OK.
> Lee primero los datos, guarda el data.frame (.RData o en un .csv o lo que
> quieras).
> Sal de RStudio o incluso reinicia el ordenador para liberar el máximo de
> memoria.
>
> Y comienza una nueva sesión con RStudio cargando los datos con "fread()".
> Por otro lado, este conjunto de datos ¿cómo es de grande (filas y
> columnas)?.
>
> ¿Y qué máquina tienes?. ¿Cuanta RAM tienes?.
>
> Gracias,
> Carlos.
>
>
> El 6 de diciembre de 2017, 13:42, Antonio Rodriguez Andres <
> antoniorodriguezandre...@gmail.com> escribió:
>
>> Carlos
>>
>> use library foreign, y read.dta. Consegui leer los datos. Pero demora
>> mucho. explore los datos con head y tail, y con summary. Conseguis los
>> resultados. Muy lento. Una cosa a. hacer es un histograma y ahi ya ponia
>> cannot allocate memory.
>>
>> Pense que podria leer los datos de otra manera mas eficiente.
>>
>> El 6/12/2017 13:32, "Carlos Ortega"  escribió:
>>
>>> Pero entonces, ¿has leído ya el fichero en RStudio? ¿lo has convertido
>>> de Stata a csv o algún otro formato que con el que puedas trabajar en
>>> RStudio?.
>>> ¿O ahora el problema es que has convertido el fichero pero no puedes
>>> hacer ningún tipo de análisis porque tu equipo no tiene suficientes
>>> recursos?...
>>>
>>> Gracias,
>>> Carlos.
>>>
>>> El 6 de diciembre de 2017, 13:09, Antonio Rodriguez Andres <
>>> antoniorodriguezandre...@gmail.com> escribió:
>>>
 He llegado hacer un summary o algo asi. Despues de leerlo pero tarda
 mucho.
 Y si hago un histograma de una variable edad, hay colapsa.

 El 6/12/2017 13:05, "Antonio Rodriguez Andres" <
 antoniorodriguezandre...@gmail.com> escribió:

 > Freddy
 >
 > el archivo lo leo en segundos en Stata. puedo probar el paquete
 heaven.
 > Pero si recuerdo me dio problemas en RStudio
 >
 > El 6/12/2017 13:03, "Freddy Omar López Quintero" <
 freddy.vat...@gmail.com>
 > escribió:
 >
 >> El mié, 06-12-2017 a las 12:55 +0100, Antonio Rodriguez Andres
 escribió:
 >>
 >> me sale problema
 >> de memoria.
 >>
 >>
 >> Pregunta posiblemente tonta: ¿tienes suficiente memoria para
 procesar un
 >> archivo de tales dimensiones? Puede que ni aún cambiando la manera
 de leer
 >> el archivo realmente lo puedas procesar.
 >>
 >>
 >> Entonces, una solucion es intentar pasar de STATA a CSV y luego usar
 el
 >> comando fread, y finalmente cargar los datos como RData
 >>
 >>
 >> ¿Has probado el paquete haven y específicamente su función read_dta?
 >> Parece que es bastante más eficiente que la de foreign y preserva más
 >> características que trae el formato de stata.
 >>
 >> ¡Ojalá algo sirva!
 >>
 >> ¡Salud!
 >>
 >> --
 >>
 >> «...homines autem hominum causa esse generatos...»
 >>
 >> Cicero
 >>
 >

 [[alternative HTML version deleted]]

 ___
 R-help-es mailing list
 R-help-es@r-project.org
 https://stat.ethz.ch/mailman/listinfo/r-help-es

>>>
>>>
>>>
>>> --
>>> Saludos,
>>> Carlos Ortega
>>> www.qualityexcellence.es
>>>
>>
>
>
> --
> Saludos,
> Carlos Ortega
> www.qualityexcellence.es
>

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] ORACLE SQL/ LEER DATOS EN R

2017-12-06 Thread Javier Nieto 
Hola, ya comentaron bastante al respecto del tema, sin embargo algo que he 
notado es que las consultas con ROracle son más rápidas que con RODBC. Mi 
recomendación sería: siempre que puedas usar el driver nativo de la base de 
datos en cuestión(obviamente si existe) úsalo, en segundo lugar RJDBC y al 
final RODBC.



Saludos


De: R-help-es  en nombre de Antonio Rodriguez 
Andres 
Enviado: miércoles, 6 de diciembre de 2017 05:42:50 a. m.
Para: Francisco Rodríguez
CC: r-help-es
Asunto: Re: [R-es] ORACLE SQL/ LEER DATOS EN R

Muchas gracias por la ayuda y el consejo

Saludos

2017-12-06 12:31 GMT+01:00 Francisco Rodríguez :

> Con oracle puedes usar, si tu máquina es de 64bits la librería Roracle que
> va muy bien y no es muy complicada de instalar.
>
>
> Hay que distinguir 2 cosas, cuando accedes a la base de datos y allí haces
> la consulta, eso da igual si lo haces con RODBC o Roracle y cuando cargas
> los datos en tu data.frame, en esta operación, ya no está usando el gestor
> de base de datos sino tu propio R. La velocidad y cantidad de datos que
> puedas cargar dependerá en el segundo paso de tu máquina y del software, es
> aquí donde merece la pena para grandes datos usar Roracle porque debería ir
> mejor.
>
>
> Claramente la limitación la vas a tener ya que al cargar los datos en
> memoria podrá alogar el máximo de RAM de que disponga tu máquina local,
> aunque puede ir consultando por partes
> esto no deja de ser una "chapuza" con la que hay que convivir en R, lo
> ideal aquí sería que conforme vas leyendo escribir en disco duro y liberar
> memoria para seguir leyendo el resto de os datos y así ir por bloques,
> sobre todo si tu data.frame va a pesar más de 20GB (salvo que dispongas de
> un servidor), aquí te las tendrás que ingeniar yo no he visto (salvo que
> alguien conozca algo más) librerías que me permitan hacer esta operación de
> modo lo más optimizado posible, cuando me ha ocurrido esto he tenido que
> montarme alguna función para hacerlo y lógicamente el proceso puede ser
> bastante lento
>
> Por tanto mi recomendación si vas a trabajar con Oracle y si tienes una
> máquina de 64bits es que al menos uses ROracle, funciona bastante bien
>
> Un saludo
>
> Un saludo
> --
> *De:* R-help-es  en nombre de ismael
> mardomingo 
> *Enviado:* miércoles, 6 de diciembre de 2017 11:12
> *Para:* Antonio Rodriguez Andres; r-help-es
> *Asunto:* Re: [R-es] ORACLE SQL/ LEER DATOS EN R
>
> Yo he accedido sin problemas a bases de datos de Oracle desde R con el
> paquete RODBC. Si tienes tablas muy grandes siempre puedes realizar la
> lectura por partes a trav�s de consultas.
>
>
>
> Para poder acceder he configurado, trabajo con Windows, en Herramientas
> Administrativas -->Or�genes de Datos ODBC (32 o 64 bits seg�n el sistema
> que tengas) un origen de datos a la base de datos Oracle que utilizo para
> conectarme desde R con el paquete RODBC y accedes sin problemas.
>
>
>
> Un saludo,
>
> Ismael
>
>
>
> Enviado desde Correo para
> Windows 10
>
>
>
> 
> De: R-help-es  en nombre de Antonio
> Rodriguez Andres 
> Enviado: Wednesday, December 6, 2017 10:10:19 AM
> Para: r-help-es
> Asunto: [R-es] ORACLE SQL/ LEER DATOS EN R
>
> Estimados usuarios de R
>
> Buenos d�as a todos los usuarios. Estamos intentando abrir una base de
> datos de ORACLE en R. Es una base de datos muy grande con datos inviduales
> sobre empleo de los individuos y sus caracteristicas. He echado un vistazo
> a https://www.r-bloggers.com/connecting-r-to-an-oracle-database/,y
> aparecen algunas instrucciones y el paquete RODBC.
>
> Alguien tiene experiencia con estas bases de datos? donde podria encontrar
> mas informacion? Asumo que otro problema puede ser el problema de memoria
> en el ordenador, al ser una enorme base de datos. Pero esto entiendo que se
> puede solucionar.
>
> Agradeceria cualquier sugerencia o ayuda
>
> Saludos
> Antonio
>
> [[alternative HTML version deleted]]
>
> ___
> R-help-es mailing list
> R-help-es@r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
> Página de Información de R-help-es
> 
> stat.ethz.ch
> Esta es una lista de correo para solicitar ayuda sobre R en español y se
> entiende como un complemento social a la documentación, libros, etc.
> disponibles sobre R ...
>
>
>
> [[alternative HTML version deleted]]
>
>


--

Member, Editorial Committee, *The Economic and Labour Relations Review* (a
SAGE journal)

http://elr.sagepub.com/

Member, Editorial Committee, African Journal of Economic and Management
Studies

http://emeraldgrouppublishing.com/products/journals/editorial_team.htm?id=ajems

https://www.researchgate.net/profile/Antonio_Andres (Research Gate profile)

[[alternative HTML version deleted]]

Re: [R-es] STATA base de datos

2017-12-06 Thread Antonio Rodriguez Andres 
Carlos
He tecleado lo siguiente para leer el fichero de Stata

library(foreign)
datos = as.data.frame(read.dta("private98-06more_than9.dta"))
save(datos, file="data.RData")
load("data.RData")
dim(datos)
class(datos)

Tiene ese numero de filas y columnas que son las variables.

 dim(datos)[1] 9418455  28

Mi memoria RAM es 4GB, pero he conseguido leer los datos, y tambien
hacer un histograma de age, aunque es dificil ver algo por la cantidad
de individuos que hay en la base de datos.

hist(datos$age, main="Titulo", xlab="Age")

Ya cuando intento ver los valores perdidos con

is.na(datos) me sale error


Error: cannot allocate vector of size 1006.0 Mb

Saludos



2017-12-06 13:49 GMT+01:00 Carlos Ortega :

> OK.
> Lee primero los datos, guarda el data.frame (.RData o en un .csv o lo que
> quieras).
> Sal de RStudio o incluso reinicia el ordenador para liberar el máximo de
> memoria.
>
> Y comienza una nueva sesión con RStudio cargando los datos con "fread()".
> Por otro lado, este conjunto de datos ¿cómo es de grande (filas y
> columnas)?.
>
> ¿Y qué máquina tienes?. ¿Cuanta RAM tienes?.
>
> Gracias,
> Carlos.
>
>
> El 6 de diciembre de 2017, 13:42, Antonio Rodriguez Andres <
> antoniorodriguezandre...@gmail.com> escribió:
>
>> Carlos
>>
>> use library foreign, y read.dta. Consegui leer los datos. Pero demora
>> mucho. explore los datos con head y tail, y con summary. Conseguis los
>> resultados. Muy lento. Una cosa a. hacer es un histograma y ahi ya ponia
>> cannot allocate memory.
>>
>> Pense que podria leer los datos de otra manera mas eficiente.
>>
>> El 6/12/2017 13:32, "Carlos Ortega"  escribió:
>>
>>> Pero entonces, ¿has leído ya el fichero en RStudio? ¿lo has convertido
>>> de Stata a csv o algún otro formato que con el que puedas trabajar en
>>> RStudio?.
>>> ¿O ahora el problema es que has convertido el fichero pero no puedes
>>> hacer ningún tipo de análisis porque tu equipo no tiene suficientes
>>> recursos?...
>>>
>>> Gracias,
>>> Carlos.
>>>
>>> El 6 de diciembre de 2017, 13:09, Antonio Rodriguez Andres <
>>> antoniorodriguezandre...@gmail.com> escribió:
>>>
 He llegado hacer un summary o algo asi. Despues de leerlo pero tarda
 mucho.
 Y si hago un histograma de una variable edad, hay colapsa.

 El 6/12/2017 13:05, "Antonio Rodriguez Andres" <
 antoniorodriguezandre...@gmail.com> escribió:

 > Freddy
 >
 > el archivo lo leo en segundos en Stata. puedo probar el paquete
 heaven.
 > Pero si recuerdo me dio problemas en RStudio
 >
 > El 6/12/2017 13:03, "Freddy Omar López Quintero" <
 freddy.vat...@gmail.com>
 > escribió:
 >
 >> El mié, 06-12-2017 a las 12:55 +0100, Antonio Rodriguez Andres
 escribió:
 >>
 >> me sale problema
 >> de memoria.
 >>
 >>
 >> Pregunta posiblemente tonta: ¿tienes suficiente memoria para
 procesar un
 >> archivo de tales dimensiones? Puede que ni aún cambiando la manera
 de leer
 >> el archivo realmente lo puedas procesar.
 >>
 >>
 >> Entonces, una solucion es intentar pasar de STATA a CSV y luego usar
 el
 >> comando fread, y finalmente cargar los datos como RData
 >>
 >>
 >> ¿Has probado el paquete haven y específicamente su función read_dta?
 >> Parece que es bastante más eficiente que la de foreign y preserva más
 >> características que trae el formato de stata.
 >>
 >> ¡Ojalá algo sirva!
 >>
 >> ¡Salud!
 >>
 >> --
 >>
 >> «...homines autem hominum causa esse generatos...»
 >>
 >> Cicero
 >>
 >

 [[alternative HTML version deleted]]

 ___
 R-help-es mailing list
 R-help-es@r-project.org
 https://stat.ethz.ch/mailman/listinfo/r-help-es

>>>
>>>
>>>
>>> --
>>> Saludos,
>>> Carlos Ortega
>>> www.qualityexcellence.es
>>>
>>
>
>
> --
> Saludos,
> Carlos Ortega
> www.qualityexcellence.es
>



-- 

Member, Editorial Committee, *The Economic and Labour Relations Review* (a
SAGE journal)

http://elr.sagepub.com/

Member, Editorial Committee, African Journal of Economic and Management
Studies

http://emeraldgrouppublishing.com/products/journals/editorial_team.htm?id=ajems

https://www.researchgate.net/profile/Antonio_Andres (Research Gate profile)

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

Re: [R-es] ORACLE SQL/ LEER DATOS EN R

2017-12-06 Thread Francisco Rodríguez 
Efectivamente el problema en general es que para jdbc tendrás que instalar 
rjava al igual que para los drivers nativos como roracle. Eso en máquina en 
local implica que tendrás que indicar una variable de entorno para localizar el 
jvm creo recordar aunque hay mucha ayuda en stackover. Hecho eso es 
recomendable  si vas por esa vía usar la libreria dbi para lanzar las sql



Enviado desde mi smartphone Samsung Galaxy.


 Mensaje original 
De: Javier Nieto 
Fecha: 6/12/17 17:43 (GMT+01:00)
Para: Antonio Rodriguez Andres , 
r-help-es@r-project.org
Asunto: Re: [R-es] ORACLE SQL/ LEER DATOS EN R

Hola, ya comentaron bastante al respecto del tema, sin embargo algo que he 
notado es que las consultas con ROracle son más rápidas que con RODBC. Mi 
recomendación sería: siempre que puedas usar el driver nativo de la base de 
datos en cuestión(obviamente si existe) úsalo, en segundo lugar RJDBC y al 
final RODBC.



Saludos


De: R-help-es  en nombre de Antonio Rodriguez 
Andres 
Enviado: miércoles, 6 de diciembre de 2017 05:42:50 a. m.
Para: Francisco Rodríguez
CC: r-help-es
Asunto: Re: [R-es] ORACLE SQL/ LEER DATOS EN R

Muchas gracias por la ayuda y el consejo

Saludos

2017-12-06 12:31 GMT+01:00 Francisco Rodríguez :

> Con oracle puedes usar, si tu máquina es de 64bits la librería Roracle que
> va muy bien y no es muy complicada de instalar.
>
>
> Hay que distinguir 2 cosas, cuando accedes a la base de datos y allí haces
> la consulta, eso da igual si lo haces con RODBC o Roracle y cuando cargas
> los datos en tu data.frame, en esta operación, ya no está usando el gestor
> de base de datos sino tu propio R. La velocidad y cantidad de datos que
> puedas cargar dependerá en el segundo paso de tu máquina y del software, es
> aquí donde merece la pena para grandes datos usar Roracle porque debería ir
> mejor.
>
>
> Claramente la limitación la vas a tener ya que al cargar los datos en
> memoria podrá alogar el máximo de RAM de que disponga tu máquina local,
> aunque puede ir consultando por partes
> esto no deja de ser una "chapuza" con la que hay que convivir en R, lo
> ideal aquí sería que conforme vas leyendo escribir en disco duro y liberar
> memoria para seguir leyendo el resto de os datos y así ir por bloques,
> sobre todo si tu data.frame va a pesar más de 20GB (salvo que dispongas de
> un servidor), aquí te las tendrás que ingeniar yo no he visto (salvo que
> alguien conozca algo más) librerías que me permitan hacer esta operación de
> modo lo más optimizado posible, cuando me ha ocurrido esto he tenido que
> montarme alguna función para hacerlo y lógicamente el proceso puede ser
> bastante lento
>
> Por tanto mi recomendación si vas a trabajar con Oracle y si tienes una
> máquina de 64bits es que al menos uses ROracle, funciona bastante bien
>
> Un saludo
>
> Un saludo
> --
> *De:* R-help-es  en nombre de ismael
> mardomingo 
> *Enviado:* miércoles, 6 de diciembre de 2017 11:12
> *Para:* Antonio Rodriguez Andres; r-help-es
> *Asunto:* Re: [R-es] ORACLE SQL/ LEER DATOS EN R
>
> Yo he accedido sin problemas a bases de datos de Oracle desde R con el
> paquete RODBC. Si tienes tablas muy grandes siempre puedes realizar la
> lectura por partes a trav�s de consultas.
>
>
>
> Para poder acceder he configurado, trabajo con Windows, en Herramientas
> Administrativas -->Or�genes de Datos ODBC (32 o 64 bits seg�n el sistema
> que tengas) un origen de datos a la base de datos Oracle que utilizo para
> conectarme desde R con el paquete RODBC y accedes sin problemas.
>
>
>
> Un saludo,
>
> Ismael
>
>
>
> Enviado desde Correo para
> Windows 10
>
>
>
> 
> De: R-help-es  en nombre de Antonio
> Rodriguez Andres 
> Enviado: Wednesday, December 6, 2017 10:10:19 AM
> Para: r-help-es
> Asunto: [R-es] ORACLE SQL/ LEER DATOS EN R
>
> Estimados usuarios de R
>
> Buenos d�as a todos los usuarios. Estamos intentando abrir una base de
> datos de ORACLE en R. Es una base de datos muy grande con datos inviduales
> sobre empleo de los individuos y sus caracteristicas. He echado un vistazo
> a https://www.r-bloggers.com/connecting-r-to-an-oracle-database/,y
> aparecen algunas instrucciones y el paquete RODBC.
>
> Alguien tiene experiencia con estas bases de datos? donde podria encontrar
> mas informacion? Asumo que otro problema puede ser el problema de memoria
> en el ordenador, al ser una enorme base de datos. Pero esto entiendo que se
> puede solucionar.
>
> Agradeceria cualquier sugerencia o ayuda
>
> Saludos
> Antonio
>
> [[alternative HTML version deleted]]
>
> ___
> R-help-es mailing list
> R-help-es@r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
> Página de Información de R-help-es
> 
> stat.ethz.ch
> Esta es una lista de correo para solicitar ayuda sobre R en

Re: [R-es] STATA base de datos

2017-12-06 Thread Javier Marcuzzi 
Estimados

Pienso que falta memoria, aparte de las sugerencias ya aportadas, de pronto
se podrían colocar algunos rm(liberar_de_memoria), para no tener ocupado
espacio que no es requerido porque ese paso ya fue realizado.

Javier Rubén Marcuzzi

El 6 de diciembre de 2017, 13:58, Antonio Rodriguez Andres <
antoniorodriguezandre...@gmail.com> escribió:

> Carlos
> He tecleado lo siguiente para leer el fichero de Stata
>
> library(foreign)
> datos = as.data.frame(read.dta("private98-06more_than9.dta"))
> save(datos, file="data.RData")
> load("data.RData")
> dim(datos)
> class(datos)
>
> Tiene ese numero de filas y columnas que son las variables.
>
>  dim(datos)[1] 9418455  28
>
> Mi memoria RAM es 4GB, pero he conseguido leer los datos, y tambien
> hacer un histograma de age, aunque es dificil ver algo por la cantidad
> de individuos que hay en la base de datos.
>
> hist(datos$age, main="Titulo", xlab="Age")
>
> Ya cuando intento ver los valores perdidos con
>
> is.na(datos) me sale error
>
>
> Error: cannot allocate vector of size 1006.0 Mb
>
> Saludos
>
>
>
> 2017-12-06 13:49 GMT+01:00 Carlos Ortega :
>
> > OK.
> > Lee primero los datos, guarda el data.frame (.RData o en un .csv o lo que
> > quieras).
> > Sal de RStudio o incluso reinicia el ordenador para liberar el máximo de
> > memoria.
> >
> > Y comienza una nueva sesión con RStudio cargando los datos con "fread()".
> > Por otro lado, este conjunto de datos ¿cómo es de grande (filas y
> > columnas)?.
> >
> > ¿Y qué máquina tienes?. ¿Cuanta RAM tienes?.
> >
> > Gracias,
> > Carlos.
> >
> >
> > El 6 de diciembre de 2017, 13:42, Antonio Rodriguez Andres <
> > antoniorodriguezandre...@gmail.com> escribió:
> >
> >> Carlos
> >>
> >> use library foreign, y read.dta. Consegui leer los datos. Pero demora
> >> mucho. explore los datos con head y tail, y con summary. Conseguis los
> >> resultados. Muy lento. Una cosa a. hacer es un histograma y ahi ya ponia
> >> cannot allocate memory.
> >>
> >> Pense que podria leer los datos de otra manera mas eficiente.
> >>
> >> El 6/12/2017 13:32, "Carlos Ortega" 
> escribió:
> >>
> >>> Pero entonces, ¿has leído ya el fichero en RStudio? ¿lo has convertido
> >>> de Stata a csv o algún otro formato que con el que puedas trabajar en
> >>> RStudio?.
> >>> ¿O ahora el problema es que has convertido el fichero pero no puedes
> >>> hacer ningún tipo de análisis porque tu equipo no tiene suficientes
> >>> recursos?...
> >>>
> >>> Gracias,
> >>> Carlos.
> >>>
> >>> El 6 de diciembre de 2017, 13:09, Antonio Rodriguez Andres <
> >>> antoniorodriguezandre...@gmail.com> escribió:
> >>>
>  He llegado hacer un summary o algo asi. Despues de leerlo pero tarda
>  mucho.
>  Y si hago un histograma de una variable edad, hay colapsa.
> 
>  El 6/12/2017 13:05, "Antonio Rodriguez Andres" <
>  antoniorodriguezandre...@gmail.com> escribió:
> 
>  > Freddy
>  >
>  > el archivo lo leo en segundos en Stata. puedo probar el paquete
>  heaven.
>  > Pero si recuerdo me dio problemas en RStudio
>  >
>  > El 6/12/2017 13:03, "Freddy Omar López Quintero" <
>  freddy.vat...@gmail.com>
>  > escribió:
>  >
>  >> El mié, 06-12-2017 a las 12:55 +0100, Antonio Rodriguez Andres
>  escribió:
>  >>
>  >> me sale problema
>  >> de memoria.
>  >>
>  >>
>  >> Pregunta posiblemente tonta: ¿tienes suficiente memoria para
>  procesar un
>  >> archivo de tales dimensiones? Puede que ni aún cambiando la manera
>  de leer
>  >> el archivo realmente lo puedas procesar.
>  >>
>  >>
>  >> Entonces, una solucion es intentar pasar de STATA a CSV y luego
> usar
>  el
>  >> comando fread, y finalmente cargar los datos como RData
>  >>
>  >>
>  >> ¿Has probado el paquete haven y específicamente su función
> read_dta?
>  >> Parece que es bastante más eficiente que la de foreign y preserva
> más
>  >> características que trae el formato de stata.
>  >>
>  >> ¡Ojalá algo sirva!
>  >>
>  >> ¡Salud!
>  >>
>  >> --
>  >>
>  >> «...homines autem hominum causa esse generatos...»
>  >>
>  >> Cicero
>  >>
>  >
> 
>  [[alternative HTML version deleted]]
> 
>  ___
>  R-help-es mailing list
>  R-help-es@r-project.org
>  https://stat.ethz.ch/mailman/listinfo/r-help-es
> 
> >>>
> >>>
> >>>
> >>> --
> >>> Saludos,
> >>> Carlos Ortega
> >>> www.qualityexcellence.es
> >>>
> >>
> >
> >
> > --
> > Saludos,
> > Carlos Ortega
> > www.qualityexcellence.es
> >
>
>
>
> --
>
> Member, Editorial Committee, *The Economic and Labour Relations Review* (a
> SAGE journal)
>
> http://elr.sagepub.com/
>
> Member, Editorial Committee, African Journal of Economic and Management
> Studies
>
> http://emeraldgrouppublishing.com/products/journals/
> editorial_team.htm?id=ajems
>
> https://www.researchgate.net/profile/Antonio_Andres (Res

Re: [R-es] STATA base de datos

2017-12-06 Thread Carlos Ortega 
Sí, estás un tanto al límite de la capacidad de tu ordenador.
Varias cosas que no has comentado:

   - ¿Qué versión de R usas?
   - ¿Usas una versión de 32bits ó 64bits?.
   - ¿Windows?, supongo.
  - En Windows puedes ver los recursos de tu máquina y confirmar que
  cuando tienes el conjunto cargado en R estás muy al límite de tu RAM.

Con todo esto cosas que puedes hacer:

   - Hacer un muestreo. Nada más cargar el conjunto puedes hacer algo como
   esto:

# De esta forma te quedas con un 75% de los datos.

datos_samp <- datos[ sample(1:nrow(datos), nrow(datos)*0.75) , ]

rm(datos)

Y a partir de aquí ya trabajas con datos_samp


   - ​Puedes convertir tus datos​ a data.table (no sé si lo has usado
   antes... que permite comprimir el data.frame. Lo harías así:


library(foreign)

​library(data.table)​

datos = as.data.
​table​
(read.dta("private98-06more_than9.dta"))


Y a partir ya trabajar con "datos" como data.table.


Saludos,
Carlos Ortega
www.qualityexcellence.es


El 6 de diciembre de 2017, 22:03, Javier Marcuzzi <
javier.ruben.marcu...@gmail.com> escribió:

> Estimados
>
> Pienso que falta memoria, aparte de las sugerencias ya aportadas, de
> pronto se podrían colocar algunos rm(liberar_de_memoria), para no tener
> ocupado espacio que no es requerido porque ese paso ya fue realizado.
>
> Javier Rubén Marcuzzi
>
> El 6 de diciembre de 2017, 13:58, Antonio Rodriguez Andres <
> antoniorodriguezandre...@gmail.com> escribió:
>
>> Carlos
>> He tecleado lo siguiente para leer el fichero de Stata
>>
>> library(foreign)
>> datos = as.data.frame(read.dta("private98-06more_than9.dta"))
>> save(datos, file="data.RData")
>> load("data.RData")
>> dim(datos)
>> class(datos)
>>
>> Tiene ese numero de filas y columnas que son las variables.
>>
>>  dim(datos)[1] 9418455  28
>>
>> Mi memoria RAM es 4GB, pero he conseguido leer los datos, y tambien
>> hacer un histograma de age, aunque es dificil ver algo por la cantidad
>> de individuos que hay en la base de datos.
>>
>> hist(datos$age, main="Titulo", xlab="Age")
>>
>> Ya cuando intento ver los valores perdidos con
>>
>> is.na(datos) me sale error
>>
>>
>> Error: cannot allocate vector of size 1006.0 Mb
>>
>> Saludos
>>
>>
>>
>> 2017-12-06 13:49 GMT+01:00 Carlos Ortega :
>>
>> > OK.
>> > Lee primero los datos, guarda el data.frame (.RData o en un .csv o lo
>> que
>> > quieras).
>> > Sal de RStudio o incluso reinicia el ordenador para liberar el máximo de
>> > memoria.
>> >
>> > Y comienza una nueva sesión con RStudio cargando los datos con
>> "fread()".
>> > Por otro lado, este conjunto de datos ¿cómo es de grande (filas y
>> > columnas)?.
>> >
>> > ¿Y qué máquina tienes?. ¿Cuanta RAM tienes?.
>> >
>> > Gracias,
>> > Carlos.
>> >
>> >
>> > El 6 de diciembre de 2017, 13:42, Antonio Rodriguez Andres <
>> > antoniorodriguezandre...@gmail.com> escribió:
>> >
>> >> Carlos
>> >>
>> >> use library foreign, y read.dta. Consegui leer los datos. Pero demora
>> >> mucho. explore los datos con head y tail, y con summary. Conseguis los
>> >> resultados. Muy lento. Una cosa a. hacer es un histograma y ahi ya
>> ponia
>> >> cannot allocate memory.
>> >>
>> >> Pense que podria leer los datos de otra manera mas eficiente.
>> >>
>> >> El 6/12/2017 13:32, "Carlos Ortega" 
>> escribió:
>> >>
>> >>> Pero entonces, ¿has leído ya el fichero en RStudio? ¿lo has convertido
>> >>> de Stata a csv o algún otro formato que con el que puedas trabajar en
>> >>> RStudio?.
>> >>> ¿O ahora el problema es que has convertido el fichero pero no puedes
>> >>> hacer ningún tipo de análisis porque tu equipo no tiene suficientes
>> >>> recursos?...
>> >>>
>> >>> Gracias,
>> >>> Carlos.
>> >>>
>> >>> El 6 de diciembre de 2017, 13:09, Antonio Rodriguez Andres <
>> >>> antoniorodriguezandre...@gmail.com> escribió:
>> >>>
>>  He llegado hacer un summary o algo asi. Despues de leerlo pero tarda
>>  mucho.
>>  Y si hago un histograma de una variable edad, hay colapsa.
>> 
>>  El 6/12/2017 13:05, "Antonio Rodriguez Andres" <
>>  antoniorodriguezandre...@gmail.com> escribió:
>> 
>>  > Freddy
>>  >
>>  > el archivo lo leo en segundos en Stata. puedo probar el paquete
>>  heaven.
>>  > Pero si recuerdo me dio problemas en RStudio
>>  >
>>  > El 6/12/2017 13:03, "Freddy Omar López Quintero" <
>>  freddy.vat...@gmail.com>
>>  > escribió:
>>  >
>>  >> El mié, 06-12-2017 a las 12:55 +0100, Antonio Rodriguez Andres
>>  escribió:
>>  >>
>>  >> me sale problema
>>  >> de memoria.
>>  >>
>>  >>
>>  >> Pregunta posiblemente tonta: ¿tienes suficiente memoria para
>>  procesar un
>>  >> archivo de tales dimensiones? Puede que ni aún cambiando la manera
>>  de leer
>>  >> el archivo realmente lo puedas procesar.
>>  >>
>>  >>
>>  >> Entonces, una solucion es intentar pasar de STATA a CSV y luego
>> usar
>>  el
>>  >> comando fread, y finalmente cargar los datos como RData
>>  >