Re: [R-br] RES: [OFF-topic] Processar uma base de dados grande - ENEM 2012 - 6 milhões de registros - só 40 segundos

2014-10-27 Por tôpico Edson Lira
Experimenta o pacote ff  Edson Lira Estatístico Manaus-Amazonas Em Domingo, 26 de Outubro de 2014 16:22, Mauro Sznelwar sznel...@uol.com.br escreveu: !--#yiv1316119439 _filtered #yiv1316119439 {font-family:Calibri;panose-1:2 15 5 2 2 2 4 3 2 4;}#yiv1316119439 #yiv1316119439

Re: [R-br] RES: [OFF-topic] Processar uma base de dados grande - ENEM 2012 - 6 milhões de registros - só 40 segundos

2014-10-27 Por tôpico Manoel Galdino
Se você tiver memória ram suficiente, experimente o fread do data.table. abçs M 2014-10-27 10:19 GMT-02:00 Edson Lira edinhoes...@yahoo.com.br: Experimenta o pacote ff Edson Lira Estatístico Manaus-Amazonas Em Domingo, 26 de Outubro de 2014 16:22, Mauro Sznelwar sznel...@uol.com.br

Re: [R-br] RES: [OFF-topic] Processar uma base de dados grande - ENEM 2012 - 6 milhões de registros - só 40 segundos

2014-10-27 Por tôpico Daniel Marcelino
Uma antiga solução para arquivos grandes que já usei é ler de um texto comprimido. O R é muito eficiente em comprimir e descomprimir eles. Talvez, isso a seja a solução nativa mais simples, porém não tanto eficiente. read.table(dados.txt, sep=,) read.table(dados.txt.gz, sep=,) D 2014-10-27

[R-br] RES: [OFF-topic] Processar uma base de dados grande - ENEM 2012 - 6 milhões de registros - só 40 segundos

2014-10-26 Por tôpico Mauro Sznelwar
Existe este pacote para o Windows? Tentei baixar e disse que não está disponível para a versão R 3.1 Pessoal, eu fiz um teste com o MonetDB importando um arquivo csv do censo demográfico 2010 do estado de São Paulo, que tem 2.2 gb, 224 colunas e 4038218 linhas. Importou em 109.1149

Re: [R-br] RES: [OFF-topic] Processar uma base de dados grande - ENEM 2012 - 6 milhões de registros - só 40 segundos

2014-10-26 Por tôpico Roney Fraga Souza
Mauro, eu testei aqui em uma máquina virtual com Windows e funcionou. segue o código: http://dpaste.com/0Y260HW http://dpaste.com/0Y260HW Contudo, eu instalei o programa MonetDB no Windows. Segue link: https://www.monetdb.org/Home https://www.monetdb.org/Home Att