Re: [R-br] [OFF-topic] Processar uma base de dados grande - ENEM 2012 - 6 milhões de registros - só 40 segundos

2014-10-25 Por tôpico Roney Fraga Souza
Pessoal, eu fiz um teste com o MonetDB importando um arquivo csv do censo demográfico 2010 do estado de São Paulo, que tem 2.2 gb, 224 colunas e 4038218 linhas. Importou em 109.1149 segundos. Meu computador (MacBook Pro) tem processador i7 da primeira geração, 16 gb de ram e ssd.

[R-br] [OFF-topic] Processar uma base de dados grande - ENEM 2012 - 6 milhões de registros - só 40 segundos

2014-10-24 Por tôpico walmes .
Saudações, Essa mensagem é apenas para compartilhar uma experiência que tive e considero que o problema aqui discutido não seja tão particular. Fui procurado por alguém que precisava processar um arquivo com resultados da prova do ENEM 2012 para aplicar teoria de resposta ao item. Precisava-se

Re: [R-br] [OFF-topic] Processar uma base de dados grande - ENEM 2012 - 6 milhões de registros - só 40 segundos

2014-10-24 Por tôpico David Feitosa
Walmes, obrigado por compartilhar. Essas comparações de desempenho sempre são boas. Eu fiz um curso básico de shell script há um tempo atrás e o prof sempre comentava sobre essa característica do shell com arquivos. Agora eu tenho um exemplo mais prático e com número para exemplificar. [?] [?]s.