Walmes,
Muito legal a dica de usar o shell para isso. O shell e' sempre mais
rapido que qualquer coisa!
Sobre ler dados do ENEM, usando fread() do pacote 'data.table' demorou
210 segundos no meu laptop para dados 2012 do ENEM. Eu nao gostei muito
do INEP ter disponibilizado o formato .csv.
com fread() e' possivel ainda selecionar colunas. Para trazer as
respostas a prova de matematica, o gabarito e o escore demorou 14
segundos...
system.time(all - fread(../dados/dados2012/DADOS/DADOS_ENEM_2012.csv,
select=c(64, 73, 78)))
Read 5791065 rows and 3 (of 80) columns from 3.522 GB
Existe este pacote para o Windows? Tentei baixar e disse que não está
disponível para a versão R 3.1
Pessoal, eu fiz um teste com o MonetDB importando um arquivo csv do censo
demográfico 2010 do estado de São Paulo, que tem 2.2 gb, 224 colunas e
4038218 linhas. Importou em 109.1149
Mauro, eu testei aqui em uma máquina virtual com Windows e funcionou. segue o
código:
http://dpaste.com/0Y260HW http://dpaste.com/0Y260HW
Contudo, eu instalei o programa MonetDB no Windows. Segue link:
https://www.monetdb.org/Home https://www.monetdb.org/Home
Att
