Re: [oracle_br] Re: Import via COPY no postgres
Ok pessoal, fiz da seguinte forma: Ajustei manualmente, fazendo os replaces necessários e consegui fazer a carga, mas ja pedi que da próxima vez mande com um delimitador do tipo tab ou | . Obrigado pelos conselhos... De: Milton Bastos Henriquis Jr. Para: oracle_br@yahoogrupos.com.br Enviadas: Terça-feira, 12 de Junho de 2012 15:43 Assunto: Re: [oracle_br] Re: Import via COPY no postgres Ederson: sua idéia é muito boa! Mas há um probleminha aí... Como abrir um arquivo de 3GB no Excel? rs... Não vai suportar! Na minha opinião o correto é pedir em outro formato, e adotar isso como "padrão" - se contornar esse problema manualmente, nas próximas vezes vão continuar exportanto o CSV com o mesmo formato e o problema vai existir sempre. É aquela coisa: "pô, da outra vez fiz assim e vc conseguiu importar... se vira aí, é só fazer de novo". Melhor atacar na raiz do problema! A opção de colocar os valores entre aspas duplas também é boa - isso SE não houver dados que já contenham aspas duplas... daí o problema apenas muda de lugar... rs. 2012/6/12 ederson2001br > ** > > > Jales, > > Não trabalho com Postgres, mas já fiz diversas operações com arquivos > TXT/CSV. > > Uma dica: Abra o arquivo no Excel. Os registros que tem o ";" a mais vão > ter uma coluna a mais, confere? > Então, marque todas as colunas e ordene pela coluna adicional. Isto > colocará os registros com disparidade, juntos. > > Agora, copie estes registros para um arquivo separado e remova do arquivo > principal e grave-o. > > Em seguida, duplique a sua rotina de importação e coloque o tratamento da > V2 para ler o arquivo que tem a coluna adicional. > > Como o colega Milton falou, uma boa dica é usar o separador TAB. Nas > rotinas que já trabalhei, a melhor opção é usar atributos-enclosured com > aspas-duplas, assim o ponto-e-virgula que vier entre aspas, não vai gerar > uma coluna adicional. > > Todo arquivo TXT/CSV tem problemas, pois pode ser que nos dados a > importar, venha caracteres não indicados, como o ponto-e-virgula, > aspas-duplas, aspas-simples, TAB e virgulas: o que sempre dificulta a > codificação das rotinas de importação. > > Ederson Elias > DBA Oracle > http://br.linkedin.com/pub/ederson-elias/24/8b/8b0 > > --- Em oracle_br@yahoogrupos.com.br, "Milton Bastos Henriquis Jr." > escreveu > > > > > Contornar é praticamente é impossível. > > O arquivo é muito grande, e se não gerar OUTRO arquivo com outro > > delimitador, vc teria que acertar "na mão", > > pois não dá pra automatizar o processo sendo que alguns ; são > delimitadores > > e outros não são. > > > > Você precisa sim pedir pra gerar novamente com um delimitador diferente, > ou > > separado por tabulação, enfim, opções não faltam. > > > > Att, > > > > Milton Bastos > > > -- Att, [As partes desta mensagem que não continham texto foram removidas] -- >Atenção! As mensagens do grupo ORACLE_BR são de acesso público e de inteira >responsabilidade de seus remetentes. Acesse: http://www.mail-archive.com/oracle_br@yahoogrupos.com.br/ -- >Apostilas » Dicas e Exemplos » Função » Mundo Oracle » Package » Procedure » >Scripts » Tutoriais - O GRUPO ORACLE_BR TEM SEU PROPRIO ESPAÇO! VISITE: >http://www.oraclebr.com.br/ Links do Yahoo! Grupos [As partes desta mensagem que não continham texto foram removidas]
Re: [oracle_br] Re: Import via COPY no postgres
Colegas eu ja fiz importações de grandes quantidades de dados nao sei se chegou a 3G mas a ferramenta que utilizei foi da EMS.Com ela você pode escolher o delimitador...Dar pra fazer muita coisa ... Não que eu seja a favor da pirataria mas dar uma googlada que você encontra. EMS SQL Manager 2010 for PostgreSQL v4.7.0.2 Emerson Martins DBA JR Em 12 de junho de 2012 15:43, Milton Bastos Henriquis Jr. < miltonbas...@gmail.com> escreveu: > Ederson: sua idéia é muito boa! Mas há um probleminha aí... > > Como abrir um arquivo de 3GB no Excel? rs... > Não vai suportar! > > Na minha opinião o correto é pedir em outro formato, e adotar isso como > "padrão" - se contornar esse problema manualmente, nas próximas vezes vão > continuar exportanto o CSV com o mesmo formato e o problema vai existir > sempre. > É aquela coisa: "pô, da outra vez fiz assim e vc conseguiu importar... se > vira aí, é só fazer de novo". > > Melhor atacar na raiz do problema! > > A opção de colocar os valores entre aspas duplas também é boa - isso SE não > houver dados que já contenham aspas duplas... daí o problema apenas muda de > lugar... rs. > > > > > > 2012/6/12 ederson2001br > > > ** > > > > > > Jales, > > > > Não trabalho com Postgres, mas já fiz diversas operações com arquivos > > TXT/CSV. > > > > Uma dica: Abra o arquivo no Excel. Os registros que tem o ";" a mais vão > > ter uma coluna a mais, confere? > > Então, marque todas as colunas e ordene pela coluna adicional. Isto > > colocará os registros com disparidade, juntos. > > > > Agora, copie estes registros para um arquivo separado e remova do arquivo > > principal e grave-o. > > > > Em seguida, duplique a sua rotina de importação e coloque o tratamento da > > V2 para ler o arquivo que tem a coluna adicional. > > > > Como o colega Milton falou, uma boa dica é usar o separador TAB. Nas > > rotinas que já trabalhei, a melhor opção é usar atributos-enclosured com > > aspas-duplas, assim o ponto-e-virgula que vier entre aspas, não vai gerar > > uma coluna adicional. > > > > Todo arquivo TXT/CSV tem problemas, pois pode ser que nos dados a > > importar, venha caracteres não indicados, como o ponto-e-virgula, > > aspas-duplas, aspas-simples, TAB e virgulas: o que sempre dificulta a > > codificação das rotinas de importação. > > > > Ederson Elias > > DBA Oracle > > http://br.linkedin.com/pub/ederson-elias/24/8b/8b0 > > > > --- Em oracle_br@yahoogrupos.com.br, "Milton Bastos Henriquis Jr." > > escreveu > > > > > > > > Contornar é praticamente é impossível. > > > O arquivo é muito grande, e se não gerar OUTRO arquivo com outro > > > delimitador, vc teria que acertar "na mão", > > > pois não dá pra automatizar o processo sendo que alguns ; são > > delimitadores > > > e outros não são. > > > > > > Você precisa sim pedir pra gerar novamente com um delimitador > diferente, > > ou > > > separado por tabulação, enfim, opções não faltam. > > > > > > Att, > > > > > > Milton Bastos > > > > > > > > > > -- > Att, > > > [As partes desta mensagem que não continham texto foram removidas] > > > > > > > -- > >Atenção! As mensagens do grupo ORACLE_BR são de acesso público e de > inteira responsabilidade de seus remetentes. > Acesse: http://www.mail-archive.com/oracle_br@yahoogrupos.com.br/ > > -- > >Apostilas » Dicas e Exemplos » Função » Mundo Oracle » Package » > Procedure » Scripts » Tutoriais - O GRUPO ORACLE_BR TEM SEU PROPRIO ESPAÇO! > VISITE: http://www.oraclebr.com.br/ > > Links do Yahoo! Grupos > > > [As partes desta mensagem que não continham texto foram removidas]
Re: [oracle_br] Re: Import via COPY no postgres
Ederson: sua idéia é muito boa! Mas há um probleminha aí... Como abrir um arquivo de 3GB no Excel? rs... Não vai suportar! Na minha opinião o correto é pedir em outro formato, e adotar isso como "padrão" - se contornar esse problema manualmente, nas próximas vezes vão continuar exportanto o CSV com o mesmo formato e o problema vai existir sempre. É aquela coisa: "pô, da outra vez fiz assim e vc conseguiu importar... se vira aí, é só fazer de novo". Melhor atacar na raiz do problema! A opção de colocar os valores entre aspas duplas também é boa - isso SE não houver dados que já contenham aspas duplas... daí o problema apenas muda de lugar... rs. 2012/6/12 ederson2001br > ** > > > Jales, > > Não trabalho com Postgres, mas já fiz diversas operações com arquivos > TXT/CSV. > > Uma dica: Abra o arquivo no Excel. Os registros que tem o ";" a mais vão > ter uma coluna a mais, confere? > Então, marque todas as colunas e ordene pela coluna adicional. Isto > colocará os registros com disparidade, juntos. > > Agora, copie estes registros para um arquivo separado e remova do arquivo > principal e grave-o. > > Em seguida, duplique a sua rotina de importação e coloque o tratamento da > V2 para ler o arquivo que tem a coluna adicional. > > Como o colega Milton falou, uma boa dica é usar o separador TAB. Nas > rotinas que já trabalhei, a melhor opção é usar atributos-enclosured com > aspas-duplas, assim o ponto-e-virgula que vier entre aspas, não vai gerar > uma coluna adicional. > > Todo arquivo TXT/CSV tem problemas, pois pode ser que nos dados a > importar, venha caracteres não indicados, como o ponto-e-virgula, > aspas-duplas, aspas-simples, TAB e virgulas: o que sempre dificulta a > codificação das rotinas de importação. > > Ederson Elias > DBA Oracle > http://br.linkedin.com/pub/ederson-elias/24/8b/8b0 > > --- Em oracle_br@yahoogrupos.com.br, "Milton Bastos Henriquis Jr." > escreveu > > > > > Contornar é praticamente é impossível. > > O arquivo é muito grande, e se não gerar OUTRO arquivo com outro > > delimitador, vc teria que acertar "na mão", > > pois não dá pra automatizar o processo sendo que alguns ; são > delimitadores > > e outros não são. > > > > Você precisa sim pedir pra gerar novamente com um delimitador diferente, > ou > > separado por tabulação, enfim, opções não faltam. > > > > Att, > > > > Milton Bastos > > > -- Att, [As partes desta mensagem que não continham texto foram removidas] -- >Atenção! As mensagens do grupo ORACLE_BR são de acesso público e de inteira >responsabilidade de seus remetentes. Acesse: http://www.mail-archive.com/oracle_br@yahoogrupos.com.br/ -- >Apostilas » Dicas e Exemplos » Função » Mundo Oracle » Package » Procedure » >Scripts » Tutoriais - O GRUPO ORACLE_BR TEM SEU PROPRIO ESPAÇO! VISITE: >http://www.oraclebr.com.br/ Links do Yahoo! Grupos <*> Para visitar o site do seu grupo na web, acesse: http://br.groups.yahoo.com/group/oracle_br/ <*> Para sair deste grupo, envie um e-mail para: oracle_br-unsubscr...@yahoogrupos.com.br <*> O uso que você faz do Yahoo! Grupos está sujeito aos: http://br.yahoo.com/info/utos.html
