Re: [oracle_br] Re: Import via COPY no postgres
Ok pessoal, fiz da seguinte forma: Ajustei manualmente, fazendo os replaces necessários e consegui fazer a carga, mas ja pedi que da próxima vez mande com um delimitador do tipo tab ou | . Obrigado pelos conselhos... De: Milton Bastos Henriquis Jr. miltonbas...@gmail.com Para: oracle_br@yahoogrupos.com.br Enviadas: Terça-feira, 12 de Junho de 2012 15:43 Assunto: Re: [oracle_br] Re: Import via COPY no postgres Ederson: sua idéia é muito boa! Mas há um probleminha aí... Como abrir um arquivo de 3GB no Excel? rs... Não vai suportar! Na minha opinião o correto é pedir em outro formato, e adotar isso como padrão - se contornar esse problema manualmente, nas próximas vezes vão continuar exportanto o CSV com o mesmo formato e o problema vai existir sempre. É aquela coisa: pô, da outra vez fiz assim e vc conseguiu importar... se vira aí, é só fazer de novo. Melhor atacar na raiz do problema! A opção de colocar os valores entre aspas duplas também é boa - isso SE não houver dados que já contenham aspas duplas... daí o problema apenas muda de lugar... rs. 2012/6/12 ederson2001br ederson200...@yahoo.com.br ** Jales, Não trabalho com Postgres, mas já fiz diversas operações com arquivos TXT/CSV. Uma dica: Abra o arquivo no Excel. Os registros que tem o ; a mais vão ter uma coluna a mais, confere? Então, marque todas as colunas e ordene pela coluna adicional. Isto colocará os registros com disparidade, juntos. Agora, copie estes registros para um arquivo separado e remova do arquivo principal e grave-o. Em seguida, duplique a sua rotina de importação e coloque o tratamento da V2 para ler o arquivo que tem a coluna adicional. Como o colega Milton falou, uma boa dica é usar o separador TAB. Nas rotinas que já trabalhei, a melhor opção é usar atributos-enclosured com aspas-duplas, assim o ponto-e-virgula que vier entre aspas, não vai gerar uma coluna adicional. Todo arquivo TXT/CSV tem problemas, pois pode ser que nos dados a importar, venha caracteres não indicados, como o ponto-e-virgula, aspas-duplas, aspas-simples, TAB e virgulas: o que sempre dificulta a codificação das rotinas de importação. Ederson Elias DBA Oracle http://br.linkedin.com/pub/ederson-elias/24/8b/8b0 --- Em oracle_br@yahoogrupos.com.br, Milton Bastos Henriquis Jr. miltonbastos@... escreveu Contornar é praticamente é impossível. O arquivo é muito grande, e se não gerar OUTRO arquivo com outro delimitador, vc teria que acertar na mão, pois não dá pra automatizar o processo sendo que alguns ; são delimitadores e outros não são. Você precisa sim pedir pra gerar novamente com um delimitador diferente, ou separado por tabulação, enfim, opções não faltam. Att, Milton Bastos -- Att, [As partes desta mensagem que não continham texto foram removidas] -- Atenção! As mensagens do grupo ORACLE_BR são de acesso público e de inteira responsabilidade de seus remetentes. Acesse: http://www.mail-archive.com/oracle_br@yahoogrupos.com.br/ -- Apostilas » Dicas e Exemplos » Função » Mundo Oracle » Package » Procedure » Scripts » Tutoriais - O GRUPO ORACLE_BR TEM SEU PROPRIO ESPAÇO! VISITE: http://www.oraclebr.com.br/ Links do Yahoo! Grupos [As partes desta mensagem que não continham texto foram removidas]
Re: [oracle_br] Re: Import via COPY no postgres
Ederson: sua idéia é muito boa! Mas há um probleminha aí... Como abrir um arquivo de 3GB no Excel? rs... Não vai suportar! Na minha opinião o correto é pedir em outro formato, e adotar isso como padrão - se contornar esse problema manualmente, nas próximas vezes vão continuar exportanto o CSV com o mesmo formato e o problema vai existir sempre. É aquela coisa: pô, da outra vez fiz assim e vc conseguiu importar... se vira aí, é só fazer de novo. Melhor atacar na raiz do problema! A opção de colocar os valores entre aspas duplas também é boa - isso SE não houver dados que já contenham aspas duplas... daí o problema apenas muda de lugar... rs. 2012/6/12 ederson2001br ederson200...@yahoo.com.br ** Jales, Não trabalho com Postgres, mas já fiz diversas operações com arquivos TXT/CSV. Uma dica: Abra o arquivo no Excel. Os registros que tem o ; a mais vão ter uma coluna a mais, confere? Então, marque todas as colunas e ordene pela coluna adicional. Isto colocará os registros com disparidade, juntos. Agora, copie estes registros para um arquivo separado e remova do arquivo principal e grave-o. Em seguida, duplique a sua rotina de importação e coloque o tratamento da V2 para ler o arquivo que tem a coluna adicional. Como o colega Milton falou, uma boa dica é usar o separador TAB. Nas rotinas que já trabalhei, a melhor opção é usar atributos-enclosured com aspas-duplas, assim o ponto-e-virgula que vier entre aspas, não vai gerar uma coluna adicional. Todo arquivo TXT/CSV tem problemas, pois pode ser que nos dados a importar, venha caracteres não indicados, como o ponto-e-virgula, aspas-duplas, aspas-simples, TAB e virgulas: o que sempre dificulta a codificação das rotinas de importação. Ederson Elias DBA Oracle http://br.linkedin.com/pub/ederson-elias/24/8b/8b0 --- Em oracle_br@yahoogrupos.com.br, Milton Bastos Henriquis Jr. miltonbastos@... escreveu Contornar é praticamente é impossível. O arquivo é muito grande, e se não gerar OUTRO arquivo com outro delimitador, vc teria que acertar na mão, pois não dá pra automatizar o processo sendo que alguns ; são delimitadores e outros não são. Você precisa sim pedir pra gerar novamente com um delimitador diferente, ou separado por tabulação, enfim, opções não faltam. Att, Milton Bastos -- Att, [As partes desta mensagem que não continham texto foram removidas] -- Atenção! As mensagens do grupo ORACLE_BR são de acesso público e de inteira responsabilidade de seus remetentes. Acesse: http://www.mail-archive.com/oracle_br@yahoogrupos.com.br/ -- Apostilas » Dicas e Exemplos » Função » Mundo Oracle » Package » Procedure » Scripts » Tutoriais - O GRUPO ORACLE_BR TEM SEU PROPRIO ESPAÇO! VISITE: http://www.oraclebr.com.br/ Links do Yahoo! Grupos * Para visitar o site do seu grupo na web, acesse: http://br.groups.yahoo.com/group/oracle_br/ * Para sair deste grupo, envie um e-mail para: oracle_br-unsubscr...@yahoogrupos.com.br * O uso que você faz do Yahoo! Grupos está sujeito aos: http://br.yahoo.com/info/utos.html
Re: [oracle_br] Re: Import via COPY no postgres
Colegas eu ja fiz importações de grandes quantidades de dados nao sei se chegou a 3G mas a ferramenta que utilizei foi da EMS.Com ela você pode escolher o delimitador...Dar pra fazer muita coisa ... Não que eu seja a favor da pirataria mas dar uma googlada que você encontra. EMS SQL Manager 2010 for PostgreSQL v4.7.0.2 Emerson Martins DBA JR Em 12 de junho de 2012 15:43, Milton Bastos Henriquis Jr. miltonbas...@gmail.com escreveu: Ederson: sua idéia é muito boa! Mas há um probleminha aí... Como abrir um arquivo de 3GB no Excel? rs... Não vai suportar! Na minha opinião o correto é pedir em outro formato, e adotar isso como padrão - se contornar esse problema manualmente, nas próximas vezes vão continuar exportanto o CSV com o mesmo formato e o problema vai existir sempre. É aquela coisa: pô, da outra vez fiz assim e vc conseguiu importar... se vira aí, é só fazer de novo. Melhor atacar na raiz do problema! A opção de colocar os valores entre aspas duplas também é boa - isso SE não houver dados que já contenham aspas duplas... daí o problema apenas muda de lugar... rs. 2012/6/12 ederson2001br ederson200...@yahoo.com.br ** Jales, Não trabalho com Postgres, mas já fiz diversas operações com arquivos TXT/CSV. Uma dica: Abra o arquivo no Excel. Os registros que tem o ; a mais vão ter uma coluna a mais, confere? Então, marque todas as colunas e ordene pela coluna adicional. Isto colocará os registros com disparidade, juntos. Agora, copie estes registros para um arquivo separado e remova do arquivo principal e grave-o. Em seguida, duplique a sua rotina de importação e coloque o tratamento da V2 para ler o arquivo que tem a coluna adicional. Como o colega Milton falou, uma boa dica é usar o separador TAB. Nas rotinas que já trabalhei, a melhor opção é usar atributos-enclosured com aspas-duplas, assim o ponto-e-virgula que vier entre aspas, não vai gerar uma coluna adicional. Todo arquivo TXT/CSV tem problemas, pois pode ser que nos dados a importar, venha caracteres não indicados, como o ponto-e-virgula, aspas-duplas, aspas-simples, TAB e virgulas: o que sempre dificulta a codificação das rotinas de importação. Ederson Elias DBA Oracle http://br.linkedin.com/pub/ederson-elias/24/8b/8b0 --- Em oracle_br@yahoogrupos.com.br, Milton Bastos Henriquis Jr. miltonbastos@... escreveu Contornar é praticamente é impossível. O arquivo é muito grande, e se não gerar OUTRO arquivo com outro delimitador, vc teria que acertar na mão, pois não dá pra automatizar o processo sendo que alguns ; são delimitadores e outros não são. Você precisa sim pedir pra gerar novamente com um delimitador diferente, ou separado por tabulação, enfim, opções não faltam. Att, Milton Bastos -- Att, [As partes desta mensagem que não continham texto foram removidas] -- Atenção! As mensagens do grupo ORACLE_BR são de acesso público e de inteira responsabilidade de seus remetentes. Acesse: http://www.mail-archive.com/oracle_br@yahoogrupos.com.br/ -- Apostilas » Dicas e Exemplos » Função » Mundo Oracle » Package » Procedure » Scripts » Tutoriais - O GRUPO ORACLE_BR TEM SEU PROPRIO ESPAÇO! VISITE: http://www.oraclebr.com.br/ Links do Yahoo! Grupos [As partes desta mensagem que não continham texto foram removidas]
