[pgbr-geral] Aumentando Velocidade de Gravação dos Dados
Bom Dia Pessoal Gostaria de Saber se existe alguma forma (configuração) para aumentar a velocidade de gravação dos dados ??? Ex: Quando Faço importação de dados dos meus clientes, pego 500.000 registros, e esses registros demoram cerca de 2 hora para serem inseridos. Existe como aumentar a velocidade de gravação??? ou existe algum outro modo que eu possa fazer essa importação dos dados??? Grato Pela Ajuda... Alexandre___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Aumentando Velocidade de Gravação dos Dados
Seta Digital - Suporte wrote: > Bom Dia Pessoal > > Gostaria de Saber se existe alguma forma (configuração) para aumentar > a velocidade de gravação dos dados ??? > > Ex: Quando Faço importação de dados dos meus clientes, pego 500.000 > registros, e esses registros demoram cerca de 2 hora para serem > inseridos. > Você faz 500.000 transações, uma para cada Insert? > Existe como aumentar a velocidade de gravação??? ou existe algum outro > modo que eu possa fazer essa importação dos dados??? Procure pelo Copy[1], ele deve te ajudar [1]http://pgdocptbr.sourceforge.net/pg82/sql-copy.html ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Aumentando Velocidade de Gravação dos Dados
Olá, Como é o seu processo de importação. Você está fazendo via comando insert ou comando copy? Importante se você fizer com o comando insert á aberta uma transação para cada insert enquanto que se você fizer com o copy é aberta uma única transação para todo o procedimento. []s 2008/5/28 Seta Digital - Suporte <[EMAIL PROTECTED]>: > Bom Dia Pessoal > > Gostaria de Saber se existe alguma forma (configuração) para aumentar a > velocidade de gravação dos dados ??? > > Ex: Quando Faço importação de dados dos meus clientes, pego 500.000 > registros, e esses registros demoram cerca de 2 hora para serem > inseridos. > > Existe como aumentar a velocidade de gravação??? ou existe algum outro modo > que eu possa fazer essa importação dos dados??? > > Grato Pela Ajuda... > > Alexandre > > ___ > pgbr-geral mailing list > pgbr-geral@listas.postgresql.org.br > https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral > > -- João Paulo www.dextra.com.br/postgres PostgreSQL ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Aumentando Velocidade de Gravação dos Dados
existem sim algumas configurações que você pode fazer: Utilize o copy remova os indices remova as constrainsts de foreing key aumente o maintanance_work_mem aumente o checkpoint_segmentes Rode o Analyze depois de tudo - Original Message - From: "Evandro Ricardo Silvestre" <[EMAIL PROTECTED]> To: "Comunidade PostgreSQL Brasileira" Sent: Wednesday, May 28, 2008 10:00 AM Subject: Re: [pgbr-geral] Aumentando Velocidade de Gravação dos Dados Seta Digital - Suporte wrote: > Bom Dia Pessoal > > Gostaria de Saber se existe alguma forma (configuração) para aumentar > a velocidade de gravação dos dados ??? > > Ex: Quando Faço importação de dados dos meus clientes, pego 500.000 > registros, e esses registros demoram cerca de 2 hora para serem > inseridos. > Você faz 500.000 transações, uma para cada Insert? > Existe como aumentar a velocidade de gravação??? ou existe algum outro > modo que eu possa fazer essa importação dos dados??? Procure pelo Copy[1], ele deve te ajudar [1]http://pgdocptbr.sourceforge.net/pg82/sql-copy.html ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Aumentando Velocidade de Gravação dos Dados
Acredito que seja bastante interessante não utilizar transações para essa quantidade de inserts. Além disso, tunar seu servidor é uma boa também. http://listas.postgresql.org.br/pipermail/pgbr-geral/2008-February/006893.html Particularmente, eu gostei mais do link http://www.puschitz.com/TuningLinuxForOracle.shtml Abraços. From: jota.comm Subject: Re: [pgbr-geral]Aumentando Velocidade de Gravação dos Dados Olá, Como é o seu processo de importação. Você está fazendo via comando insert ou comando copy? Importante se você fizer com o comando insert á aberta uma transação para cada insert enquanto que se você fizer com o copy é aberta uma única transação para todo o procedimento. []s 2008/5/28 Seta Digital - Suporte <[EMAIL PROTECTED]>: Bom Dia Pessoal Gostaria de Saber se existe alguma forma (configuração) para aumentar a velocidade de gravação dos dados ??? Ex: Quando Faço importação de dados dos meus clientes, pego 500.000 registros, e esses registros demoram cerca de 2 hora para serem inseridos. Existe como aumentar a velocidade de gravação??? ou existe algum outro modo que eu possa fazer essa importação dos dados??? Grato Pela Ajuda... Alexandre ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral -- João Paulo www.dextra.com.br/postgres PostgreSQL ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Aumentando Velocidade de Gravação dos Dados
Olá, pessoal Na verdade existem muitas coisas que se pode fazer para ajudar. Eu pensei na estratégia mais simples, apenas mudar a forma de insert para copy, porém tem bastante coisa que se pode fazer conforme o João comentou. O bom é que cada um via dizendo um detalhe, e assim vão surgindo bastante possibilidades :) []s 2008/5/28 Joao <[EMAIL PROTECTED]>: > existem sim algumas configurações que você pode fazer: > Utilize o copy > remova os indices > remova as constrainsts de foreing key > aumente o maintanance_work_mem > aumente o checkpoint_segmentes > Rode o Analyze depois de tudo > > > - Original Message - > From: "Evandro Ricardo Silvestre" <[EMAIL PROTECTED]> > To: "Comunidade PostgreSQL Brasileira" < > pgbr-geral@listas.postgresql.org.br> > Sent: Wednesday, May 28, 2008 10:00 AM > Subject: Re: [pgbr-geral] Aumentando Velocidade de Gravação dos Dados > > > Seta Digital - Suporte wrote: > > Bom Dia Pessoal > > > > Gostaria de Saber se existe alguma forma (configuração) para aumentar > > a velocidade de gravação dos dados ??? > > > > Ex: Quando Faço importação de dados dos meus clientes, pego 500.000 > > registros, e esses registros demoram cerca de 2 hora para serem > > inseridos. > > > Você faz 500.000 transações, uma para cada Insert? > > Existe como aumentar a velocidade de gravação??? ou existe algum outro > > modo que eu possa fazer essa importação dos dados??? > Procure pelo Copy[1], ele deve te ajudar > > [1]http://pgdocptbr.sourceforge.net/pg82/sql-copy.html > ___ > pgbr-geral mailing list > pgbr-geral@listas.postgresql.org.br > https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral > > ___ > pgbr-geral mailing list > pgbr-geral@listas.postgresql.org.br > https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral > -- João Paulo www.dextra.com.br/postgres PostgreSQL ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Aumentando Velocidade de Gravação dos Dados
Valeu Pessoal pela ajuda Estou testando as alternativas que voces me deram por enquanto esta funcionando legal - Original Message - From: jota.comm To: Comunidade PostgreSQL Brasileira Sent: Wednesday, May 28, 2008 11:34 AM Subject: Re: [pgbr-geral]Aumentando Velocidade de Gravação dos Dados Olá, pessoal Na verdade existem muitas coisas que se pode fazer para ajudar. Eu pensei na estratégia mais simples, apenas mudar a forma de insert para copy, porém tem bastante coisa que se pode fazer conforme o João comentou. O bom é que cada um via dizendo um detalhe, e assim vão surgindo bastante possibilidades :) []s 2008/5/28 Joao <[EMAIL PROTECTED]>: existem sim algumas configurações que você pode fazer: Utilize o copy remova os indices remova as constrainsts de foreing key aumente o maintanance_work_mem aumente o checkpoint_segmentes Rode o Analyze depois de tudo - Original Message - From: "Evandro Ricardo Silvestre" <[EMAIL PROTECTED]> To: "Comunidade PostgreSQL Brasileira" Sent: Wednesday, May 28, 2008 10:00 AM Subject: Re: [pgbr-geral] Aumentando Velocidade de Gravação dos Dados Seta Digital - Suporte wrote: > Bom Dia Pessoal > > Gostaria de Saber se existe alguma forma (configuração) para aumentar > a velocidade de gravação dos dados ??? > > Ex: Quando Faço importação de dados dos meus clientes, pego 500.000 > registros, e esses registros demoram cerca de 2 hora para serem > inseridos. > Você faz 500.000 transações, uma para cada Insert? > Existe como aumentar a velocidade de gravação??? ou existe algum outro > modo que eu possa fazer essa importação dos dados??? Procure pelo Copy[1], ele deve te ajudar [1]http://pgdocptbr.sourceforge.net/pg82/sql-copy.html ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral -- João Paulo www.dextra.com.br/postgres PostgreSQL -- ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Aumentando Velocidade de Gravação dos Dados
Olá, Estamos aqui para ajudar. []s 2008/5/28 Seta Digital - Suporte <[EMAIL PROTECTED]>: > Valeu Pessoal pela ajuda > > Estou testando as alternativas que voces me deram por enquanto esta > funcionando legal > > > > - Original Message - > *From:* jota.comm <[EMAIL PROTECTED]> > *To:* Comunidade PostgreSQL Brasileira > *Sent:* Wednesday, May 28, 2008 11:34 AM > *Subject:* Re: [pgbr-geral]Aumentando Velocidade de Gravação dos Dados > > Olá, pessoal > > Na verdade existem muitas coisas que se pode fazer para ajudar. Eu pensei > na estratégia mais simples, apenas mudar a forma de insert para copy, porém > tem bastante coisa que se pode fazer conforme o João comentou. > > O bom é que cada um via dizendo um detalhe, e assim vão surgindo bastante > possibilidades :) > > []s > > 2008/5/28 Joao <[EMAIL PROTECTED]>: > >> existem sim algumas configurações que você pode fazer: >> Utilize o copy >> remova os indices >> remova as constrainsts de foreing key >> aumente o maintanance_work_mem >> aumente o checkpoint_segmentes >> Rode o Analyze depois de tudo >> >> >> - Original Message - >> From: "Evandro Ricardo Silvestre" <[EMAIL PROTECTED]> >> To: "Comunidade PostgreSQL Brasileira" < >> pgbr-geral@listas.postgresql.org.br> >> Sent: Wednesday, May 28, 2008 10:00 AM >> Subject: Re: [pgbr-geral] Aumentando Velocidade de Gravação dos Dados >> >> >> Seta Digital - Suporte wrote: >> > Bom Dia Pessoal >> > >> > Gostaria de Saber se existe alguma forma (configuração) para aumentar >> > a velocidade de gravação dos dados ??? >> > >> > Ex: Quando Faço importação de dados dos meus clientes, pego 500.000 >> > registros, e esses registros demoram cerca de 2 hora para serem >> > inseridos. >> > >> Você faz 500.000 transações, uma para cada Insert? >> > Existe como aumentar a velocidade de gravação??? ou existe algum outro >> > modo que eu possa fazer essa importação dos dados??? >> Procure pelo Copy[1], ele deve te ajudar >> >> [1]http://pgdocptbr.sourceforge.net/pg82/sql-copy.html >> ___ >> pgbr-geral mailing list >> pgbr-geral@listas.postgresql.org.br >> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral >> >> ___ >> pgbr-geral mailing list >> pgbr-geral@listas.postgresql.org.br >> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral >> > > > > -- > João Paulo > www.dextra.com.br/postgres > PostgreSQL > > -- > > ___ > pgbr-geral mailing list > pgbr-geral@listas.postgresql.org.br > https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral > > > ___ > pgbr-geral mailing list > pgbr-geral@listas.postgresql.org.br > https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral > > -- João Paulo www.dextra.com.br/postgres PostgreSQL ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
