Re: [pgbr-geral] Dúvida no Restore
Obrigado a todos pelas dicas e comentários. Verificando a recomendação do Teles, vi que nos logs aparecem bastante atividade dos 'checkpoints'. Vou fazer as mudanças e testá-las em breve. Como rever o resto das dicas. O OP não detalhou o ... ADD CONSTRAINT ... Pode ser tanto criação de PK > quanto de FK. Se for o primeiro, com um m_w_m de 6GB as tabelas devem > ter dezenas ou centenas de gigabytes. No segundo caso, pode ser > múltiplas FKs numa mesma tabela grande ou algum plano ruim na > verificação da FK (é possível mas acho pouco provável já que é um > simples LEFT JOIN). Enfim, sem os comandos ALTER TABLE ... ADD > CONSTRAINT e uma saída do pg_stat_activity e/ou pg_locks que evidenciam > tais problemas fica difícil dizer o que está ocorrendo. > > Em relação ao tipo de operação um tempo alto que tive foi devido criação de PK. Abaixo tem alguns logs: 2015-06-28 02:59:10 BRT [45995]: [557b1e55.b3ab] [9757-1] db=,user=postgres,client=[local] 67257:5/9537 CONTEXT: SQL statement "SELECT fk."id_ponto_venda" FROM ONLY ""."tb_venda_online_parcial" fk LEFT OU TER JOIN ONLY ""."tb_ponto_venda" pk ON ( pk."id" OPERATOR(pg_catalog.=) fk."id_ponto_venda") WHERE pk."id" IS NULL AND (fk."id_ponto_venda" IS NOT NULL)" 2015-06-28 02:59:10 BRT [45995]: [557b1e55.b3ab] [9758-1] db=,user=postgres,client=[local] 0:5/0 LOG: duration: 7911899.043 ms statement: ALTER TABLE ONLY tb_venda_online_parcial ADD CONSTRAINT tb_venda_online_parcial_fk3 FOREIGN KEY (id_ponto_venda) REFERENCES tb_ponto_venda(id); 2015-06-28 03:02:32 BRT [45994]: [557b1e55.b3aa] [13440-1] db=,user=postgres,client=[local] 67445:4/13221 LOG: duration: 7252998.586 ms plan: Query Text: SELECT fk."id_terminal" FROM ONLY ""."tb_venda_online_parcial" fk LEFT OUTER JOIN ONLY ""."tb_terminal_venda" pk ON ( pk."id" OPERATOR(pg_catalog.=) fk."id_terminal") WHERE pk."id" IS NULL AND (fk."id_terminal" IS NOT NULL) Hash Anti Join (cost=1972.95..3624761.84 rows=6621 width=8) Hash Cond: (fk.id_terminal = pk.id) -> Seq Scan on tb_venda_online_parcial fk (cost=0.00..2877924.20 rows=49658198 width=8) Filter: (id_terminal IS NOT NULL) -> Hash (cost=1482.42..1482.42 rows=39242 width=8) Buckets: 4096 Batches: 1 Memory Usage: 1533kB -> Seq Scan on tb_terminal_venda pk (cost=0.00..1482.42 rows=39242 width=8) 2015-06-28 03:02:32 BRT [45994]: [557b1e55.b3aa] [13441-1] db=,user=postgres,client=[local] 67445:4/13221 CONTEXT: SQL statement "SELECT fk."id_terminal" FROM ONLY ""."tb_venda_online_parcial" fk LEFT OUTER JOIN ONLY ""."tb_terminal_venda" pk ON ( pk."id" OPERATOR(pg_catalog.=) fk."id_terminal") WHERE pk."id" IS NULL AND (fk."id_terminal" IS NOT NULL)" 2015-06-28 03:02:32 BRT [45994]: [557b1e55.b3aa] [13442-1] db=,user=postgres,client=[local] 0:4/0 LOG: duration: 7253008.067 ms statement: ALTER TABLE ONLY tb_venda_online_parcial ADD CONSTRAINT tb_venda_online_parcial_fk2 FOREIGN KEY (id_terminal) REFERENCES tb_terminal_venda(id); 2015-06-28 04:57:34 BRT [45994]: [557b1e55.b3aa] [13460-1] db=,user=postgres,client=[local] 67605:4/13240 LOG: duration: 6901817.428 ms plan: Query Text: SELECT fk."id_operador_terminal" FROM ONLY ""."tb_venda_online_parcial" fk LEFT OUTER JOIN ONLY ""."tb_operador_terminal" pk ON ( pk."id" OPERATOR(pg_catalog.=) fk."id_operador_terminal") WHERE pk."id" IS NULL AND (fk."id_operador_terminal" IS NOT NULL) Hash Anti Join (cost=2740.02..3315202.42 rows=6621 width=8) Hash Cond: (fk.id_operador_terminal = pk.id) -> Seq Scan on tb_venda_online_parcial fk (cost=0.00..2877924.20 rows=49658198 width=8) Filter: (id_operador_terminal IS NOT NULL) -> Hash (cost=1696.12..1696.12 rows=83512 width=8) Buckets: 16384 Batches: 1 Memory Usage: 3263kB -> Seq Scan on tb_operador_terminal pk (cost=0.00..1696.12 rows=83512 width=8) 2015-06-28 04:57:34 BRT [45994]: [557b1e55.b3aa] [13461-1] db=,user=postgres,client=[local] 67605:4/13240 CONTEXT: SQL statement "SELECT fk."id_operador_terminal" FROM ONLY ""."tb_venda_online_parcial" fk LEFT OUTER JOIN ONLY ""."tb_operador_terminal" pk ON ( pk."id" OPERATOR(pg_catalog.=) fk."id_operador_terminal") WHERE pk."id" IS NULL AND (fk."id_operador_terminal" IS NOT NULL)" 2015-06-28 04:57:34 BRT [45994]: [557b1e55.b3aa] [13462-1] db=,user=postgres,client=[local] 0:4/0 LOG: duration: 6901824.244 ms statement: ALTER TABLE ONLY tb_venda_online_parcial ADD CONSTRAINT tb_venda_online_fk4 FOREIGN KEY (id_operador_terminal) REFERENCES tb_operador_terminal(id); Vi também que demora na criação dos indices. Pensei em colocar um disco dedicado com mais IOPS e criar um novo ponto de montagem para '/pgsql_tmp'. Assim que fizer o próximo restore e pegar novos tempos, volto a informar. -- Atenciosamente, Aldrey Galindo ___ pgbr-geral
Re: [pgbr-geral] Dúvida no Restore
2015-07-01 16:08 GMT-03:00 Euler Taveira : > Eu não aconselho habilitar autovacuum em restaurações Como eu comentei, é algo a se testar e não fazer cegamente. Não estou falando a toa, já tive situações parecidas, e se considerarmos o ANALYZE após a restauração dentro de uma janela de manutenção, por exemplo, faz sentido habilitar o autovacuum sim. Mas, como eu também comentei, o que obtive melhor performance nesse cenário foi mesmo separar a restauração, mas em geral eu não recomendo porque é um pouco complicado de fazer (no caso, por exemplo, executei o ANALYZE em paralelo). E claro, tudo isso só faz algum sentido se for realmente lentidão ao adicionar uma FOREIGN KEY (que o OP ainda não disse se é ou não). Resumindo, é necessário testar essas opções, eu iniciaria com a análise melhor das configurações, principalmente checkpoint_segments, que aparentemente está muito baixo, shared_buffers pode estar baixo também; ambos podem ser analisados verificando a pg_stat_bgwriter (aumentar shared_buffers se buffers_backend estiver muito alto, e checkpoint_segments se checkpoints_req estiver alto). A questão do autovacuum é uma opção a mais caso o OP decida testar. Atenciosamente, -- Matheus de Oliveira ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Dúvida no Restore
Poque apenas não modificar o parâmetro wal_sync_method durante o restore? ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] Dúvida no Restore
Corrigindo fsync synchronous_commit wal_sync_method ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] pgagent
Em 1 de julho de 2015 20:36, Douglas Fabiano Specht <
douglasfabi...@gmail.com> escreveu:
>
>
> Em 1 de julho de 2015 20:02, Douglas Fabiano Specht <
> douglasfabi...@gmail.com> escreveu:
>
>>
>>
>> Em 1 de julho de 2015 17:22, Rafael Fialho
>> escreveu:
>>
>>> Em 1 de julho de 2015 17:07, Douglas Fabiano Specht <
>>> douglasfabi...@gmail.com> escreveu:
>>>
Pessoal,
estou implementando via pgagent para disparar uma function de 1 em 1
minuto,
>>>
>>> Precisamos entender como foi realizada a instalação.
>>> Estás com o processo pgagent rodando no seu servidor, e devidamente
>>> configurado?
>>> A aba "Jobs" aparece em seu pgAdmin?
>>>
>>> ocorre que o esse job não está sendo disparado, tentei recriar e gerou o
seguinte sql:
INSERT INTO pgagent.pga_job (jobid, jobjclid, jobname, jobdesc,
jobenabled, jobhostagent)
SELECT , jcl.jclid, 'enviaMensagem', '', true, 'localhost'
FROM pgagent.pga_jobclass jcl WHERE jclname='Data Summarisation';
INSERT INTO pgagent.pga_jobstep (jstid, jstjobid, jstname, jstdesc,
jstenabled, jstkind, jstonerror, jstcode, jstdbname, jstconnstr)
SELECT , , 'reenviaMensagem', '', true, 's', 'f',
'select smsdk.reenviaMensagem();', 'smsdk', '';
INSERT INTO pgagent.pga_schedule (jscid, jscjobid, jscname, jscdesc,
jscminutes, jschours, jscweekdays, jscmonthdays, jscmonths, jscenabled,
jscstart, jscend)
VALUES(, , 'reenviaMensagem', '',
'{t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t}',
'{t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t}', '{t,t,t,t,t,t,t}',
'{t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t,t}',
'{t,t,t,t,t,t,t,t,t,t,t,t}', true, '2015-07-01 00:00:00', '2020-07-01
00:00:00');
onde eu acompanho o historico de execução? pois no pgadmin em
statistics esta tudo em branco.
>>>
>>> Na própria "aba" Jobs do pgAdmin é possível visualizar os jobs criados e
>>> verificar quando foi a última tentativa de execução, se ocorreu sucesso ou
>>> falha, etc.. Na tabela pgagent.pga_job também existe o campo "joblastrun"
>>> para determinar quando foi a última vez que o job foi executado.
>>> No seu caso, creio que ele não está sendo executado por falta de
>>> inicialização e configuração do processo pgagent.
>>>
>>> ___
>>> pgbr-geral mailing list
>>> pgbr-geral@listas.postgresql.org.br
>>> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>>>
>>>
>> Rafael
>> consegui pegar o log, acho que é algo sobre autenticação:
>> WARNING: Failed to create new connection to database
>> 'mensagem':'fe_sendauth: no password supplied'
>>
>> no debian onde configuro o pgpass? soachei referencia para windows..
>>
>>
>> --
>>
>> Douglas Fabiano Specht
>>
>
> Encontrei..
> no /home/postgres/.pgpass
> ja funcionando
>
Exatamente.. normalmente, por segurança, creio que seja uma das melhores
formas, mas aí é outra discussão.
Em ambientes de testes, o trust para conexões locais já resolve.
[]'s
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
[pgbr-geral] lançamento da 9.5 alpha 1
Olá, A primeira versão alfa da 9.5 foi lançada. Eu fiz uma tradução livre das notas de lançamento. http://eulerto.blogspot.com/2015/07/anuncio-do-postgresql-95-alfa.html Favor testar e relatar possíveis bugs e regressões de performance em [1]. Há algumas perguntas e, se você tiver melhorias de performance, é importante relatar também na -hackers [2]. [1] http://www.postgresql.org/support/submitbug/ [2] http://www.postgresql.org/list/ -- Euler Taveira Timbira - http://www.timbira.com.br/ PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
[pgbr-geral] RES: pgagent
Boa tarde Douglas Estou tentando realizar a configuração dos Jobs exatamente como você e também não estou obtendo sucesso, criei as funções mas não tenho a mínima ideia de como disparar elas automaticamente. Pesquisei os manuais do postgres, configurei conforme está lá mas não está executando Você possui algum matéria para um leigo como eu conseguir configurar o job do pg_agent ??? Desde já agradeço Att— Matheus Ferreira ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] RES: pgagent
Em 2 de julho de 2015 12:38, Matheus Ferreira escreveu: > > > Boa tarde Douglas > > > > Estou tentando realizar a configuração dos Jobs exatamente como você e > também não estou obtendo sucesso, criei as funções mas não tenho a mínima > ideia de como disparar elas automaticamente. > > Pesquisei os manuais do postgres, configurei conforme está lá mas não está > executando > > > > Você possui algum matéria para um leigo como eu conseguir configurar o job > do pg_agent ??? > > > > Desde já agradeço > > > > Att— > > Matheus Ferreira > > > > ___ > pgbr-geral mailing list > pgbr-geral@listas.postgresql.org.br > https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral > > Boa tarde Matheus segui alguns materiais na WEB http://www.pgadmin.org/docs/dev/pgagent.html http://lets.postgresql.jp/documents/technical/pgagent/en_pgagent -- Douglas Fabiano Specht ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] lançamento da 9.5 alpha 1
On 02-07-2015 12:05, Euler Taveira wrote: Olá, A primeira versão alfa da 9.5 foi lançada. Eu fiz uma tradução livre das notas de lançamento. http://eulerto.blogspot.com/2015/07/anuncio-do-postgresql-95-alfa.html Favor testar e relatar possíveis bugs e regressões de performance em [1]. Há algumas perguntas e, se você tiver melhorias de performance, é importante relatar também na -hackers [2]. [1] http://www.postgresql.org/support/submitbug/ [2] http://www.postgresql.org/list/ O PostgreSQL 9.5 Alpha não aparece na lista de downloads em [1] [1] http://www.enterprisedb.com/products-services-training/pgdownload#windows ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
Re: [pgbr-geral] lançamento da 9.5 alpha 1
On 02-07-2015 23:52, Edson F. Lidorio wrote: > O PostgreSQL 9.5 Alpha não aparece na lista de downloads em [1] > > [1] > http://www.enterprisedb.com/products-services-training/pgdownload#windows > Acho que não houve tempo hábil *ainda* para os empacotadores disponibilizarem pacotes da versão alfa. -- Euler Taveira Timbira - http://www.timbira.com.br/ PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento ___ pgbr-geral mailing list pgbr-geral@listas.postgresql.org.br https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
