Re: [pgbr-geral] Cannot allocate memory

2017-02-09 Por tôpico Mariana Hansen 
Em 9 de fevereiro de 2017 16:47, Vinícius Aquino do Vale <
aquino.v...@gmail.com> escreveu:

>
> >
> > Boa tarde.
> >
> > Gostaria de uma pequena ajuda, um "brainstorm" quem sabe...
> >
> > Conforme tenho acompanhado nos logs, após a execução de uma
> > query gigantesca pela aplicação, na segunda vez, logo em
> > seguida começam a aparecer várias msg no log "cannot allocate
> > memory".
> > Estranhamente, ao dar o comando free -m exibe que ainda se tem
> > mais de 10GB de memória livre.
> >
>
> Verifique se o usuário postgres está com os limites definidos.
>
> execute um *ulimit -a* no usuário *postgres* e veja se os limites não
> estão abaixo do esperado para execução do PostgreSQL.
>


$ ulimit -a
core file size  (blocks, -c) 0
data seg size   (kbytes, -d) unlimited
scheduling priority (-e) 0
file size   (blocks, -f) unlimited
pending signals (-i) 127941
max locked memory   (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files  (-n) 1024
pipe size(512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority  (-r) 0
stack size  (kbytes, -s) 8192
cpu time   (seconds, -t) unlimited
max user processes  (-u) 4096
virtual memory  (kbytes, -v) unlimited
file locks  (-x) unlimited


>
>
> Att,
> Vinicius Vale
>
>
> Em qui, 9 de fev de 2017 às 16:43, Flávio Silveira 
> escreveu:
>
>> Em 9 de fevereiro de 2017 14:51, Mariana Hansen > > escreveu:
>> >
>> > Boa tarde.
>> >
>> > Gostaria de uma pequena ajuda, um "brainstorm" quem sabe...
>> >
>> > Conforme tenho acompanhado nos logs, após a execução de uma
>> > query gigantesca pela aplicação, na segunda vez, logo em
>> > seguida começam a aparecer várias msg no log "cannot allocate
>> > memory".
>> > Estranhamente, ao dar o comando free -m exibe que ainda se tem
>> > mais de 10GB de memória livre.
>> >
>>
>> Acho que seria uma boa ideia se você colasse a saida do free também. Não
>> estou dizendo que é o seu caso mas acontece de algumas pessoas
>> interpretarem erroneamente a alocação.
>>
>> Atenciosamente,
>>Flavio Silveira
>> ___
>> pgbr-geral mailing list
>> pgbr-geral@listas.postgresql.org.br
>> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>
>
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Cannot allocate memory

2017-02-09 Por tôpico Mariana Hansen 
Em 9 de fevereiro de 2017 16:42, Flávio Silveira 
escreveu:

> Em 9 de fevereiro de 2017 14:51, Mariana Hansen  > escreveu:
>
>>
>> Boa tarde.
>>
>> Gostaria de uma pequena ajuda, um "brainstorm" quem sabe...
>>
>> Conforme tenho acompanhado nos logs, após a execução de uma
>> query gigantesca pela aplicação, na segunda vez, logo em
>> seguida começam a aparecer várias msg no log "cannot allocate
>> memory".
>> Estranhamente, ao dar o comando free -m exibe que ainda se tem
>> mais de 10GB de memória livre.
>>
>>
> Acho que seria uma boa ideia se você colasse a saida do free também. Não
> estou dizendo que é o seu caso mas acontece de algumas pessoas
> interpretarem erroneamente a alocação.
>

Vou ter que esperar acontecer de novo.
Aí só amanhã :(


>
> Atenciosamente,
>   Flavio Silveira
>
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Cannot allocate memory

2017-02-09 Por tôpico Vinícius Aquino do Vale 
>
> Boa tarde.
>
> Gostaria de uma pequena ajuda, um "brainstorm" quem sabe...
>
> Conforme tenho acompanhado nos logs, após a execução de uma
> query gigantesca pela aplicação, na segunda vez, logo em
> seguida começam a aparecer várias msg no log "cannot allocate
> memory".
> Estranhamente, ao dar o comando free -m exibe que ainda se tem
> mais de 10GB de memória livre.
>

Verifique se o usuário postgres está com os limites definidos.

execute um *ulimit -a* no usuário *postgres* e veja se os limites não estão
abaixo do esperado para execução do PostgreSQL.


Att,
Vinicius Vale


Em qui, 9 de fev de 2017 às 16:43, Flávio Silveira 
escreveu:

> Em 9 de fevereiro de 2017 14:51, Mariana Hansen  > escreveu:
> >
> > Boa tarde.
> >
> > Gostaria de uma pequena ajuda, um "brainstorm" quem sabe...
> >
> > Conforme tenho acompanhado nos logs, após a execução de uma
> > query gigantesca pela aplicação, na segunda vez, logo em
> > seguida começam a aparecer várias msg no log "cannot allocate
> > memory".
> > Estranhamente, ao dar o comando free -m exibe que ainda se tem
> > mais de 10GB de memória livre.
> >
>
> Acho que seria uma boa ideia se você colasse a saida do free também. Não
> estou dizendo que é o seu caso mas acontece de algumas pessoas
> interpretarem erroneamente a alocação.
>
> Atenciosamente,
>Flavio Silveira
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Cannot allocate memory

2017-02-09 Por tôpico Flávio Silveira 
Em 9 de fevereiro de 2017 14:51, Mariana Hansen > escreveu:


Boa tarde.

Gostaria de uma pequena ajuda, um "brainstorm" quem sabe...

Conforme tenho acompanhado nos logs, após a execução de uma
query gigantesca pela aplicação, na segunda vez, logo em
seguida começam a aparecer várias msg no log "cannot allocate
memory".
Estranhamente, ao dar o comando free -m exibe que ainda se tem
mais de 10GB de memória livre.



Acho que seria uma boa ideia se você colasse a saida do free também. Não 
estou dizendo que é o seu caso mas acontece de algumas pessoas 
interpretarem erroneamente a alocação.


Atenciosamente,
  Flavio Silveira
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Cannot allocate memory

2017-02-09 Por tôpico Mariana Hansen 
Em 9 de fevereiro de 2017 16:17, Francisco Porfirio <
francisco.porfi...@gmail.com> escreveu:

> Em 9 de fevereiro de 2017 14:51, Mariana Hansen 
> escreveu:
>
>> Boa tarde.
>>
>> Gostaria de uma pequena ajuda, um "brainstorm" quem sabe...
>>
>> Conforme tenho acompanhado nos logs, após a execução de uma query
>> gigantesca pela aplicação, na segunda vez, logo em seguida começam a
>> aparecer várias msg no log "cannot allocate memory".
>> Estranhamente, ao dar o comando free -m exibe que ainda se tem mais de
>> 10GB de memória livre.
>> Já procurei no Google, aqui mesmo no histórico da lista achei um caso
>> semelhante.
>> Parâmetros do kernel (semáforos e memória compartilhada) já foram
>> ajustados conforme a documentação do pg.
>> Eu sei que a maior culpa disso é da aplicação que manda uma query p/ o
>> banco que tem 97 joins...
>> Mas o que causa maior curiosidade é dizer q náo pode alocar memória,
>> sendo que ainda tem bastante.
>> Alguma idéia?
>>
>> Thx!
>>
>>
>
>> 
>> PostgreSQL 9.4
>>
>> shared_buffers = 6GB
>> work_mem = 8MB
>> maintenance_work_mem = 64MB
>>
>>
>> RedHat 7.3
>> 32GB RAM
>> 
>>
>>
>
> Mariana,
> Envia os valores de memória e semáforos que estão no sysctl,
>

kernel.sem = 2503200032128
kernel.sem_next_id = -1
kernel.shm_next_id = -1
kernel.shm_rmid_forced = 0
kernel.shmall = 32212254720
kernel.shmmax = 32212254720
kernel.shmmni = 7864320



> bem como o valor do seu max_connection.
>

100

>  E se possível, a linha completa do erro, ou só aparece isso?
>

Isso não faz diferença, pois até mesmo pra chamar o psql dá a msg de erro
dizendo q não consegue alocar memória com o usuário postgres.




>
>
>>
>> ___
>> pgbr-geral mailing list
>> pgbr-geral@listas.postgresql.org.br
>> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>>
>
>
>
> --
> Atenciosamente
> Francisco Porfirio Ribeiro Neto
>
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Cannot allocate memory

2017-02-09 Por tôpico Francisco Porfirio 
Em 9 de fevereiro de 2017 14:51, Mariana Hansen 
escreveu:

> Boa tarde.
>
> Gostaria de uma pequena ajuda, um "brainstorm" quem sabe...
>
> Conforme tenho acompanhado nos logs, após a execução de uma query
> gigantesca pela aplicação, na segunda vez, logo em seguida começam a
> aparecer várias msg no log "cannot allocate memory".
> Estranhamente, ao dar o comando free -m exibe que ainda se tem mais de
> 10GB de memória livre.
> Já procurei no Google, aqui mesmo no histórico da lista achei um caso
> semelhante.
> Parâmetros do kernel (semáforos e memória compartilhada) já foram
> ajustados conforme a documentação do pg.
> Eu sei que a maior culpa disso é da aplicação que manda uma query p/ o
> banco que tem 97 joins...
> Mas o que causa maior curiosidade é dizer q náo pode alocar memória, sendo
> que ainda tem bastante.
> Alguma idéia?
>
> Thx!
>
>

> 
> PostgreSQL 9.4
>
> shared_buffers = 6GB
> work_mem = 8MB
> maintenance_work_mem = 64MB
>
>
> RedHat 7.3
> 32GB RAM
> 
>
>

Mariana,
Envia os valores de memória e semáforos que estão no sysctl, bem como o
valor do seu max_connection.
 E se possível, a linha completa do erro, ou só aparece isso?



>
> ___
> pgbr-geral mailing list
> pgbr-geral@listas.postgresql.org.br
> https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral
>



-- 
Atenciosamente
Francisco Porfirio Ribeiro Neto
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

[pgbr-geral] Cannot allocate memory

2017-02-09 Por tôpico Mariana Hansen 
Boa tarde.

Gostaria de uma pequena ajuda, um "brainstorm" quem sabe...

Conforme tenho acompanhado nos logs, após a execução de uma query
gigantesca pela aplicação, na segunda vez, logo em seguida começam a
aparecer várias msg no log "cannot allocate memory".
Estranhamente, ao dar o comando free -m exibe que ainda se tem mais de 10GB
de memória livre.
Já procurei no Google, aqui mesmo no histórico da lista achei um caso
semelhante.
Parâmetros do kernel (semáforos e memória compartilhada) já foram ajustados
conforme a documentação do pg.
Eu sei que a maior culpa disso é da aplicação que manda uma query p/ o
banco que tem 97 joins...
Mas o que causa maior curiosidade é dizer q náo pode alocar memória, sendo
que ainda tem bastante.
Alguma idéia?

Thx!



PostgreSQL 9.4

shared_buffers = 6GB
work_mem = 8MB
maintenance_work_mem = 64MB


RedHat 7.3
32GB RAM

___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

[pgbr-geral] Cannot Allocate Memory

2012-10-16 Por tôpico Felipe Lauffer - Analista de Infraestrutura de TI 
Boa tarde pessoal,

Tenho um banco de dados na versão 8.3.7 com várias bases e quase todos os dias 
o banco de dados inteiro está parando, os usuários conectados permanecem neste 
estado e conexões novas são recusadas. No log do sistema não encontrei nada 
relacionado ao erro, mas no log do PostgreSQL quando o erro ocorre fica 
retornando repetidamente a seguinte mensagem de erro:
2012-10-16 15:14:22.639 BRT,,,6558,,507c2118.199e,22245,,2012-10-15 11:43:36 
BRT,,0,LOG,0,could not fork new process for connection: Cannot allocate 
memory

Alguma idéia do que possa estar causando isto? Já tentei alterar alguns 
parâmetros do postgresql.conf, mas ainda não obtive sucesso.

Desde já agradeço o apoio.


Felipe Lauffer

___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Cannot Allocate Memory

2012-10-16 Por tôpico Paulo Vieira 
S.O Linux?

Uma dica. verifica a memoria compartilhada do teu S.O...Pode estar
atrapalhando quando o postgresql tenta alocar mais memoria.

vi /etc/sysctl.conf

verifica o parametro:

kernel.shmmax=367108864

caso necessário, aumenta o valor..

e carrega as definições com
sysctl -p


Att

Paulo

Em 16 de outubro de 2012 15:26, Felipe Lauffer - Analista de Infraestrutura
de TI felipe.lauf...@agiplan.com.br escreveu:

  Boa tarde pessoal,

 ** **

 Tenho um banco de dados na versão 8.3.7 com várias bases e quase todos os
 dias o banco de dados inteiro está parando, os usuários conectados
 permanecem neste estado e conexões novas são recusadas. No log do sistema
 não encontrei nada relacionado ao erro, mas no log do PostgreSQL quando o
 erro ocorre fica retornando repetidamente a seguinte mensagem de erro:

 *“2012-10-16 15:14:22.639 BRT,,,6558,,507c2118.199e,22245,,2012-10-15
 11:43:36 BRT,,0,LOG,0,could not fork new process for connection:
 Cannot allocate memory”*

 ** **

 Alguma idéia do que possa estar causando isto? Já tentei alterar alguns
 parâmetros do postgresql.conf, mas ainda não obtive sucesso.

 ** **

 Desde já agradeço o apoio.

 ** **

  

 *Felipe Lauffer*

 ** **

 ___
 pgbr-geral mailing list
 pgbr-geral@listas.postgresql.org.br
 https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral


___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral

Re: [pgbr-geral] Cannot Allocate Memory

2012-10-16 Por tôpico Euler Taveira 
On 16-10-2012 15:26, Felipe Lauffer - Analista de Infraestrutura de TI wrote:
 Tenho um banco de dados na versão 8.3.7 com várias bases e quase todos os dias
 o banco de dados inteiro está parando, os usuários conectados permanecem neste
 estado e conexões novas são recusadas. No log do sistema não encontrei nada
 relacionado ao erro, mas no log do PostgreSQL quando o erro ocorre fica
 retornando repetidamente a seguinte mensagem de erro:
 
 *“2012-10-16 15:14:22.639 BRT,,,6558,,507c2118.199e,22245,,2012-10-15 11:43:36
 BRT,,0,LOG,0,could not fork new process for connection: Cannot allocate
 memory”*
 
Você não deu detalhes suficiente para te dizermos o que está acontecendo.
Algumas das causa podem ser: (i) OOM killer (você olhou nos logs do kernel?),
(ii) parâmetros de memória compartilhada (SHM*) ou mesmo (iii) parâmetros de
sua configuração?

Vamos por partes, responda:

(i) SO? versão?
(ii) parâmetros relevantes (vide consulta [1])?
(iii) informações sobre uso de memória?

Por fim, leia sobre o uso de recursos do kernel [2].

PS atualize para a última versão corretiva do 8.3 (atualmente 8.3.21).
Existem inúmeras correções de erro e de segurança disponíveis.


[1] http://wiki.postgresql.org/wiki/Server_Configuration
[2] http://www.postgresql.org/docs/current/static/kernel-resources.html


-- 
   Euler Taveira de Oliveira - Timbira   http://www.timbira.com.br/
   PostgreSQL: Consultoria, Desenvolvimento, Suporte 24x7 e Treinamento
___
pgbr-geral mailing list
pgbr-geral@listas.postgresql.org.br
https://listas.postgresql.org.br/cgi-bin/mailman/listinfo/pgbr-geral