Re: [FUG-BR] Problema de gerenciamento de memoria do squid.

2006-10-20 Por tôpico Matheus Lamberti
 Com relação a problemas de memória do squid eu sempre
ouço muitas coisas, mas vamos partir de um principio
mais simples... abaixo segue como eu deixo conf...

 1. costumo deixar uma partição (5G) apenas para o
squid (usando diskd)
 2. deixo meu cache_mem em 128M
 3. uso as politicas de troca (heap LFUDA)
 4. organizo as acl's
 4.1 coloco tudo o que uso url_regex sobre um mesmo
nome de acl (isso otimiza a alocação de memória):
 4.1.1 acl palavras url_regex -i /path/do/arq1
 4.1.2 acl palavras url_regex -i /path/do/arq2
 4.2 coloco tudo o que uso dstdom_regex sobre um mesmo
nome de acl
 4.3 evito declarar usar duas vezes a mesma acl

 Com esses ajustes meu squid não passa de 60M em
horários de pico, isso atendendo a uma média de 80
máquinas.

 Qualquer coisa, em pvt eu mando meu squid.conf ...
 Abraços...




--- Joao Rocha Braga Filho [EMAIL PROTECTED] wrote:

 On 10/19/06, Marco Moraes Filho
 [EMAIL PROTECTED] wrote:
  Este é o status agora, o acesso a internet esta
 super oscioso.
 
   PID USERNAME  PRI NICE   SIZE  RES STATE   
 TIME   WCPUCPU
  COMMAND
   503 nobody   960  253M   2720K
 RUN 54.7H
  0.00%   0.00%  squid
 
 O squid está em pé, tanto é que já consumiu quase 55
 horas de processador.
 
 O que me preocupa é que ele parece estar fazendo
 swap, e isto é péssimo.
 O que você está rodando na máquina? Observe o top, e
 verifique como estão
 os contadores de swap.
 
 
 João Rocha.
 
 
 
 
  Joao Rocha Braga Filho wrote:
 
  On 10/19/06, Marco Moraes Filho
 [EMAIL PROTECTED] wrote:
  
  
  Estas info ajuda?
  
  
  
  Um bocado
  
  
  
  cache_mem 100 MB
  
  
  
  Está mantendo uma cache em memória grande, mas
 tudo bem.
  
  
  
  cache_swap_low 95
  cache_dir diskd /usr/local/squid/var/cache 3000
 16 256 Q1=75 Q2=85
  
  
  
  E uma cache em disco pequena, só 3 GB, mas pode
 ser o uficiente.
  
  
  
  Filesystem SizeUsed   Avail Capacity
 iused   ifree %iused
  Mounted on
  /dev/ad0s1a 71G3.5G 62G 5% 
 182352 94975182%   /
  devfs  1.0K1.0K  0B   100%  
 0   0  100%   /dev
  
  
  
  O sistema de arquivos está tranquilo, e parece
 que você tem cerca
  de 180 mil arquivos no cache.
  
  Quando deu newfs, na criação do sistema de
 arquivos, deu alguma
  opção para escolher a quantidade de i-nodes, tipo
 -i? Aparentemente
  não.
  
  Em média, cada arquivo na cache do squid tem
 cerca de 13 KB. Se
  desse a opção -i 13000, sobraria um pouco mais de
 disco, pois a
  tabela de i-nodes seria cerca de 40% menor.
  
  No seu caso a média parece ser de cerca de 20 KB
 por arquivo. A minha
  é de cerca de 12.5 KB.
  
  
  
  Memoria fisica 1024MB
  
  
  
  Tem bastante memória.
  
  
  
  limit
  
  squid1-sta# limit
  cputime  unlimited
  filesize unlimited
  datasize 524288 kbytes
  
  
  
  Aqui indica que a área de dados do processo pode
 chegar a 512 MB, o
  que é o default. Para o seu caso deveria ser o
 suficiente, pois a sua cache
  é pequena.
  
  Eu tive que aumentar a minha para 768 MB. Eu
 mandei um e-mail para a
  lista informando como fiz.
  
  Está acompanhando o comportamento do squid com o
 programa top?
  Siguro que faça. Se quiser, coloque uma saída
 dele aqui.
  
  
  João Rocha.
  
  
  
  stacksize65536 kbytes
  coredumpsize unlimited
  memoryuseunlimited
  vmemoryuse   unlimited
  descriptors  3463
  memorylocked unlimited
  maxproc  1731
  sbsize   unlimited
  
  
  Joao Rocha Braga Filho wrote:
  
  
  
  Precisamos de vários dados para começar:
  
  - Tamanho do cache, configurado e em uso.
  - Se o cache está em um outro sistema de
 arquivos, dê um df -hi nele
  - Quanto tem de memória no seu servidor.
  - Qual é a resposta do comando limit
  
  
  João Rocha.
  
  
  On 10/19/06, Marco Moraes Filho
 [EMAIL PROTECTED] wrote:
  
  
  
  
  Pessoal,
  
 Tenho um proxy squid + dansguardian rodando
 em um freebsd 5.4. Estou
  tendo problemas com questão de alocação de
 memoria no servidor ou seja o
  squid começa a consumir memoria do servidor e
 após a utilização ele não
  libera a memoria alocada para a determinada
 tarefa e assim ele vai
  alocando e até estourar o buffer e derrubar o
 processo do squid, porem
  quando reiniciado ele tenta alocar toda a
 memoria q ja esta utilizando
  anteriormente tento que reiniciar o servidor
 para liberar a memoria
  alocada. Tenho um outro ambiente com o mesmo
 porte de hardware e com
  quase o dobro de acesso ao proxy porem em
 linux (slackware) e este
  problema não acontece.
 Ja efetuei a troca de versão do freebsd,
 versão do squid ja fiz
  tunning no kernel para gerencia de memoria e
 ja troquei o hardware porem
  o problema ainda persiste.
  
  Alguem da lista ja passou pro algum problema
 parecido ou tem alguma
  ideia para me ajudar a solucionar este
 problema?
  
  Tenho a necessidade de manter o proxy em
 freebsd pois gostaria de
  deixa-los como os firewall's em cluster
 failover utilizando vrrp
  (Solução com 

[FUG-BR] Problema de gerenciamento de memoria do squid.

2006-10-19 Por tôpico Marco Moraes Filho
Pessoal,

Tenho um proxy squid + dansguardian rodando em um freebsd 5.4. Estou 
tendo problemas com questão de alocação de memoria no servidor ou seja o 
squid começa a consumir memoria do servidor e após a utilização ele não 
libera a memoria alocada para a determinada tarefa e assim ele vai 
alocando e até estourar o buffer e derrubar o processo do squid, porem 
quando reiniciado ele tenta alocar toda a memoria q ja esta utilizando 
anteriormente tento que reiniciar o servidor para liberar a memoria 
alocada. Tenho um outro ambiente com o mesmo porte de hardware e com 
quase o dobro de acesso ao proxy porem em linux (slackware) e este 
problema não acontece.
Ja efetuei a troca de versão do freebsd, versão do squid ja fiz 
tunning no kernel para gerencia de memoria e ja troquei o hardware porem 
o problema ainda persiste.

Alguem da lista ja passou pro algum problema parecido ou tem alguma 
ideia para me ajudar a solucionar este problema?

Tenho a necessidade de manter o proxy em freebsd pois gostaria de 
deixa-los como os firewall's em cluster failover utilizando vrrp 
(Solução com mac virtual para cluster), para linux não achei nenhuma 
solução parecida de cluster todos trabalham com mac fisico.

Obrigado

-- 
Marco Antonio Moraes
CGR FIREWALL Atento Brasil.
Fone: 55+11+3293-6999 opção 1
e-mail: [EMAIL PROTECTED]

Esta mensagem de correio eletrônico e seus documentos anexos estão
dirigidos EXCLUSIVAMENTE aos destinatários especificados. A informação
contida pode ser CONFIDENCIAL e/ou estar LEGALMENTE PROTEGIDA e não
necessariamente reflete a opinião de ATENTO. Se você receber esta
mensagem por ENGANO, por favor comunique-lhe imediatamente ao remetente
e ELIMINE-O já que você NÃO ESTA AUTORIZADO ao uso, revelação,
distribuição, impressão ou cópia de toda ou alguma parte da informação
contida. Obrigado.

Este mensaje de correo electrónico y sus documentos adjuntos están
dirigidos EXCLUSIVAMENTE a los destinatarios especificados. La
información contenida puede ser CONFIDENCIAL y/o estar LEGALMENTE
PROTEGIDA y no necesariamente refleja la opinión de ATENTO. Si usted
recibe este mensaje por ERROR, por favor comuníqueselo inmediatamente al
remitente y ELIMÍNELO ya que usted NO ESTA AUTORIZADO al uso,
revelación, distribución, impresión o copia de toda o alguna parte de la
información contenida. Gracias. 

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Problema de gerenciamento de memoria do squid.

2006-10-19 Por tôpico Joao Rocha Braga Filho
Precisamos de vários dados para começar:

- Tamanho do cache, configurado e em uso.
- Se o cache está em um outro sistema de arquivos, dê um df -hi nele
- Quanto tem de memória no seu servidor.
- Qual é a resposta do comando limit


João Rocha.


On 10/19/06, Marco Moraes Filho [EMAIL PROTECTED] wrote:
 Pessoal,

 Tenho um proxy squid + dansguardian rodando em um freebsd 5.4. Estou
 tendo problemas com questão de alocação de memoria no servidor ou seja o
 squid começa a consumir memoria do servidor e após a utilização ele não
 libera a memoria alocada para a determinada tarefa e assim ele vai
 alocando e até estourar o buffer e derrubar o processo do squid, porem
 quando reiniciado ele tenta alocar toda a memoria q ja esta utilizando
 anteriormente tento que reiniciar o servidor para liberar a memoria
 alocada. Tenho um outro ambiente com o mesmo porte de hardware e com
 quase o dobro de acesso ao proxy porem em linux (slackware) e este
 problema não acontece.
 Ja efetuei a troca de versão do freebsd, versão do squid ja fiz
 tunning no kernel para gerencia de memoria e ja troquei o hardware porem
 o problema ainda persiste.

 Alguem da lista ja passou pro algum problema parecido ou tem alguma
 ideia para me ajudar a solucionar este problema?

 Tenho a necessidade de manter o proxy em freebsd pois gostaria de
 deixa-los como os firewall's em cluster failover utilizando vrrp
 (Solução com mac virtual para cluster), para linux não achei nenhuma
 solução parecida de cluster todos trabalham com mac fisico.

 Obrigado

 --
 Marco Antonio Moraes
 CGR FIREWALL Atento Brasil.
 Fone: 55+11+3293-6999 opção 1
 e-mail: [EMAIL PROTECTED]

 Esta mensagem de correio eletrônico e seus documentos anexos estão
 dirigidos EXCLUSIVAMENTE aos destinatários especificados. A informação
 contida pode ser CONFIDENCIAL e/ou estar LEGALMENTE PROTEGIDA e não
 necessariamente reflete a opinião de ATENTO. Se você receber esta
 mensagem por ENGANO, por favor comunique-lhe imediatamente ao remetente
 e ELIMINE-O já que você NÃO ESTA AUTORIZADO ao uso, revelação,
 distribuição, impressão ou cópia de toda ou alguma parte da informação
 contida. Obrigado.

 Este mensaje de correo electrónico y sus documentos adjuntos están
 dirigidos EXCLUSIVAMENTE a los destinatarios especificados. La
 información contenida puede ser CONFIDENCIAL y/o estar LEGALMENTE
 PROTEGIDA y no necesariamente refleja la opinión de ATENTO. Si usted
 recibe este mensaje por ERROR, por favor comuníqueselo inmediatamente al
 remitente y ELIMÍNELO ya que usted NO ESTA AUTORIZADO al uso,
 revelación, distribución, impresión o copia de toda o alguna parte de la
 información contenida. Gracias.

 -
 Histórico: http://www.fug.com.br/historico/html/freebsd/
 Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd



-- 
Sempre se apanha mais com as menores besteiras. Experiência própria.

[EMAIL PROTECTED]
[EMAIL PROTECTED]
http://www.goffredo.eti.br
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Problema de gerenciamento de memoria do squid.

2006-10-19 Por tôpico Marco Moraes Filho
Estas info ajuda?

cache_mem 100 MB
cache_swap_low 95
cache_dir diskd /usr/local/squid/var/cache 3000 16 256 Q1=75 Q2=85

Filesystem SizeUsed   Avail Capacity iused   ifree %iused  
Mounted on
/dev/ad0s1a 71G3.5G 62G 5%  182352 94975182%   /
devfs  1.0K1.0K  0B   100%   0   0  100%   /dev

Memoria fisica 1024MB

limit

squid1-sta# limit
cputime  unlimited
filesize unlimited
datasize 524288 kbytes
stacksize65536 kbytes
coredumpsize unlimited
memoryuseunlimited
vmemoryuse   unlimited
descriptors  3463
memorylocked unlimited
maxproc  1731
sbsize   unlimited


Joao Rocha Braga Filho wrote:

Precisamos de vários dados para começar:

- Tamanho do cache, configurado e em uso.
- Se o cache está em um outro sistema de arquivos, dê um df -hi nele
- Quanto tem de memória no seu servidor.
- Qual é a resposta do comando limit


João Rocha.


On 10/19/06, Marco Moraes Filho [EMAIL PROTECTED] wrote:
  

Pessoal,

Tenho um proxy squid + dansguardian rodando em um freebsd 5.4. Estou
tendo problemas com questão de alocação de memoria no servidor ou seja o
squid começa a consumir memoria do servidor e após a utilização ele não
libera a memoria alocada para a determinada tarefa e assim ele vai
alocando e até estourar o buffer e derrubar o processo do squid, porem
quando reiniciado ele tenta alocar toda a memoria q ja esta utilizando
anteriormente tento que reiniciar o servidor para liberar a memoria
alocada. Tenho um outro ambiente com o mesmo porte de hardware e com
quase o dobro de acesso ao proxy porem em linux (slackware) e este
problema não acontece.
Ja efetuei a troca de versão do freebsd, versão do squid ja fiz
tunning no kernel para gerencia de memoria e ja troquei o hardware porem
o problema ainda persiste.

Alguem da lista ja passou pro algum problema parecido ou tem alguma
ideia para me ajudar a solucionar este problema?

Tenho a necessidade de manter o proxy em freebsd pois gostaria de
deixa-los como os firewall's em cluster failover utilizando vrrp
(Solução com mac virtual para cluster), para linux não achei nenhuma
solução parecida de cluster todos trabalham com mac fisico.

Obrigado

--
Marco Antonio Moraes
CGR FIREWALL Atento Brasil.
Fone: 55+11+3293-6999 opção 1
e-mail: [EMAIL PROTECTED]

Esta mensagem de correio eletrônico e seus documentos anexos estão
dirigidos EXCLUSIVAMENTE aos destinatários especificados. A informação
contida pode ser CONFIDENCIAL e/ou estar LEGALMENTE PROTEGIDA e não
necessariamente reflete a opinião de ATENTO. Se você receber esta
mensagem por ENGANO, por favor comunique-lhe imediatamente ao remetente
e ELIMINE-O já que você NÃO ESTA AUTORIZADO ao uso, revelação,
distribuição, impressão ou cópia de toda ou alguma parte da informação
contida. Obrigado.

Este mensaje de correo electrónico y sus documentos adjuntos están
dirigidos EXCLUSIVAMENTE a los destinatarios especificados. La
información contenida puede ser CONFIDENCIAL y/o estar LEGALMENTE
PROTEGIDA y no necesariamente refleja la opinión de ATENTO. Si usted
recibe este mensaje por ERROR, por favor comuníqueselo inmediatamente al
remitente y ELIMÍNELO ya que usted NO ESTA AUTORIZADO al uso,
revelación, distribución, impresión o copia de toda o alguna parte de la
información contenida. Gracias.

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd





  


-- 
Marco Antonio Moraes
CGR FIREWALL Atento Brasil.
Fone: 55+11+3293-6999 opção 1
e-mail: [EMAIL PROTECTED]

Esta mensagem de correio eletrônico e seus documentos anexos estão
dirigidos EXCLUSIVAMENTE aos destinatários especificados. A informação
contida pode ser CONFIDENCIAL e/ou estar LEGALMENTE PROTEGIDA e não
necessariamente reflete a opinião de ATENTO. Se você receber esta
mensagem por ENGANO, por favor comunique-lhe imediatamente ao remetente
e ELIMINE-O já que você NÃO ESTA AUTORIZADO ao uso, revelação,
distribuição, impressão ou cópia de toda ou alguma parte da informação
contida. Obrigado.

Este mensaje de correo electrónico y sus documentos adjuntos están
dirigidos EXCLUSIVAMENTE a los destinatarios especificados. La
información contenida puede ser CONFIDENCIAL y/o estar LEGALMENTE
PROTEGIDA y no necesariamente refleja la opinión de ATENTO. Si usted
recibe este mensaje por ERROR, por favor comuníqueselo inmediatamente al
remitente y ELIMÍNELO ya que usted NO ESTA AUTORIZADO al uso,
revelación, distribución, impresión o copia de toda o alguna parte de la
información contenida. Gracias. 

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd


Re: [FUG-BR] Problema de gerenciamento de memoria do squid.

2006-10-19 Por tôpico Joao Rocha Braga Filho
On 10/19/06, Marco Moraes Filho [EMAIL PROTECTED] wrote:
 Estas info ajuda?

Um bocado


 cache_mem 100 MB

Está mantendo uma cache em memória grande, mas tudo bem.

 cache_swap_low 95
 cache_dir diskd /usr/local/squid/var/cache 3000 16 256 Q1=75 Q2=85

E uma cache em disco pequena, só 3 GB, mas pode ser o uficiente.


 Filesystem SizeUsed   Avail Capacity iused   ifree %iused
 Mounted on
 /dev/ad0s1a 71G3.5G 62G 5%  182352 94975182%   /
 devfs  1.0K1.0K  0B   100%   0   0  100%   /dev

O sistema de arquivos está tranquilo, e parece que você tem cerca
de 180 mil arquivos no cache.

Quando deu newfs, na criação do sistema de arquivos, deu alguma
opção para escolher a quantidade de i-nodes, tipo -i? Aparentemente
não.

Em média, cada arquivo na cache do squid tem cerca de 13 KB. Se
desse a opção -i 13000, sobraria um pouco mais de disco, pois a
tabela de i-nodes seria cerca de 40% menor.

No seu caso a média parece ser de cerca de 20 KB por arquivo. A minha
é de cerca de 12.5 KB.


 Memoria fisica 1024MB

Tem bastante memória.


 limit

 squid1-sta# limit
 cputime  unlimited
 filesize unlimited
 datasize 524288 kbytes

Aqui indica que a área de dados do processo pode chegar a 512 MB, o
que é o default. Para o seu caso deveria ser o suficiente, pois a sua cache
é pequena.

Eu tive que aumentar a minha para 768 MB. Eu mandei um e-mail para a
lista informando como fiz.

Está acompanhando o comportamento do squid com o programa top?
Siguro que faça. Se quiser, coloque uma saída dele aqui.


João Rocha.

 stacksize65536 kbytes
 coredumpsize unlimited
 memoryuseunlimited
 vmemoryuse   unlimited
 descriptors  3463
 memorylocked unlimited
 maxproc  1731
 sbsize   unlimited


 Joao Rocha Braga Filho wrote:

 Precisamos de vários dados para começar:
 
 - Tamanho do cache, configurado e em uso.
 - Se o cache está em um outro sistema de arquivos, dê um df -hi nele
 - Quanto tem de memória no seu servidor.
 - Qual é a resposta do comando limit
 
 
 João Rocha.
 
 
 On 10/19/06, Marco Moraes Filho [EMAIL PROTECTED] wrote:
 
 
 Pessoal,
 
 Tenho um proxy squid + dansguardian rodando em um freebsd 5.4. Estou
 tendo problemas com questão de alocação de memoria no servidor ou seja o
 squid começa a consumir memoria do servidor e após a utilização ele não
 libera a memoria alocada para a determinada tarefa e assim ele vai
 alocando e até estourar o buffer e derrubar o processo do squid, porem
 quando reiniciado ele tenta alocar toda a memoria q ja esta utilizando
 anteriormente tento que reiniciar o servidor para liberar a memoria
 alocada. Tenho um outro ambiente com o mesmo porte de hardware e com
 quase o dobro de acesso ao proxy porem em linux (slackware) e este
 problema não acontece.
 Ja efetuei a troca de versão do freebsd, versão do squid ja fiz
 tunning no kernel para gerencia de memoria e ja troquei o hardware porem
 o problema ainda persiste.
 
 Alguem da lista ja passou pro algum problema parecido ou tem alguma
 ideia para me ajudar a solucionar este problema?
 
 Tenho a necessidade de manter o proxy em freebsd pois gostaria de
 deixa-los como os firewall's em cluster failover utilizando vrrp
 (Solução com mac virtual para cluster), para linux não achei nenhuma
 solução parecida de cluster todos trabalham com mac fisico.
 
 Obrigado
 
 --
 Marco Antonio Moraes
 CGR FIREWALL Atento Brasil.
 Fone: 55+11+3293-6999 opção 1
 e-mail: [EMAIL PROTECTED]
 
 Esta mensagem de correio eletrônico e seus documentos anexos estão
 dirigidos EXCLUSIVAMENTE aos destinatários especificados. A informação
 contida pode ser CONFIDENCIAL e/ou estar LEGALMENTE PROTEGIDA e não
 necessariamente reflete a opinião de ATENTO. Se você receber esta
 mensagem por ENGANO, por favor comunique-lhe imediatamente ao remetente
 e ELIMINE-O já que você NÃO ESTA AUTORIZADO ao uso, revelação,
 distribuição, impressão ou cópia de toda ou alguma parte da informação
 contida. Obrigado.
 
 Este mensaje de correo electrónico y sus documentos adjuntos están
 dirigidos EXCLUSIVAMENTE a los destinatarios especificados. La
 información contenida puede ser CONFIDENCIAL y/o estar LEGALMENTE
 PROTEGIDA y no necesariamente refleja la opinión de ATENTO. Si usted
 recibe este mensaje por ERROR, por favor comuníqueselo inmediatamente al
 remitente y ELIMÍNELO ya que usted NO ESTA AUTORIZADO al uso,
 revelación, distribución, impresión o copia de toda o alguna parte de la
 información contenida. Gracias.
 
 -
 Histórico: http://www.fug.com.br/historico/html/freebsd/
 Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
 
 
 
 
 
 
 

 --
 Marco Antonio Moraes
 CGR FIREWALL Atento Brasil.
 Fone: 55+11+3293-6999 opção 1
 e-mail: [EMAIL PROTECTED]

 Esta mensagem de correio eletrônico e seus documentos anexos estão
 dirigidos EXCLUSIVAMENTE aos destinatários especificados. A informação
 contida pode ser CONFIDENCIAL e/ou estar LEGALMENTE PROTEGIDA e não
 

Re: [FUG-BR] Problema de gerenciamento de memoria do squid.

2006-10-19 Por tôpico Marco Moraes Filho
Este é o status agora, o acesso a internet esta super oscioso.

 PID USERNAME  PRI NICE   SIZE  RES STATETIME   WCPUCPU  
COMMAND   
 503 nobody   960  253M   2720K RUN 54.7H 
0.00%   0.00%  squid



Joao Rocha Braga Filho wrote:

On 10/19/06, Marco Moraes Filho [EMAIL PROTECTED] wrote:
  

Estas info ajuda?



Um bocado

  

cache_mem 100 MB



Está mantendo uma cache em memória grande, mas tudo bem.

  

cache_swap_low 95
cache_dir diskd /usr/local/squid/var/cache 3000 16 256 Q1=75 Q2=85



E uma cache em disco pequena, só 3 GB, mas pode ser o uficiente.

  

Filesystem SizeUsed   Avail Capacity iused   ifree %iused
Mounted on
/dev/ad0s1a 71G3.5G 62G 5%  182352 94975182%   /
devfs  1.0K1.0K  0B   100%   0   0  100%   /dev



O sistema de arquivos está tranquilo, e parece que você tem cerca
de 180 mil arquivos no cache.

Quando deu newfs, na criação do sistema de arquivos, deu alguma
opção para escolher a quantidade de i-nodes, tipo -i? Aparentemente
não.

Em média, cada arquivo na cache do squid tem cerca de 13 KB. Se
desse a opção -i 13000, sobraria um pouco mais de disco, pois a
tabela de i-nodes seria cerca de 40% menor.

No seu caso a média parece ser de cerca de 20 KB por arquivo. A minha
é de cerca de 12.5 KB.

  

Memoria fisica 1024MB



Tem bastante memória.

  

limit

squid1-sta# limit
cputime  unlimited
filesize unlimited
datasize 524288 kbytes



Aqui indica que a área de dados do processo pode chegar a 512 MB, o
que é o default. Para o seu caso deveria ser o suficiente, pois a sua cache
é pequena.

Eu tive que aumentar a minha para 768 MB. Eu mandei um e-mail para a
lista informando como fiz.

Está acompanhando o comportamento do squid com o programa top?
Siguro que faça. Se quiser, coloque uma saída dele aqui.


João Rocha.

  

stacksize65536 kbytes
coredumpsize unlimited
memoryuseunlimited
vmemoryuse   unlimited
descriptors  3463
memorylocked unlimited
maxproc  1731
sbsize   unlimited


Joao Rocha Braga Filho wrote:



Precisamos de vários dados para começar:

- Tamanho do cache, configurado e em uso.
- Se o cache está em um outro sistema de arquivos, dê um df -hi nele
- Quanto tem de memória no seu servidor.
- Qual é a resposta do comando limit


João Rocha.


On 10/19/06, Marco Moraes Filho [EMAIL PROTECTED] wrote:


  

Pessoal,

   Tenho um proxy squid + dansguardian rodando em um freebsd 5.4. Estou
tendo problemas com questão de alocação de memoria no servidor ou seja o
squid começa a consumir memoria do servidor e após a utilização ele não
libera a memoria alocada para a determinada tarefa e assim ele vai
alocando e até estourar o buffer e derrubar o processo do squid, porem
quando reiniciado ele tenta alocar toda a memoria q ja esta utilizando
anteriormente tento que reiniciar o servidor para liberar a memoria
alocada. Tenho um outro ambiente com o mesmo porte de hardware e com
quase o dobro de acesso ao proxy porem em linux (slackware) e este
problema não acontece.
   Ja efetuei a troca de versão do freebsd, versão do squid ja fiz
tunning no kernel para gerencia de memoria e ja troquei o hardware porem
o problema ainda persiste.

Alguem da lista ja passou pro algum problema parecido ou tem alguma
ideia para me ajudar a solucionar este problema?

Tenho a necessidade de manter o proxy em freebsd pois gostaria de
deixa-los como os firewall's em cluster failover utilizando vrrp
(Solução com mac virtual para cluster), para linux não achei nenhuma
solução parecida de cluster todos trabalham com mac fisico.

Obrigado

--
Marco Antonio Moraes
CGR FIREWALL Atento Brasil.
Fone: 55+11+3293-6999 opção 1
e-mail: [EMAIL PROTECTED]

Esta mensagem de correio eletrônico e seus documentos anexos estão
dirigidos EXCLUSIVAMENTE aos destinatários especificados. A informação
contida pode ser CONFIDENCIAL e/ou estar LEGALMENTE PROTEGIDA e não
necessariamente reflete a opinião de ATENTO. Se você receber esta
mensagem por ENGANO, por favor comunique-lhe imediatamente ao remetente
e ELIMINE-O já que você NÃO ESTA AUTORIZADO ao uso, revelação,
distribuição, impressão ou cópia de toda ou alguma parte da informação
contida. Obrigado.

Este mensaje de correo electrónico y sus documentos adjuntos están
dirigidos EXCLUSIVAMENTE a los destinatarios especificados. La
información contenida puede ser CONFIDENCIAL y/o estar LEGALMENTE
PROTEGIDA y no necesariamente refleja la opinión de ATENTO. Si usted
recibe este mensaje por ERROR, por favor comuníqueselo inmediatamente al
remitente y ELIMÍNELO ya que usted NO ESTA AUTORIZADO al uso,
revelación, distribución, impresión o copia de toda o alguna parte de la
información contenida. Gracias.

-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd







  

--
Marco Antonio 

Re: [FUG-BR] Problema de gerenciamento de memoria do squid.

2006-10-19 Por tôpico Joao Rocha Braga Filho
On 10/19/06, Marco Moraes Filho [EMAIL PROTECTED] wrote:
 Este é o status agora, o acesso a internet esta super oscioso.

  PID USERNAME  PRI NICE   SIZE  RES STATETIME   WCPUCPU
 COMMAND
  503 nobody   960  253M   2720K RUN 54.7H
 0.00%   0.00%  squid

O squid está em pé, tanto é que já consumiu quase 55 horas de processador.

O que me preocupa é que ele parece estar fazendo swap, e isto é péssimo.
O que você está rodando na máquina? Observe o top, e verifique como estão
os contadores de swap.


João Rocha.




 Joao Rocha Braga Filho wrote:

 On 10/19/06, Marco Moraes Filho [EMAIL PROTECTED] wrote:
 
 
 Estas info ajuda?
 
 
 
 Um bocado
 
 
 
 cache_mem 100 MB
 
 
 
 Está mantendo uma cache em memória grande, mas tudo bem.
 
 
 
 cache_swap_low 95
 cache_dir diskd /usr/local/squid/var/cache 3000 16 256 Q1=75 Q2=85
 
 
 
 E uma cache em disco pequena, só 3 GB, mas pode ser o uficiente.
 
 
 
 Filesystem SizeUsed   Avail Capacity iused   ifree %iused
 Mounted on
 /dev/ad0s1a 71G3.5G 62G 5%  182352 94975182%   /
 devfs  1.0K1.0K  0B   100%   0   0  100%   /dev
 
 
 
 O sistema de arquivos está tranquilo, e parece que você tem cerca
 de 180 mil arquivos no cache.
 
 Quando deu newfs, na criação do sistema de arquivos, deu alguma
 opção para escolher a quantidade de i-nodes, tipo -i? Aparentemente
 não.
 
 Em média, cada arquivo na cache do squid tem cerca de 13 KB. Se
 desse a opção -i 13000, sobraria um pouco mais de disco, pois a
 tabela de i-nodes seria cerca de 40% menor.
 
 No seu caso a média parece ser de cerca de 20 KB por arquivo. A minha
 é de cerca de 12.5 KB.
 
 
 
 Memoria fisica 1024MB
 
 
 
 Tem bastante memória.
 
 
 
 limit
 
 squid1-sta# limit
 cputime  unlimited
 filesize unlimited
 datasize 524288 kbytes
 
 
 
 Aqui indica que a área de dados do processo pode chegar a 512 MB, o
 que é o default. Para o seu caso deveria ser o suficiente, pois a sua cache
 é pequena.
 
 Eu tive que aumentar a minha para 768 MB. Eu mandei um e-mail para a
 lista informando como fiz.
 
 Está acompanhando o comportamento do squid com o programa top?
 Siguro que faça. Se quiser, coloque uma saída dele aqui.
 
 
 João Rocha.
 
 
 
 stacksize65536 kbytes
 coredumpsize unlimited
 memoryuseunlimited
 vmemoryuse   unlimited
 descriptors  3463
 memorylocked unlimited
 maxproc  1731
 sbsize   unlimited
 
 
 Joao Rocha Braga Filho wrote:
 
 
 
 Precisamos de vários dados para começar:
 
 - Tamanho do cache, configurado e em uso.
 - Se o cache está em um outro sistema de arquivos, dê um df -hi nele
 - Quanto tem de memória no seu servidor.
 - Qual é a resposta do comando limit
 
 
 João Rocha.
 
 
 On 10/19/06, Marco Moraes Filho [EMAIL PROTECTED] wrote:
 
 
 
 
 Pessoal,
 
Tenho um proxy squid + dansguardian rodando em um freebsd 5.4. Estou
 tendo problemas com questão de alocação de memoria no servidor ou seja o
 squid começa a consumir memoria do servidor e após a utilização ele não
 libera a memoria alocada para a determinada tarefa e assim ele vai
 alocando e até estourar o buffer e derrubar o processo do squid, porem
 quando reiniciado ele tenta alocar toda a memoria q ja esta utilizando
 anteriormente tento que reiniciar o servidor para liberar a memoria
 alocada. Tenho um outro ambiente com o mesmo porte de hardware e com
 quase o dobro de acesso ao proxy porem em linux (slackware) e este
 problema não acontece.
Ja efetuei a troca de versão do freebsd, versão do squid ja fiz
 tunning no kernel para gerencia de memoria e ja troquei o hardware porem
 o problema ainda persiste.
 
 Alguem da lista ja passou pro algum problema parecido ou tem alguma
 ideia para me ajudar a solucionar este problema?
 
 Tenho a necessidade de manter o proxy em freebsd pois gostaria de
 deixa-los como os firewall's em cluster failover utilizando vrrp
 (Solução com mac virtual para cluster), para linux não achei nenhuma
 solução parecida de cluster todos trabalham com mac fisico.
 
 Obrigado
 
 --
 Marco Antonio Moraes
 CGR FIREWALL Atento Brasil.
 Fone: 55+11+3293-6999 opção 1
 e-mail: [EMAIL PROTECTED]
 
 Esta mensagem de correio eletrônico e seus documentos anexos estão
 dirigidos EXCLUSIVAMENTE aos destinatários especificados. A informação
 contida pode ser CONFIDENCIAL e/ou estar LEGALMENTE PROTEGIDA e não
 necessariamente reflete a opinião de ATENTO. Se você receber esta
 mensagem por ENGANO, por favor comunique-lhe imediatamente ao remetente
 e ELIMINE-O já que você NÃO ESTA AUTORIZADO ao uso, revelação,
 distribuição, impressão ou cópia de toda ou alguma parte da informação
 contida. Obrigado.
 
 Este mensaje de correo electrónico y sus documentos adjuntos están
 dirigidos EXCLUSIVAMENTE a los destinatarios especificados. La
 información contenida puede ser CONFIDENCIAL y/o estar LEGALMENTE
 PROTEGIDA y no necesariamente refleja la opinión de ATENTO. Si usted
 recibe este mensaje por ERROR, por favor