Re: [FUG-BR] Muitas Conexões TCP
Só por uma curiosidade quantos clientes tem atraz desse servidor ?
Estou fazendo teste com o HZ em 4000 senti uma melhora quanto a
processamento, Quad-Core Q9450.
Att.
Em 2/9/2011 10:01, Ademir Peixoto escreveu:
Olá Paulo e Alexandre.
Eventualmente o servidor caia o tráfego abruptamente e depois
voltava do nada. Era como se fosse um fio entupido que desentupia.
Quanto ao load: Eu sou muito chato em relação a isso. São 6 discos
balanceados (usava raid mas dava gargalo) e a máquina raramente dá
picos de 3.0 no load geral.
É um Sr. servidor (24 núcleos de Xeon com 48Mb de ram) e com isso
acho que não é gargalo de hardware.
sysctl -a | grep hz
kern.clockrate: { hz = 2000, tick = 500, profhz = 2000, stathz = 133 }
kern.hz: 2000
debug.psm.hz: 20
Att,
Ademir Peixoto
Em 01/09/11 23:42, Paulo Henrique - BSDs Brasil escreveu:
Essa limitação está presente do lixonux, não no FreeBSD, o que voce deva
estar encontrando problemas mais com relação ao SYSV Shared do que com
coneções simultaneas,
Não que o FreeBSD seja a solução e tolere infinita quantidade de
conecção, mais antes disso em se tratando de cache pode ser SYSV, IO de
disco 100% exaurido, capacidade de processamento plenamente exalrida,
enfim começe por um printscreen do seu systat -vmstat 1 depois vai para
systat -ifstat 1, aproposito qual o valor da sua variavel HZ ?
Att.
Em 01/09/2011 23:21, Alexandre Biancalana escreveu:
Por que voce acha isso ? Alguma mensagem de erro ? Ou vc simplismente
acordou com essa ideia na cabeça ?
2011/8/31 Ademir Peixotoade...@tellecom.com.br:
Prezados,
Hoje temos um cenário com um servidor cache que tem muitas
conexões
e acho que pode ser ter algum limite do FreeBSD sendo exaurido.
Quando executo no horário de pico:
/usr/bin/netstat -n | /usr/bin/grep '^tcp4' | /usr/bin/wc -l
65325
/usr/bin/netstat -n | /usr/bin/grep '^tcp4' | /usr/bin/grep
'ESTABLISHED' | /usr/bin/wc -l
47699
Com isso acho que pode estar havendo alguma limitação de
conexões
tcp ativas.
Qual a variável do kernel que eu posso ajustar pra essas
conexões
subirem mais ainda? Pode estar tendo gargalos.
Att,
Ademir Peixoto
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
--
Quando a Morte decide contar uma historia,
A melhor ação que possa fazer é ouvi-la,
e torcer por não ser a sua própria a tal história.
Paulo Henrique.
Analista de Sistemas / Programador
BSDs Brasil.
Genuine Unix/BSD User.
Fone: (21) 9683-5433.
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Muitas Conexões TCP
Em 02/09/2011 13:00, Paulo Henrique BSD Brasil paulo.rd...@bsd.com.brescreveu: Só por uma curiosidade quantos clientes tem atraz desse servidor ? Estou fazendo teste com o HZ em 4000 senti uma melhora quanto a processamento, Quad-Core Q9450. Nem tudo é processador, boas interfaces (Intel, com tecnologia I/O VT-d, MSI-X) ajudam bastante na parte de tráfego de pacotes. Já tentei colocar em HZ=2000, mas mesmo com HZ=1000 também fica em 2000 no systat -vmstat 1... -- Eduardo Schoedler ESDS Consultoria - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
[FUG-BR] Muitas Conexões TCP
Prezados, Hoje temos um cenário com um servidor cache que tem muitas conexões e acho que pode ser ter algum limite do FreeBSD sendo exaurido. Quando executo no horário de pico: /usr/bin/netstat -n | /usr/bin/grep '^tcp4' | /usr/bin/wc -l 65325 /usr/bin/netstat -n | /usr/bin/grep '^tcp4' | /usr/bin/grep 'ESTABLISHED' | /usr/bin/wc -l 47699 Com isso acho que pode estar havendo alguma limitação de conexões tcp ativas. Qual a variável do kernel que eu posso ajustar pra essas conexões subirem mais ainda? Pode estar tendo gargalos. Att, Ademir Peixoto - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Muitas Conexões TCP
On Wed, 31 Aug 2011 13:37:51 -0300, Ademir Peixoto wrote: Prezados, Hoje temos um cenário com um servidor cache que tem muitas conexões e acho que pode ser ter algum limite do FreeBSD sendo exaurido. Quando executo no horário de pico: /usr/bin/netstat -n | /usr/bin/grep '^tcp4' | /usr/bin/wc -l 65325 Dá uma olhada pra ver se é o kern.maxfiles do sysctl: sysctl -a|grep kern.maxfiles /usr/bin/netstat -n | /usr/bin/grep '^tcp4' | /usr/bin/grep 'ESTABLISHED' | /usr/bin/wc -l 47699 Com isso acho que pode estar havendo alguma limitação de conexões tcp ativas. Qual a variável do kernel que eu posso ajustar pra essas conexões subirem mais ainda? Pode estar tendo gargalos. - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Muitas Conexões TCP
Olá, Isso eu já tinha afinado: sysctl kern.maxfiles kern.maxfiles: 375000 PS: É um FreeBSD 8.1 Att, Ademir Peixoto Em 31/08/11 16:56, gon...@bsdinfo.com.br escreveu: On Wed, 31 Aug 2011 13:37:51 -0300, Ademir Peixoto wrote: Prezados, Hoje temos um cenário com um servidor cache que tem muitas conexões e acho que pode ser ter algum limite do FreeBSD sendo exaurido. Quando executo no horário de pico: /usr/bin/netstat -n | /usr/bin/grep '^tcp4' | /usr/bin/wc -l 65325 Dá uma olhada pra ver se é o kern.maxfiles do sysctl: sysctl -a|grep kern.maxfiles /usr/bin/netstat -n | /usr/bin/grep '^tcp4' | /usr/bin/grep 'ESTABLISHED' | /usr/bin/wc -l 47699 Com isso acho que pode estar havendo alguma limitação de conexões tcp ativas. Qual a variável do kernel que eu posso ajustar pra essas conexões subirem mais ainda? Pode estar tendo gargalos. - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Muitas Conexões TCP
Quando o tamanho do tcp.sendspace? E o tamanho do kmem? Um top mostraria bastante coisa tambem. Em FreeBSD 8.2+, o tamanho do kmem foi aumentado (em amd64). Em 31 de agosto de 2011 17:11, Ademir Peixoto ade...@tellecom.com.br escreveu: Olá, Isso eu já tinha afinado: sysctl kern.maxfiles kern.maxfiles: 375000 PS: É um FreeBSD 8.1 Att, Ademir Peixoto Em 31/08/11 16:56, gon...@bsdinfo.com.br escreveu: On Wed, 31 Aug 2011 13:37:51 -0300, Ademir Peixoto wrote: Prezados, Hoje temos um cenário com um servidor cache que tem muitas conexões e acho que pode ser ter algum limite do FreeBSD sendo exaurido. Quando executo no horário de pico: /usr/bin/netstat -n | /usr/bin/grep '^tcp4' | /usr/bin/wc -l 65325 Dá uma olhada pra ver se é o kern.maxfiles do sysctl: sysctl -a|grep kern.maxfiles /usr/bin/netstat -n | /usr/bin/grep '^tcp4' | /usr/bin/grep 'ESTABLISHED' | /usr/bin/wc -l 47699 Com isso acho que pode estar havendo alguma limitação de conexões tcp ativas. Qual a variável do kernel que eu posso ajustar pra essas conexões subirem mais ainda? Pode estar tendo gargalos. - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Muitas Conexões TCP
Olá, A máquina tem 48gb de ram. sysctl -a | grep tcp.sendspace net.inet.tcp.sendspace: 81920 sysctl -a | grep kmem vm.kmem_size_scale: 3 vm.kmem_size_max: 329853485875 vm.kmem_size_min: 0 vm.kmem_size: 16659177472 Att, Ademir Peixoto Em 31/08/11 23:45, Thiago Damas escreveu: Quando o tamanho do tcp.sendspace? E o tamanho do kmem? Um top mostraria bastante coisa tambem. Em FreeBSD 8.2+, o tamanho do kmem foi aumentado (em amd64). Em 31 de agosto de 2011 17:11, Ademir Peixotoade...@tellecom.com.br escreveu: Olá, Isso eu já tinha afinado: sysctl kern.maxfiles kern.maxfiles: 375000 PS: É um FreeBSD 8.1 Att, Ademir Peixoto Em 31/08/11 16:56, gon...@bsdinfo.com.br escreveu: On Wed, 31 Aug 2011 13:37:51 -0300, Ademir Peixoto wrote: Prezados, Hoje temos um cenário com um servidor cache que tem muitas conexões e acho que pode ser ter algum limite do FreeBSD sendo exaurido. Quando executo no horário de pico: /usr/bin/netstat -n | /usr/bin/grep '^tcp4' | /usr/bin/wc -l 65325 Dá uma olhada pra ver se é o kern.maxfiles do sysctl: sysctl -a|grep kern.maxfiles /usr/bin/netstat -n | /usr/bin/grep '^tcp4' | /usr/bin/grep 'ESTABLISHED' | /usr/bin/wc -l 47699 Com isso acho que pode estar havendo alguma limitação de conexões tcp ativas. Qual a variável do kernel que eu posso ajustar pra essas conexões subirem mais ainda? Pode estar tendo gargalos. - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Muitas Conexões TCP
O problema não são os parâmetros de rede... Só podem existir 65535 conexões TCP, não existem portas acima de 65535. Você deve configurar para fazer fast recycle... # FIN_WAIT_2 state fast recycle net.inet.tcp.fast_finwait2_recycle=1 Alguns outros parâmetros que podem ajudar: net.inet.tcp.delayed_ack: 0 # Increase portrange # For outgoing connections only. Good for seed-boxes and ftp servers. net.inet.ip.portrange.first=1024 net.inet.ip.portrange.last=65535 Mais informações em: http://serverfault.com/questions/64356/freebsd-performance-tuning-sysctls-loader-conf-kernel http://spatula.net/blog/2007/04/freebsd-network-performance-tuning.html -- Eduardo Schoedler ESDS Consultoria Em 1 de setembro de 2011 00:06, Ademir Peixoto ade...@tellecom.com.brescreveu: Olá, A máquina tem 48gb de ram. sysctl -a | grep tcp.sendspace net.inet.tcp.sendspace: 81920 sysctl -a | grep kmem vm.kmem_size_scale: 3 vm.kmem_size_max: 329853485875 vm.kmem_size_min: 0 vm.kmem_size: 16659177472 Att, Ademir Peixoto Em 31/08/11 23:45, Thiago Damas escreveu: Quando o tamanho do tcp.sendspace? E o tamanho do kmem? Um top mostraria bastante coisa tambem. Em FreeBSD 8.2+, o tamanho do kmem foi aumentado (em amd64). Em 31 de agosto de 2011 17:11, Ademir Peixotoade...@tellecom.com.br escreveu: Olá, Isso eu já tinha afinado: sysctl kern.maxfiles kern.maxfiles: 375000 PS: É um FreeBSD 8.1 Att, Ademir Peixoto Em 31/08/11 16:56, gon...@bsdinfo.com.br escreveu: On Wed, 31 Aug 2011 13:37:51 -0300, Ademir Peixoto wrote: Prezados, Hoje temos um cenário com um servidor cache que tem muitas conexões e acho que pode ser ter algum limite do FreeBSD sendo exaurido. Quando executo no horário de pico: /usr/bin/netstat -n | /usr/bin/grep '^tcp4' | /usr/bin/wc -l 65325 Dá uma olhada pra ver se é o kern.maxfiles do sysctl: sysctl -a|grep kern.maxfiles /usr/bin/netstat -n | /usr/bin/grep '^tcp4' | /usr/bin/grep 'ESTABLISHED' | /usr/bin/wc -l 47699 Com isso acho que pode estar havendo alguma limitação de conexões tcp ativas. Qual a variável do kernel que eu posso ajustar pra essas conexões subirem mais ainda? Pode estar tendo gargalos. - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Muitas Conexões TCP
Já tive problemas semelhantes em redes nateadas que só tinham um ip de nat.
Solução simples (no caso tinha disponivel mais ip's na mascara)
com pf:
nat on $ext_if from $rede_lan to any - { 200.x.x.1, 200.x.x.2,
200.x.x.3 } round-robin
Algo assim auxilia no ganho de mais conexões tcp.
Espero que ajude a acender a luz ai
abraços
Em 1 de setembro de 2011 01:14, Eduardo Schoedler lis...@esds.com.br escreveu:
O problema não são os parâmetros de rede... Só podem existir 65535 conexões
TCP, não existem portas acima de 65535.
Você deve configurar para fazer fast recycle...
# FIN_WAIT_2 state fast recycle
net.inet.tcp.fast_finwait2_recycle=1
Alguns outros parâmetros que podem ajudar:
net.inet.tcp.delayed_ack: 0
# Increase portrange
# For outgoing connections only. Good for seed-boxes and ftp servers.
net.inet.ip.portrange.first=1024
net.inet.ip.portrange.last=65535
Mais informações em:
http://serverfault.com/questions/64356/freebsd-performance-tuning-sysctls-loader-conf-kernel
http://spatula.net/blog/2007/04/freebsd-network-performance-tuning.html
--
Eduardo Schoedler
ESDS Consultoria
Em 1 de setembro de 2011 00:06, Ademir Peixoto
ade...@tellecom.com.brescreveu:
Olá,
A máquina tem 48gb de ram.
sysctl -a | grep tcp.sendspace
net.inet.tcp.sendspace: 81920
sysctl -a | grep kmem
vm.kmem_size_scale: 3
vm.kmem_size_max: 329853485875
vm.kmem_size_min: 0
vm.kmem_size: 16659177472
Att,
Ademir Peixoto
Em 31/08/11 23:45, Thiago Damas escreveu:
Quando o tamanho do tcp.sendspace? E o tamanho do kmem? Um top
mostraria bastante coisa tambem. Em FreeBSD 8.2+, o tamanho do kmem
foi aumentado (em amd64).
Em 31 de agosto de 2011 17:11, Ademir Peixotoade...@tellecom.com.br
escreveu:
Olá,
Isso eu já tinha afinado:
sysctl kern.maxfiles
kern.maxfiles: 375000
PS: É um FreeBSD 8.1
Att,
Ademir Peixoto
Em 31/08/11 16:56, gon...@bsdinfo.com.br escreveu:
On Wed, 31 Aug 2011 13:37:51 -0300, Ademir Peixoto wrote:
Prezados,
Hoje temos um cenário com um servidor cache que tem muitas
conexões
e acho que pode ser ter algum limite do FreeBSD sendo exaurido.
Quando executo no horário de pico:
/usr/bin/netstat -n | /usr/bin/grep '^tcp4' | /usr/bin/wc -l
65325
Dá uma olhada pra ver se é o kern.maxfiles do sysctl:
sysctl -a|grep kern.maxfiles
/usr/bin/netstat -n | /usr/bin/grep '^tcp4' | /usr/bin/grep
'ESTABLISHED' | /usr/bin/wc -l
47699
Com isso acho que pode estar havendo alguma limitação de
conexões
tcp ativas.
Qual a variável do kernel que eu posso ajustar pra essas
conexões
subirem mais ainda? Pode estar tendo gargalos.
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
--
/\ Luiz Gustavo S. Costa
/ \ Programmer at BSD Perimeter
/ \ /\/\/\ Visit the pfSense Project
/ \ \ \ http://www.pfsense.org
-
BSD da serra carioca, Teresopolis (visite: http://miud.in/Inv)
Contatos: luizgust...@luizgustavo.pro.br / lgco...@pfsense.org
Blog: http://www.luizgustavo.pro.br
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
