Re: [FUG-BR] Bge0 e FreeBSD.
2010/1/21 Matheus Cucoloto matheuscucol...@gmail.com: Para ficar mais desesperado ainda encontrei este cara aqui com problema semelhante: http://www.mail-archive.com/freebsd-...@freebsd.org/msg30126.html Apenas um pitaco... Ele (o cara do link acima) também estava usando bge(4), você já pensou em testar com outra placa? -- Marcelo Rossi This e-mail is provided AS IS with no warranties, and confers no rights. - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Bge0 e FreeBSD.
você já trocou essas placas por emx intel 2010/1/21 Matheus Cucoloto matheuscucol...@gmail.com Mas isso no nível de pacotes, não no de frames. Acho que são seus links externos descartando tráfego. Com quem vc troca tráfego (peering) e a qual velocidade? Tá rodando BGP? Multihomed? Duas sessões bgp full routing com quagga, uma de 100mb e outra de 120mb GVT e OI. Sobre os descartes, dentro da minha DMZ também esta perdendo pacote. To ficando louco ja com isso, e o pior, neste momento estou trafegando 2 pacotes segundos e ta dando erro também. Ja troquei de switch, coloquei um cisco 3550 e acontece a mesma coisa. Para ficar mais desesperado ainda encontrei este cara aqui com problema semelhante: http://www.mail-archive.com/freebsd-...@freebsd.org/msg30126.html -- --- Matheus Cucoloto Unix Expertise Voip Expertise WiTec - Wi Telecom Fix: +55 44 36194203 Cel: +55 44 99216200 Sip: sip://1...@sipwicne1.grupoirapida.com.br - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Bge0 e FreeBSD.
2010/1/20 Matheus Cucoloto matheuscucol...@gmail.com: Pessoal. Tenho um FreeBSD com media de 80mil pacotes por segundos. Que versão? E o hardware tem mesmo 4 cpus/cores e não se trata de Hyper Threading certo? [...] CPU: 0.0% user, 0.0% nice, 2.2% system, 14.8% interrupt, 83.0% idle [...] 29 root 1 -68 - 0K 16K WAIT 0 1232.4 33.25% irq256: bge0 33% é interrupção pra caramba hein? Não dá pra dizer que seja um interrupt storm pois tens mesmo muito trafego. Poderias rodar um vmstat -w 3 e colar algumas linhas contendo os in sy cs us sy id do fault e cpu? 2090964975 cpu context switches 741917513 device interrupts 487968930 software interrupts 892908039 traps 1050964447 system calls Esses valores são absurdamente altos, mas com 200 dias de uptime fica difícil comparar com valores usuais. Porém o valor de context switchs está me chamando a atenção e estou desconfiado de algo relacionado a afinidade de cpu Não posso nem pensar em habilitar o polling que a coisa fica feia. Tentasse um tunning nas sysctl do polling? kern.hz também poderia ser tunado, se pra mais ou pra menos depende da frequencia que o polling estiver sendo chamado. Alternativa maluca do momento: Colocar uma terceira interface e fazer um trunk com lagg para rede onde esta a bge0. A bge1 também apresenta erros? -- Nilson - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Bge0 e FreeBSD.
Acho que é algo com o driver da placa, não acham não? Eu mesmo estou com um servidor aqui com 1 em e 3 ste que com 25MB de tráfego fica com 15% de interrupt... -- From: Marcelo/Porks marceloro...@gmail.com Sent: Thursday, January 21, 2010 7:59 AM To: Lista Brasileira de Discussão sobre FreeBSD (FUG-BR) freebsd@fug.com.br Subject: Re: [FUG-BR] Bge0 e FreeBSD. 2010/1/21 Matheus Cucoloto matheuscucol...@gmail.com: Para ficar mais desesperado ainda encontrei este cara aqui com problema semelhante: http://www.mail-archive.com/freebsd-...@freebsd.org/msg30126.html Apenas um pitaco... Ele (o cara do link acima) também estava usando bge(4), você já pensou em testar com outra placa? -- Marcelo Rossi This e-mail is provided AS IS with no warranties, and confers no rights. - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Bge0 e FreeBSD.
Já pensou, se não pode ser a possibilidade de ter tráfego malicioso ou até inundação de broadcasts? Atenciosamente, Anderson Eduardo - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Bge0 e FreeBSD.
Qual a versão do FreeBSD ? Já tentou ativar/desativar o 'direct dispatch' e ver os resultados? sysctl net.isr.direct 2010/1/21 Matheus Cucoloto matheuscucol...@gmail.com Mas isso no nível de pacotes, não no de frames. Acho que são seus links externos descartando tráfego. Com quem vc troca tráfego (peering) e a qual velocidade? Tá rodando BGP? Multihomed? Duas sessões bgp full routing com quagga, uma de 100mb e outra de 120mb GVT e OI. Sobre os descartes, dentro da minha DMZ também esta perdendo pacote. To ficando louco ja com isso, e o pior, neste momento estou trafegando 2 pacotes segundos e ta dando erro também. Ja troquei de switch, coloquei um cisco 3550 e acontece a mesma coisa. Para ficar mais desesperado ainda encontrei este cara aqui com problema semelhante: http://www.mail-archive.com/freebsd-...@freebsd.org/msg30126.html -- --- Matheus Cucoloto Unix Expertise Voip Expertise WiTec - Wi Telecom Fix: +55 44 36194203 Cel: +55 44 99216200 Sip: sip://1...@sipwicne1.grupoirapida.com.br - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Bge0 e FreeBSD.
Erro de CRC é erro no frame.Em 99,9% das vezes indica falha na camada física. No teu lugar começaria a dar uma olhada no cabeamento, conectores e hardware de rede em geral. -- CCNA / CCNP / pursuing CCIE To err is human, to blame it on somebody else shows management potential. - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Bge0 e FreeBSD.
Em 21/01/10, c0re dumped ez.c...@gmail.com escreveu: Erro de CRC é erro no frame.Em 99,9% das vezes indica falha na camada física. No teu lugar começaria a dar uma olhada no cabeamento, conectores e hardware de rede em geral. -- CCNA / CCNP / pursuing CCIE To err is human, to blame it on somebody else shows management potential. Matheus, O core dumped tem razão, CRC normalmente é erro físico, porém recomendo que você leia essa thread onde vários aspectos de tuning foram abordados: http://www.freebsd.org/cgi/getmsg.cgi?fetch=0+0+/usr/local/www/db/text/2009/freebsd-net/20091011.freebsd-net No fim o problema não era no dummynet e sim no tamanho da fila (buffer) da placa de rede, que precisou ser ajustado manuallmente para comportar esse trafego. A thread é muito longa, portanto a dica é ler as mensagens do pessoal mais experiente (Robert Watson, Luigi Rizzo e julian elisher), ali est'ao concentradas as informa;'oes mais importatnes. ]\[s /me apanhando desse teclado mini do AAO. Toshiba portege RIP. forced away.. Luiz - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Bge0 e FreeBSD.
--Marcelo Rossi. Ele também usa bge0, quero trocar de placa mas o server é um hp e tem que ser só placa de rede pci-express não tenho no momento tenho que aguardar. --Renato Vo trocar, mas tem que esperar chegar a placa --Nilson To usando o FreeBSD 7.2-stable de ontem o servidor é um HP com processador xeon quadcore. # vmstat -w 3 procs memory pagedisks faults cpu r b w avmfre flt re pi pofr sr ad4 ad5 in sy cs us sy id 0 0 0893M 2120M 561 0 0 0 548 0 0 0 7446 1629 20658 1 8 91 0 0 0893M 2120M31 0 0 0 0 0 2 2 11295 201 28763 0 8 92 0 4 0940M 2118M 398 0 0 0 166 0 3 3 11301 419 28805 0 10 90 0 0 0893M 2120M48 0 0 0 252 0 0 0 11261 575 28678 0 9 91 0 0 0893M 2120M29 0 0 0 0 0 0 0 11302 121 28706 0 9 91 0 0 0893M 2120M10 0 0 0 0 0 0 0 11421 618 28996 0 9 91 0 0 0893M 2120M 0 0 0 0 0 0 0 0 11361 1542 28990 0 9 91 0 0 0893M 2120M 242 0 0 0 0 0 0 0 10968 2100 27934 0 11 89 0 0 0893M 2120M27 0 0 0 0 0 1 1 10954 461 27833 0 12 88 0 0 0893M 2120M 2 0 0 0 0 0 0 0 10971 98 27731 0 12 88 Rebootei essa madrugada. # vmstat -s 719304935 cpu context switches 260472458 device interrupts 50067145 software interrupts 18402989 traps 54489105 system calls 57 kernel threads created 26235 fork() calls 20954 vfork() calls 0 rfork() calls Sobre os HZ, fui de 1000 para 1500 depois para 2000 voltei em 1000 desci para 800. Nenhuma melhora. Estou com problema mas duas interfaces bge. -- Renato Frederik Cara... pode até ser... é o que parece na verdade. -- Anderson Então cara, até aonde eu podia filtrar eu filtrei(antes deste server), como este servidor esta ligado apenas a outros routers o broadcast fica somente atras desses servidores, porém por via das duvidas eu andei monitorando e não encontrei nada malicioso. -- Rafael Ganascim. Faa Rafael. Então não pensei nisso não, na verdade eu até vi este parametro mas fiquei com medo de parar tudo, vou deixar para a madrugada. # sysctl -a | grep -ri net.isr.direct net.isr.directed: 5013288 net.isr.direct: 1 -- cOre. Então cara, para você ter noção da confusão até fluke foi passado na estrutura fisica e nada. Pessoal não esperava tantas respostas, obrigado pela atenção de todos. -- --- Matheus Cucoloto Unix Expertise Voip Expertise - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Bge0 e FreeBSD.
2010/1/21 Luiz Otavio O Souza lists...@gmail.com Matheus, O core dumped tem razão, CRC normalmente é erro físico, porém recomendo que você leia essa thread onde vários aspectos de tuning foram abordados: http://www.freebsd.org/cgi/getmsg.cgi?fetch=0+0+/usr/local/www/db/text/2009/freebsd-net/20091011.freebsd-net No fim o problema não era no dummynet e sim no tamanho da fila (buffer) da placa de rede, que precisou ser ajustado manuallmente para comportar esse trafego. A thread é muito longa, portanto a dica é ler as mensagens do pessoal mais experiente (Robert Watson, Luigi Rizzo e julian elisher), ali est'ao concentradas as informa;'oes mais importatnes. Grande Luiz... Vou dar uma olhada neste link. Abraços. -- --- Matheus Cucoloto Unix Expertise Voip Expertise - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
[FUG-BR] Bge0 e FreeBSD.
Pessoal. Tenho um FreeBSD com media de 80mil pacotes por segundos. math...@roteador-borda# netstat -w 1 input(Total) output packets errs bytespackets errs bytes colls 77714 0 40611953 77794 0 34537249 0 78553 0 39770290 78600 0 34404408 0 77330 0 38124920 77369 0 32487332 0 81865 0 40502838 81955 0 34069136 0 Trafegando no servidor com duas interfaces de rede, 160 de entrada e 130 de saida. math...@roteador-borda# ifstat -iTb bge0,bge1 bge0bge1 Total Kbps in Kbps out Kbps in Kbps out Kbps in Kbps out 77631.06 105233.8 60638.96 26120.90 138270.0 131354.7 80307.22 105118.0 80196.02 29655.96 160503.2 134774.0 54149.72 72569.36 71107.72 23389.59 125257.4 95958.95 62145.55 83482.63 88952.66 26565.39 151098.2 110048.0 64883.49 88753.50 89008.31 27317.84 153891.8 116071.3 57048.34 75267.31 67671.10 23243.26 124719.4 98510.57 65364.99 88276.10 71921.23 27125.56 137286.2 115401.7 68955.67 94165.80 80414.14 28811.04 149369.8 122976.8 Meu top da a seguinte informação: last pid: 3827; load averages: 0.65, 0.22, 0.17 up 200+10:19:17 16:55:51 121 processes: 5 running, 99 sleeping, 17 waiting CPU: 0.0% user, 0.0% nice, 2.2% system, 14.8% interrupt, 83.0% idle Mem: 803M Active, 2112M Inact, 612M Wired, 69M Cache, 399M Buf, 352M Free Swap: 2048M Total, 2048M Free PID USERNAME THR PRI NICE SIZERES STATE C TIMECPU COMMAND 12 root1 171 ki31 0K16K CPU22 4748.6 98.10% idle: cpu2 11 root1 171 ki31 0K16K RUN 3 4749.1 97.56% idle: cpu3 13 root1 171 ki31 0K16K CPU11 4744.9 84.52% idle: cpu1 14 root1 171 ki31 0K16K CPU00 3555.8 68.16% idle: cpu0 29 root1 -68- 0K16K WAIT0 1232.4 33.25% irq256: bge0 Meu Vmstat e o limits dão a seguinte informação: math...@roteador-borda# vmstat -s 2090964975 cpu context switches 741917513 device interrupts 487968930 software interrupts 892908039 traps 1050964447 system calls 56 kernel threads created 5942920 fork() calls 1052415 vfork() calls 0 rfork() calls 0 swap pager pageins 0 swap pager pages paged in 0 swap pager pageouts 0 swap pager pages paged out 8706 vnode pager pageins 30026 vnode pager pages paged in 0 vnode pager pageouts 0 vnode pager pages paged out 59 page daemon wakeups 1510158 pages examined by the page daemon 6505 pages reactivated 263568394 copy-on-write faults 61568 copy-on-write optimized faults 377416614 zero fill pages zeroed 3054 zero fill pages prezeroed 117104 intransit blocking page faults 909983493 total VM faults taken 0 pages affected by kernel thread creation 1614176621 pages affected by fork() 284502348 pages affected by vfork() 0 pages affected by rfork() 1481846 pages cached 802316449 pages freed 0 pages freed by daemon 487828989 pages freed by exiting processes 205368 pages active 540569 pages inactive 17727 pages in VM cache 156791 pages wired down 90269 pages free 4096 bytes per page 622521191 total name lookups cache hits (81% pos + 7% neg) system 1% per-directory deletions 0%, falsehits 0%, toolong 0% math...@roteador-borda# limits Resource limits (current): cputime infinity secs filesize infinity kB datasize 33554432 kB stacksize 524288 kB coredumpsize infinity kB memoryuseinfinity kB memorylocked infinity kB maxprocesses 5547 openfiles 32768 sbsize infinity bytes vmemoryuse infinity kB math...@roteador-borda# netstat -m 631/3344/3975 mbufs in use (current/cache/total) 630/2550/3180/85556 mbuf clusters in use (current/cache/total/max) 629/1547 mbuf+clusters out of packet secondary zone in use (current/cache) 0/0/0/12800 4k (page size) jumbo clusters in use (current/cache/total/max) 0/0/0/6400 9k jumbo clusters in use (current/cache/total/max) 0/0/0/3200 16k jumbo clusters in use (current/cache/total/max) 1425K/5936K/7361K bytes allocated to network (current/cache/total) 0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters) 0/0/0 requests for jumbo clusters denied (4k/9k/16k) 0/0/0 sfbufs in use (current/peak/max) 0 requests for sfbufs denied 0 requests for sfbufs delayed 0 requests for I/O initiated by sendfile 0 calls to protocol drain routines Já fiz dezenas de alterações de buffers,sockets,sendspace e afins Porém Nesta situação estou tendo problemas com perdas de pacote, no netstat mostra erro nos pacotes de entrada. input(Total) output packets errs bytespackets errs bytes colls
Re: [FUG-BR] Bge0 e FreeBSD.
math...@roteador-borda# ifstat -iTb bge0,bge1 bge0 bge1 Total Kbps in Kbps out Kbps in Kbps out Kbps in Kbps out 77631.06 105233.8 60638.96 26120.90 138270.0 131354.7 80307.22 105118.0 80196.02 29655.96 160503.2 134774.0 54149.72 72569.36 71107.72 23389.59 125257.4 95958.95 62145.55 83482.63 88952.66 26565.39 151098.2 110048.0 64883.49 88753.50 89008.31 27317.84 153891.8 116071.3 57048.34 75267.31 67671.10 23243.26 124719.4 98510.57 65364.99 88276.10 71921.23 27125.56 137286.2 115401.7 68955.67 94165.80 80414.14 28811.04 149369.8 122976.8 Apesar de ser uma placa gigabit, é preciso ver como estão seus uplinks. Se uma das saídas for FastEthernet (100Mbps), a perda de pacotes pode ser devido a isso e não ao sistema. Como estão as perdas nos switches? Alguma problema no nível de frames? -- []´s Helio Loureiro http://helio.loureiro.eng.br - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Bge0 e FreeBSD.
Matheus Cucoloto escreveu: Pessoal. Tenho um FreeBSD com media de 80mil pacotes por segundos. math...@roteador-borda# netstat -w 1 input(Total) output packets errs bytespackets errs bytes colls 77714 0 40611953 77794 0 34537249 0 78553 0 39770290 78600 0 34404408 0 77330 0 38124920 77369 0 32487332 0 81865 0 40502838 81955 0 34069136 Seu switch é gerenciável? O que ele diz na porta que essa interface está conectada? - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Bge0 e FreeBSD.
2010/1/20 Márcio Luciano Donada mdon...@gmail.com Seu switch é gerenciável? O que ele diz na porta que essa interface está conectada? Marcio e helio... Obrigado pelas respostas... O erro de CRC acontece somente no FreeBSD, no Switch (Gerenciavel) não da nenhum erro. FCS Errors: 0 Single Collision Frames: 0 Late Collisions: 0 Oversize Packets: 0 Internal MAC Rx Errors: 0 Received Pause Frames: 0 Transmitted Pause Frames: 0 -- --- Matheus Cucoloto Unix Expertise Voip Expertise WiTec - Wi Telecom Fix: +55 44 36194203 Cel: +55 44 99216200 Sip: sip://1...@sipwicne1.grupoirapida.com.br - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Bge0 e FreeBSD.
O erro de CRC acontece somente no FreeBSD, no Switch (Gerenciavel) não da nenhum erro. FCS Errors: 0 Single Collision Frames: 0 Late Collisions: 0 Oversize Packets: 0 Internal MAC Rx Errors: 0 Received Pause Frames: 0 Transmitted Pause Frames: 0 Mas isso no nível de pacotes, não no de frames. Acho que são seus links externos descartando tráfego. Com quem vc troca tráfego (peering) e a qual velocidade? Tá rodando BGP? Multihomed? -- []´s Helio Loureiro http://helio.loureiro.eng.br - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Re: [FUG-BR] Bge0 e FreeBSD.
Mas isso no nível de pacotes, não no de frames. Acho que são seus links externos descartando tráfego. Com quem vc troca tráfego (peering) e a qual velocidade? Tá rodando BGP? Multihomed? Duas sessões bgp full routing com quagga, uma de 100mb e outra de 120mb GVT e OI. Sobre os descartes, dentro da minha DMZ também esta perdendo pacote. To ficando louco ja com isso, e o pior, neste momento estou trafegando 2 pacotes segundos e ta dando erro também. Ja troquei de switch, coloquei um cisco 3550 e acontece a mesma coisa. Para ficar mais desesperado ainda encontrei este cara aqui com problema semelhante: http://www.mail-archive.com/freebsd-...@freebsd.org/msg30126.html -- --- Matheus Cucoloto Unix Expertise Voip Expertise WiTec - Wi Telecom Fix: +55 44 36194203 Cel: +55 44 99216200 Sip: sip://1...@sipwicne1.grupoirapida.com.br - Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
