Bem falado, mas um benchmark com a instalação básica é interessante, pois muitos fazem uso do sistema assim mesmo. Mas também é necessário um com tudo ajustado, e mesmo assim muita gente vai discutir. Então poderia fazer um segundo teste otimizado, seguindo as sugestões das pessoas.
Já pensei em fazer um teste de desempenho de MTAs, com o Sendmail, o Postfix (com e sem Milter), o Exim, o Qmail (padrão e com os patchs). Primeiro, os instaladres não saberiam como seria o teste. Eles preparariam as máquinas, mas o teste seria feito no mesmo HD, para não afetar os testes. Depois seria feito outro teste, quando eles já soubessem como era o teste. E talvez um terceiro teste, depois da publicação dos resultados e das dicussões em público. Pena que não tenho os recursos e o tempo para fazer este teste. Mas acho que encontraria pessoal voluntário para fazer o teste. Abuaços, João Rocha. On 8/24/06, Patrick Tracanelli <[EMAIL PROTECTED]> wrote: > > Em teoria eu concordaria que benchmark ideal deve ser na instalacao > padrao; mas so em teoria; sistemas BSD de forma geral sao conservadores > em sua instalacao padrao. Ate pouco tempo atraz a granularidade (HZ) do > FreeBSD era 10% da otimizacao ideal para arquiteturas i386 por exemplo. > Algumas definicoes controladas pela kern.maxusers ficam aquem do ideal > pois esta variavel tem um auto-tuning igualmente conservador. Alias so > tem auto tuning desde meados da serie 4, porque Matt Dillon fez um > algoritimo segundo ele "simplista, conservador, considerando apenas 1 > dos 5 principais recursos da maquina, mas principalmente seguro", porque > antes disso essa mesma variavel tinha valor estatico - e ridiculamente > baixo. Em sistemas de grande demanda invariavelmente buffers de rede tem > que ser modificado manualmente, ate mesmo diretivas IPC sao > conservadoras e podem apresentar limites bem cedo na utilizacao do > sistema, dependendo do objetivo. > > Na verdade se alguem sai em desvantagens em benchmarks "out of the box" > sao os sistemas BSD, que por padrao tem kernel de proposito geral nao > otimizado. Veja que ai ainda ha diferencas, no FreeBSD o kernel de > proposito geral tem um unico objetivo: permitir a instalacao do sistema > operacional no maior numero possivel de hardware. Qualquer coisa menos > basica, a premissa mais basica indica que o usuario do FreeBSD tera que > recompilar seu kernel, por exemplo, nem firewall ha por padrao. Outros > BSDs sao diferentes, o OpenBSD tambem nao e otimizado out of the box, > mas por outro lado seu kernel de proposito geral nao e orientado apenas > para instalacao: eh realmente proposito geral, tem quase tudo que o > kernel do sistema pode ter, e consequentemente demanda mais recurso (eh > maior) do que poderia, em praticamente todo tipo de uso do OpenBSD. Ou > seja nao so "da" customizar, "deve" ser feito. > > Testes com sistemas que dependam fortemente de recursos nao disponiveis > no kernel padrao, sao ainda menos justos. Por exemplo Squid e PostgreSQL > dependem de memoria compartilhada e semaforo, estilo System V. Como > esse benchmark foi feito por nosso amigo com PostgreSQL sem isso? O > kernel do FreeBSD nao tem definicoes essenciais por padrao desses > recursos para essas aplicacoes trabalharem corretamente. Se o kernel do > FreeBSD foi recompilado ja nao e mais "out of the box" e isso invalida o > benchmark. > > No minimo as mesmas paginas de memoria divididas nos mesmos segmentos em > proporcoes iguais deviram estar definidos no kernel de ambos sistemas > operacionais. Ai ja entramos em outro problema: sistemas distintos tem > variaveis e MIB de tuning distintas, que as vezes apresentam > comportamento diferente, ou as vezes sequer tem em comum as mesmas > possibilidades de ajustes. Ai vem um e diz "ah mas o FreeBSD eh mais > 'tunavel' que Linux". Eh verdade, o que so aumenta a injustica do > benchmark que nao pode ser realizado "out of the box". > > Note que nao estou defendendo o Linux hehe. Mas benchmarks de forma > geral demanda profissionais capacitados em todos os sistemas testados > para comprovar a "justica" das comparacoes. Nesse teste realizado pelo > amigo da lista o FreeBSD ganhou. Otimo. Mas em diversos outros > benchmarks FreeBSD se mostrava inferior ao Linux, ou ao NetBSD, ou ate > mesmo ao Windows em alguns. Em todos eles os testes foram questionados > porque eram sempre realizados por especialistas em Linux, ou > especialistas em NetBSD, ou em Windows, e que ignoravam premissas > basicas do FreeBSD, ou entao que no maximo sabiam o basico mas nao > passava disso, e em condicoes iguais os sistemas mostravam-se capazes de > desempenhar no minimo, na mesma proporcao, quando o FreeBSD nao virava o > jogo. Mas ai vinha um e reclamava que "tinha que mecher muito no kernel > FreeBSD". Esse mesmo nao reclamava que o FreeBSD na epoca poderia ser > instalado em um 386 ou 486 "out of the box" por exemplo. > > Se nao me engano o proprio time do PostgreSQL ja publicou benchmarks, e > em FreeBSD desenpenhava mesmo melhor - sera porque essa aplicacao eh > BSD-oriented? - mas ate o bench oficial foi criticado, se nao me engano > ele era "injusto" com algum outro sistema, nao era Linux, mas nao sei se > era Tru64, Solaris, sei la.. > > Benchmarks que merecem respeito devem ser acompanhados por especialistas > dos sistemas testados. Por exemplo, benchmarks da TechTV sao muito > validos, porque eles colocam especialistas conhecidos mundialmente, ou > representando empresas conhecidamente capazes de impor autoridade sobre > suas decisoes tomadas. > > Acho que a TechTV parou com isso porque o pessoal do Linux comecou ficar > desconfortavel. Me lembro de 3 benchmarks - que alias tem em video por > ai - um em ambiente clusterizado com processamento paralelo usando MPI, > outro de performance de rede com alguns servicos basicos, como Apache e > Sendmail, e um muito bom, com comparativos entre sistemas de arquivos. > Todos eles foram acompanhados por engenheiros da SuSE e por consultores > da VA Linux, e pelo Matt Olander, Murray Stokely, ou Olander e Brooks > Davis, todos commiters do FreeBSD. > > Entao, em um teste desses, com commiters do FreeBSD e com > desenvolvedores do kernel Linux presentes, garantindo igualdade de > condicoes, como nao concordar com os resultados dos benchs? hehe pois > eh, pior que alguns ainda nao concordaram, queriam "especialistas Linux > melhores". Enfim. > > Em outro desses testes, acho que um dos mais famosos, em um programa nao > tecnico da TechTV, o ScreenSavers, uma comparacao de instalacao basica > dos sistemas para ambiente Desktop foi feita, o objetivo era quem > instalava mais rapido um ambiente Desktop com os mesmos recursos, mas > poderiam ser qualquer Desktop `a criterio e decisao dos "especialistas", > mas o resultado final tinha que ter os mesmos recursos disponiveis pro > usuario. > > O resultado? hehe quem nao viu o video, tai uma boa chance. > > Yotube, Yahoo Video e Google Video indicam esses episodios todos desse > programa de TV. > > Resumindo: se benchmark nao for muito serio e bem projetado, so serve > pra uma coisa: arrumar confusao e manadas de usuarios contestando os > resultados ou o a "igualdade" de condicoes/justica da comparacao. > Similar ao que esta acontecendo aqui. > > -- > Patrick Tracanelli > > FreeBSD Brasil LTDA. > (31) 3281-9633 / 3281-3547 > [EMAIL PROTECTED] > http://www.freebsdbrasil.com.br > "Long live Hanin Elias, Kim Deal!" > > ------------------------- > Histórico: http://www.fug.com.br/historico/html/freebsd/ > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd > -- "Sempre se apanha mais com as menores besteiras. Experiência própria." [EMAIL PROTECTED] [EMAIL PROTECTED] http://www.goffredo.eti.br ------------------------- Histórico: http://www.fug.com.br/historico/html/freebsd/ Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd