Re: Proxy transparente similar a um acesso iptables, existe?

2013-08-16 Por tôpico Mauricio S. T. Neto 

Hamacker
Quase chorei com sua narrativa :-)

Como também sou um profissional de infra (desempregado no momento) 
entendo muito bem sua situação.


Você falou do wingate, lembro disso, mas hoje não uso nem em casa. Os 
tempos são outros. Tenho firewall (iptables) na minha rede domestica.


E pela sua simples narrativa me pareceu que sua empresa considera a 
informática um "mal necessário". Eu costumo dizer que nos que atuamos em 
infra somos como o bombeiro hidráulico. Não lembram que o bombeiro 
existe e que os canos precisam de manutenção, mas quando o vaso 
sanitário falha o caos esta formado e toque a ligar em desespero para o 
bombeiro :-)


Mas acho que você não tem muito como fugir. O que eu tenho por habito 
fazer é uma boa documentação nos moldes wiki com o detalhamento de tudo 
que efetuei e links para copia dos arquivos de configuração. sei que o 
"start" é complicado mas posso lhe assegurar que vale a pena. Desta 
forma posso tirar ferias ou sair do emprego sem sentir-me culpado.


Com relação a analise de problemas você usa algum monitoramento 
proativo? Tipo Nagios, Zabbix ou coisa parecida? Essas ferramentas 
apesar do esforço necessário para instalação e deixa-las "azeitadas" são 
de grande auxilio na manutenção geral da infra.


E bem vindo a realidade da infraestrutura atual. Acredito ate que isso 
daria um tópico interessante para discussões. As muitas variáveis e 
políticas que hoje temos que acomodar nas soluções técnicas.


Abraço.

Em 16-08-2013 13:52, hamacker escreveu:
Não é apenas performance, a performance é satisfatória, apenas não é 
mais rápido do que se não houvesse proxy.


Mas é que o conjunto da obra é aborrecedor, tenho de lidar com regras 
de iptables, regras do squid e além disso, lidar com regras de acesso 
com os famigerados serviços do governo.
Por exemplo, o joaquim do RH tem regra de iptables para navegar 
transparente para certos lugares (sites/ip do governo), mas seu 
navegador está ajustado para autoconfiguração via rede (wpad), então o 
wpad tem regras para determinar se o joaquim vai usar proxy ou não, 
outros na rede tem situações similares.


Quando um acesso na internet falha para um programa ou uma pessoa, lá 
vai eu tentar descobrir se é o hardware, iptables, squid ou o wpad,... 
eu fiz o melhor que pude criando menus orientados que automatizam 
muitas tarefas, mas estou quase escrevendo um sistema operacional com 
tantas variáveis em scripts. As vezes um sistema do governo 
simplesmente falha o acesso, daí vai eu até o programa do usuário, 
usar um netstat e observar onde o programa quer chegar e lá vai mexer 
nas regras de iptables de novo, wpad e squid (dizer que tal site/ip é 
direto). As configurações de meu squid é praticamente um monte de 
'include' com arquivos picados para lidar com varias situações, já 
aconteceu por exemplo, alguma atualização no linux quebrar a 
autenticação no AD, dai por meio de menus, troco a parte de 
autenticação pelo AD por nenhuma autenticação e a rede fica liberada 
para navegar sem a autenticação.


Até tenho menus com orientações que automatiza várias situações, mas 
vou lhe dizer, se eu sair daqui dessa empresa, dificilmente a próxima 
pessoa entenderia as camadas que tenho de lidar. Minha angustia é ter 
uma pilha de configurações e oras mexer aqui e oras mexer acolá, isso 
nem acontece sempre, mas quando acontece é aborrecedor. Me lembro que 
uns 10 anos atrás (ou mais), na época da linha discada, tinha um 
programa chamado wingate, liberou o usuário/maquina, pronto, onde ele 
fosse tava liberado nas portas que determinei que estivessem abertas, 
se eu não me engano era um proxy baseado em sockets. Tinha apenas que 
instalar um client, era tão simples!


Tentei convencer a empresa a comprar um appliance que fizesse tudo 
isso, mas devido ao custo mensal, disseram 'não'.
Estou planejamento mudar o que temos, daí o motivo de minha pergunta 
inicial, tornar as coisas mais simples.



Em 15 de agosto de 2013 19:48, Mauricio S. T. Neto > escreveu:


Hamacker boa noite.
Minha resposta pode ser considerada um tanto "off topic", mas
vamos lá.
Claro que cada vez que você adiciona uma camada de software existe
uma queda de performance mas pelo que sei o Squid é capaz de dar
conta do recado com centenas (ou milhares) de conexões
simultâneas. Será que não existe algum problema com sua
configuração ou hardware?

É conhecimento corrente que existe uma relação de numero de
conexões (usuários)  e necessidade de memória para que o squid
possa trabalhar de forma eficiente. Outra questão é o disco que
deve ter baixa latência, ou seja se este disco é compartilhado com
um banco de dados a possibilidade é ser o "vilão" é grande.

Aqui nesta lista já faz algum tempo tivemos um amigo usando o
Squid para muitos usuários e enfrentando problema de performance,
mas ele conseguiu solucionar a questão seguindo as diversas dicas
aqui discutidas. Lembro

Re: Proxy transparente similar a um acesso iptables, existe?

2013-08-16 Por tôpico hamacker 
Não é apenas performance, a performance é satisfatória, apenas não é mais
rápido do que se não houvesse proxy.

Mas é que o conjunto da obra é aborrecedor, tenho de lidar com regras de
iptables, regras do squid e além disso, lidar com regras de acesso com os
famigerados serviços do governo.
Por exemplo, o joaquim do RH tem regra de iptables para navegar
transparente para certos lugares (sites/ip do governo), mas seu navegador
está ajustado para autoconfiguração via rede (wpad), então o wpad tem
regras para determinar se o joaquim vai usar proxy ou não, outros na rede
tem situações similares.

Quando um acesso na internet falha para um programa ou uma pessoa, lá vai
eu tentar descobrir se é o hardware, iptables, squid ou o wpad,... eu fiz o
melhor que pude criando menus orientados que automatizam muitas tarefas,
mas estou quase escrevendo um sistema operacional com tantas variáveis em
scripts. As vezes um sistema do governo simplesmente falha o acesso, daí
vai eu até o programa do usuário, usar um netstat e observar onde o
programa quer chegar e lá vai mexer nas regras de iptables de novo, wpad e
squid (dizer que tal site/ip é direto). As configurações de meu squid é
praticamente um monte de 'include' com arquivos picados para lidar com
varias situações, já aconteceu por exemplo, alguma atualização no linux
quebrar a autenticação no AD, dai por meio de menus, troco a parte de
autenticação pelo AD por nenhuma autenticação e a rede fica liberada para
navegar sem a autenticação.

Até tenho menus com orientações que automatiza várias situações, mas vou
lhe dizer, se eu sair daqui dessa empresa, dificilmente a próxima pessoa
entenderia as camadas que tenho de lidar. Minha angustia é ter uma pilha de
configurações e oras mexer aqui e oras mexer acolá, isso nem acontece
sempre, mas quando acontece é aborrecedor. Me lembro que uns 10 anos atrás
(ou mais), na época da linha discada, tinha um programa chamado wingate,
liberou o usuário/maquina, pronto, onde ele fosse tava liberado nas portas
que determinei que estivessem abertas, se eu não me engano era um proxy
baseado em sockets. Tinha apenas que instalar um client, era tão simples!

Tentei convencer a empresa a comprar um appliance que fizesse tudo isso,
mas devido ao custo mensal, disseram 'não'.
Estou planejamento mudar o que temos, daí o motivo de minha pergunta
inicial, tornar as coisas mais simples.


Em 15 de agosto de 2013 19:48, Mauricio S. T. Neto escreveu:

>  Hamacker boa noite.
> Minha resposta pode ser considerada um tanto "off topic", mas vamos lá.
> Claro que cada vez que você adiciona uma camada de software existe uma
> queda de performance mas pelo que sei o Squid é capaz de dar conta do
> recado com centenas (ou milhares) de conexões simultâneas. Será que não
> existe algum problema com sua configuração ou hardware?
>
> É conhecimento corrente que existe uma relação de numero de conexões
> (usuários)  e necessidade de memória para que o squid possa trabalhar de
> forma eficiente. Outra questão é o disco que deve ter baixa latência, ou
> seja se este disco é compartilhado com um banco de dados a possibilidade é
> ser o "vilão" é grande.
>
> Aqui nesta lista já faz algum tempo tivemos um amigo usando o Squid para
> muitos usuários e enfrentando problema de performance, mas ele conseguiu
> solucionar a questão seguindo as diversas dicas aqui discutidas. Lembro ate
> que a toca de mensagens atingiu um nível técnico muito bom.
>
> Eu procuraria usar ferramentas do tipo iostat, sar, etc para identificar a
> causa da sua queda significativa de performance efetuar algumas avaliações
> na sua configuração buscando tips & tricks (essa lista :-)) para discutir
> possíveis soluções.
>
> Abraço.
>
>
>
> Em 15-08-2013 14:06, hamacker escreveu:
>
>Pessoal, eu tô montando um novo servidor de internet e ao mostrar a
> performance usando proxy squid e sem proxy squid (apenas iptables), a
> diferença de performance é muito maior usando apenas iptables. O problema
> com iptables é que não há autenticação e nem logs para saber como está
> sendo usado este acesso.
>
>  Eu acho que não, mas não custa perguntar:
>
>  Existe algo que permita o acesso transparente a internet, semelhante ao
> iptables+gateway, mas que contenha logs de acesso e autenticação?
>
>  O squid aqui tá bem balanceado, mas para funcionar adequadamente tem que
> ajustar regras iptables+regras squid por causa de aplicações como
> caixa.gov.br, receita federal, etc... e sinceramente é um saco, além é
> claro na queda de performance que isso dá.
>
>  Talvez voces saibam um jeito melhor de lidar com isso ou usam outro
> proxy, sei lá, eu gostaria de experimentar outras alternativas.
>
>  []´s a todos.
>
>
>
> --
> Mauricio S.T. Neto
>
>

Re: Proxy transparente similar a um acesso iptables, existe?

2013-08-15 Por tôpico Mauricio S. T. Neto 

Hamacker boa noite.
Minha resposta pode ser considerada um tanto "off topic", mas vamos lá.
Claro que cada vez que você adiciona uma camada de software existe uma 
queda de performance mas pelo que sei o Squid é capaz de dar conta do 
recado com centenas (ou milhares) de conexões simultâneas. Será que não 
existe algum problema com sua configuração ou hardware?


É conhecimento corrente que existe uma relação de numero de conexões 
(usuários)  e necessidade de memória para que o squid possa trabalhar de 
forma eficiente. Outra questão é o disco que deve ter baixa latência, ou 
seja se este disco é compartilhado com um banco de dados a possibilidade 
é ser o "vilão" é grande.


Aqui nesta lista já faz algum tempo tivemos um amigo usando o Squid para 
muitos usuários e enfrentando problema de performance, mas ele conseguiu 
solucionar a questão seguindo as diversas dicas aqui discutidas. Lembro 
ate que a toca de mensagens atingiu um nível técnico muito bom.


Eu procuraria usar ferramentas do tipo iostat, sar, etc para identificar 
a causa da sua queda significativa de performance efetuar algumas 
avaliações na sua configuração buscando tips & tricks (essa lista :-)) 
para discutir possíveis soluções.


Abraço.


Em 15-08-2013 14:06, hamacker escreveu:
Pessoal, eu tô montando um novo servidor de internet e ao mostrar a 
performance usando proxy squid e sem proxy squid (apenas iptables), a 
diferença de performance é muito maior usando apenas iptables. O 
problema com iptables é que não há autenticação e nem logs para saber 
como está sendo usado este acesso.


Eu acho que não, mas não custa perguntar:

Existe algo que permita o acesso transparente a internet, semelhante 
ao iptables+gateway, mas que contenha logs de acesso e autenticação?


O squid aqui tá bem balanceado, mas para funcionar adequadamente tem 
que ajustar regras iptables+regras squid por causa de aplicações como 
caixa.gov.br , receita federal, etc... e 
sinceramente é um saco, além é claro na queda de performance que isso dá.


Talvez voces saibam um jeito melhor de lidar com isso ou usam outro 
proxy, sei lá, eu gostaria de experimentar outras alternativas.


[]´s a todos.




--
Mauricio S.T. Neto

Re: Proxy transparente similar a um acesso iptables, existe?

2013-08-15 Por tôpico Julio 
Cara pra ler os logs e aplicar restrições você pode usar : o zabbix , 
tem o recurso de ler logs com gatilhos chamados triggers , ou os 
monitores de segurança OSSEC ou o snortinline  . o ossec você pode criar 
os seus filtros de acordo com a necessidade


Em 15-08-2013 14:06, hamacker escreveu:
Pessoal, eu tô montando um novo servidor de internet e ao mostrar a 
performance usando proxy squid e sem proxy squid (apenas iptables), a 
diferença de performance é muito maior usando apenas iptables. O 
problema com iptables é que não há autenticação e nem logs para saber 
como está sendo usado este acesso.


Eu acho que não, mas não custa perguntar:

Existe algo que permita o acesso transparente a internet, semelhante 
ao iptables+gateway, mas que contenha logs de acesso e autenticação?


O squid aqui tá bem balanceado, mas para funcionar adequadamente tem 
que ajustar regras iptables+regras squid por causa de aplicações como 
caixa.gov.br , receita federal, etc... e 
sinceramente é um saco, além é claro na queda de performance que isso dá.


Talvez voces saibam um jeito melhor de lidar com isso ou usam outro 
proxy, sei lá, eu gostaria de experimentar outras alternativas.


[]´s a todos.

Re: Proxy transparente similar a um acesso iptables, existe?

2013-08-15 Por tôpico Fabiano Pires 
Já procurou ver alguma solução tipo CaptivePortal, tipo o NoCatAuth? Se bem
me lembro, faz autenticação via HTTP e depois libera acesso via regras de
FW. A parte de autenticação deve ter algum log.

Fabiano Pires
http://pragasdigitais.blogspot.com/


Em 15 de agosto de 2013 16:58, hamacker  escreveu:

> Nao, porque neste caso eu não saberia quem foi a pessoa ou login que fez o
> acesso.
>
>
> Em 15 de agosto de 2013 15:42, Gustavo  escreveu:
>
>> Hamacker,
>>
>>
>> a flag --log-prefix não permite trabalhar com logs? /var/log/messages?
>>
>> Gustavo
>>
>>
>>
>>
>>
>> Em 2013-08-15 14:06, hamacker escreveu:
>>
>>> Pessoal, eu tô montando um novo servidor de internet e ao mostrar a
>>> performance usando proxy squid e sem proxy squid (apenas iptables), a
>>> diferença de performance é muito maior usando apenas iptables. O
>>> problema com iptables é que não há autenticação e nem logs para saber
>>> como está sendo usado este acesso.
>>>
>>> Eu acho que não, mas não custa perguntar:
>>>
>>> Existe algo que permita o acesso transparente a internet, semelhante
>>> ao iptables+gateway, mas que contenha logs de acesso e autenticação?
>>>
>>> O squid aqui tá bem balanceado, mas para funcionar adequadamente tem
>>> que ajustar regras iptables+regras squid por causa de aplicações como
>>> caixa.gov.br [1], receita federal, etc... e sinceramente é um saco,
>>>
>>> além é claro na queda de performance que isso dá.
>>>
>>> Talvez voces saibam um jeito melhor de lidar com isso ou usam outro
>>> proxy, sei lá, eu gostaria de experimentar outras alternativas.
>>>
>>> []´s a todos.
>>>
>>>
>>>
>>> Links:
>>> --
>>> [1] http://caixa.gov.br
>>>
>>
>>
>> --
>> To UNSUBSCRIBE, email to debian-user-portuguese-**
>> requ...@lists.debian.org
>> with a subject of "unsubscribe". Trouble? Contact
>> listmas...@lists.debian.org
>> Archive: http://lists.debian.org/**38e33f90fccf5ed4005d3f87a7f718**
>> 6...@logicus.com.br
>>
>>
>

Re: Proxy transparente similar a um acesso iptables, existe?

2013-08-15 Por tôpico hamacker 
Nao, porque neste caso eu não saberia quem foi a pessoa ou login que fez o
acesso.


Em 15 de agosto de 2013 15:42, Gustavo  escreveu:

> Hamacker,
>
> a flag --log-prefix não permite trabalhar com logs? /var/log/messages?
>
> Gustavo
>
>
>
>
>
> Em 2013-08-15 14:06, hamacker escreveu:
>
>> Pessoal, eu tô montando um novo servidor de internet e ao mostrar a
>> performance usando proxy squid e sem proxy squid (apenas iptables), a
>> diferença de performance é muito maior usando apenas iptables. O
>> problema com iptables é que não há autenticação e nem logs para saber
>> como está sendo usado este acesso.
>>
>> Eu acho que não, mas não custa perguntar:
>>
>> Existe algo que permita o acesso transparente a internet, semelhante
>> ao iptables+gateway, mas que contenha logs de acesso e autenticação?
>>
>> O squid aqui tá bem balanceado, mas para funcionar adequadamente tem
>> que ajustar regras iptables+regras squid por causa de aplicações como
>> caixa.gov.br [1], receita federal, etc... e sinceramente é um saco,
>>
>> além é claro na queda de performance que isso dá.
>>
>> Talvez voces saibam um jeito melhor de lidar com isso ou usam outro
>> proxy, sei lá, eu gostaria de experimentar outras alternativas.
>>
>> []´s a todos.
>>
>>
>>
>> Links:
>> --
>> [1] http://caixa.gov.br
>>
>
>
> --
> To UNSUBSCRIBE, email to 
> debian-user-portuguese-**requ...@lists.debian.org
> with a subject of "unsubscribe". Trouble? Contact
> listmas...@lists.debian.org
> Archive: http://lists.debian.org/**38e33f90fccf5ed4005d3f87a7f718**
> 6...@logicus.com.br
>
>

Re: Proxy transparente similar a um acesso iptables, existe?

2013-08-15 Por tôpico Tobias Sette 
O iptables nao trabalha na mesma camada de rede que o squid, nao vai rolar
logs de sites acessados ou autenticação

Creio que a suas melhores alternativas sejam rever as regras de firewall e
squid OU procurar um outro software para proxy, tipo o tinyproxy

Att,

Tobias
http://gnu.eti.br

-BEGIN GEEK CODE BLOCK-
Version: 3.12
GCS/CM/G/H/IT/L/SS d?(--) s++:+ a-- C+++> UL++> P+ L+++>+ !E@W+++
!N o? K- w !O !M@ !V@ PS PE-- !Y@ PGP t+ 5? X? R+ !tv b+ DI>+ !D@ G e- h+
r-- y?
--END GEEK CODE BLOCK--



Em 15 de agosto de 2013 15:42, Gustavo  escreveu:

> Hamacker,
>
> a flag --log-prefix não permite trabalhar com logs? /var/log/messages?
>
> Gustavo
>
>
>
>
>
> Em 2013-08-15 14:06, hamacker escreveu:
>
>> Pessoal, eu tô montando um novo servidor de internet e ao mostrar a
>> performance usando proxy squid e sem proxy squid (apenas iptables), a
>> diferença de performance é muito maior usando apenas iptables. O
>> problema com iptables é que não há autenticação e nem logs para saber
>> como está sendo usado este acesso.
>>
>> Eu acho que não, mas não custa perguntar:
>>
>> Existe algo que permita o acesso transparente a internet, semelhante
>> ao iptables+gateway, mas que contenha logs de acesso e autenticação?
>>
>> O squid aqui tá bem balanceado, mas para funcionar adequadamente tem
>> que ajustar regras iptables+regras squid por causa de aplicações como
>> caixa.gov.br [1], receita federal, etc... e sinceramente é um saco,
>>
>> além é claro na queda de performance que isso dá.
>>
>> Talvez voces saibam um jeito melhor de lidar com isso ou usam outro
>> proxy, sei lá, eu gostaria de experimentar outras alternativas.
>>
>> []´s a todos.
>>
>>
>>
>> Links:
>> --
>> [1] http://caixa.gov.br
>>
>
>
> --
> To UNSUBSCRIBE, email to 
> debian-user-portuguese-**requ...@lists.debian.org
> with a subject of "unsubscribe". Trouble? Contact
> listmas...@lists.debian.org
> Archive: http://lists.debian.org/**38e33f90fccf5ed4005d3f87a7f718**
> 6...@logicus.com.br
>
>

Re: Proxy transparente similar a um acesso iptables, existe?

2013-08-15 Por tôpico Gustavo 

Hamacker,

a flag --log-prefix não permite trabalhar com logs? /var/log/messages?

Gustavo





Em 2013-08-15 14:06, hamacker escreveu:

Pessoal, eu tô montando um novo servidor de internet e ao mostrar a
performance usando proxy squid e sem proxy squid (apenas iptables), a
diferença de performance é muito maior usando apenas iptables. O
problema com iptables é que não há autenticação e nem logs para saber
como está sendo usado este acesso.

Eu acho que não, mas não custa perguntar:

Existe algo que permita o acesso transparente a internet, semelhante
ao iptables+gateway, mas que contenha logs de acesso e autenticação?

O squid aqui tá bem balanceado, mas para funcionar adequadamente tem
que ajustar regras iptables+regras squid por causa de aplicações como
caixa.gov.br [1], receita federal, etc... e sinceramente é um saco,
além é claro na queda de performance que isso dá.

Talvez voces saibam um jeito melhor de lidar com isso ou usam outro
proxy, sei lá, eu gostaria de experimentar outras alternativas.

[]´s a todos.



Links:
--
[1] http://caixa.gov.br



--
To UNSUBSCRIBE, email to debian-user-portuguese-requ...@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org
Archive: http://lists.debian.org/38e33f90fccf5ed4005d3f87a7f71...@logicus.com.br

Proxy transparente similar a um acesso iptables, existe?

2013-08-15 Por tôpico hamacker 
Pessoal, eu tô montando um novo servidor de internet e ao mostrar a
performance usando proxy squid e sem proxy squid (apenas iptables), a
diferença de performance é muito maior usando apenas iptables. O problema
com iptables é que não há autenticação e nem logs para saber como está
sendo usado este acesso.

Eu acho que não, mas não custa perguntar:

Existe algo que permita o acesso transparente a internet, semelhante ao
iptables+gateway, mas que contenha logs de acesso e autenticação?

O squid aqui tá bem balanceado, mas para funcionar adequadamente tem que
ajustar regras iptables+regras squid por causa de aplicações como
caixa.gov.br, receita federal, etc... e sinceramente é um saco, além é
claro na queda de performance que isso dá.

Talvez voces saibam um jeito melhor de lidar com isso ou usam outro proxy,
sei lá, eu gostaria de experimentar outras alternativas.

[]´s a todos.