[MASOCH-L] proxy/cache

Thu Jul 21 19:28:55 BRT 2011

Usar proxy transparente é melhor do que de outra forma como por exemplo:
Proxy sobre Bridge: Acaba consumindo recursos desnecessários por ter que 
analisar tudo, ( resolve colocando script para verificar o funcionamento 
do mesmo e ajustar o firewall, mais o consumo por parte de recursos para 
analisar trafego que não é http é grande ).
Proxy Autenticado: A dependência de muitos serviços faz o mesmo ser 
complexo com vários pontos únicos de falha, assim como a possibilidade 
do usuário alterar as configurações do mesmo no navegador, ( não pensei 
em nenhum modo de evitar paralisação completa do sistema, alguma dica ? ).
Proxy Transparente: Une o melhor dos dois citados acima e os problemas 
com algumas paginas no qual apresenta problemas de acesso sobre proxy 
transparente não redirecione as mesmas para o cache, perde um pouco mais 
sem ter inconvenientes ), em caso de falha usa o mesmo script do Proxy 
sobre Bridge para resolver.

Estou usando a 3 opção e com um script em PHP que consulta no meu zabbix 
para verificar se o serviço do squid está funcionando com verificação a 
cada 30 segundos, se der qualquer problemas no proxy a rede inteira 
deixa de operar sobre o proxy a passa a sair direto, é facil de fazer e 
barato de manter.

Fica ai a dica e minhas considerações.

Abraços a todos.

Em 21/7/2011 18:22, Luiz Gustavo escreveu:
> Olá,
>
> Tenho um cenário parecido com o seu. Rede com 2500 hosts e 50 mbps de link.
> Saída fica em 80% em média durante o horário comercial. Usamos 3 máquinas
> rodando o squid, com round robin no dns. Não usamos proxy transparente e
> usamos o squid autenticado no ldap e configurado nos navegadores para proxy
> http e https.
> Sobre estar comsumindo todo o recurso da máquina, o que de fato está
> escasso? cpu? memória? É sabido que com alguns tipos de regras o squid não
> escala muito bem (ex: url_regex) pois ele foi feito para ser cache. Para
> esse tipo de filtro nós usamos o squidGuard também integrado ao ldap e
> funciona sem problemas.
>
> Um dos servidores proxy aqui roda em um VM. O primeiro teste foi feito com
> discos sata e o resultado não foi nada satisfatório. Migramos a vm para uma
> área com discos de SAS de 15k rpm e funcionou muito melhor, tanto que está
> assim até hoje.
>
>
> Att.
> Luiz Gustavo
>
> 2011/7/21 Fernando Zanini<fernandozanini at gmail.com>
>
>> Hoje o custo é com pessoal para administração, pois utilizamos o squid. O
>> nosso link de saida é de 100mbps mas a tx. de utilização é em média 60% com
>> potencial para aumento em breve.
>>
>> Em 21 de julho de 2011 17:12, Silvio Cesar<silvio.cesar at unigranrio.br
>>> escreveu:
>>> O pessoal ficaria a vontade em dizer custos destes proxies?
>>>
>>> Tenho pensado no PeerApp.
>>>
>>> Consumo de link atual de pouco mais de 100Mbps.
>>>
>>> Silvio Cesar L. dos Santos
>>> Analista de Redes
>>>
>>> Em 21/07/2011, às 17:07, Fernando Zanini<fernandozanini at gmail.com>
>>> escreveu:
>>>
>>>> A intenção do projeto é que o proxy não seja transparente.
>>>>
>>>> Em 21 de julho de 2011 15:08, Fabrício Cabral<fabriciofx at gmail.com
>>>> escreveu:
>>>>
>>>>> Só gostaria de lembrar que vários sites apresentam problemas
>>>>> com cache transparente, vide já comentado aqui na lista
>>>>> (ou será que foi na lista do GTER?).
>>>>>
>>>>> Para maiores informações, consultar o histórico destas listas.
>>>>>
>>>>> Atenciosamente,
>>>>>
>>>>> 2011/7/21 Fernando Zanini<fernandozanini at gmail.com>
>>>>>
>>>>>> Não é provedor. É uma rede "grande" mesmo e a grande parte dos
>> usuários
>>>>>> inclusive já está cadastrada no ldap.
>>>>>>
>>>>>> Em 21 de julho de 2011 12:03, Itamar Reis Peixoto
>>>>>> <itamar at ispbrasil.com.br>escreveu:
>>>>>>
>>>>>>> 2011/7/21 Fernando Zanini<fernandozanini at gmail.com>:
>>>>>>>> Estive olhando soluções para fazer proxy e cache utilizando squid,
>> e
>>>>>>>> atualmente esse cenário funciona razoavelmente bem com 1 instancia
>> de
>>>>>>> squid,
>>>>>>>> pois utilizamos proxy transparente sem autenticação (redirect
>> apenas
>>>>> do
>>>>>>>> tráfego 80). Toda regra é feita baseada em rede / IP e o número de
>>>>>>> clientes
>>>>>>>> é entre 2000 e 3000.
>>>>>>>>
>>>>>>>> Porém existe demanda para que todas as conexões para internet sejam
>>>>>>>> autenticadas (ldap) e que conexões https também sejam
>>>>> "redirecionadas"
>>>>>>> para
>>>>>>>> o squid.
>>>>>>>> O problema é que o servidor atual tem apenas 8GB para firewall e
>>>>> proxy
>>>>>> e
>>>>>>>> atualmente ja está consumindo todo recurso da máquina.
>>>>>>>> Estou pensando em colocar uma máquina apenas para o firewall e
>> outra
>>>>> só
>>>>>>> para
>>>>>>>> proxy, mas como o squid consome muita memória estou com medo de não
>>>>>>>> conseguir fazer isso em uma só máquina para esse número de
>> clientes.
>>>>>>>> Alguém pode sugerir um produto que possa fazer esse controle ou
>> mesmo
>>>>>> se
>>>>>>>> alguem roda squid com um cenário parecido para ter uma idéia.
>>>>>>>> (Hj tenho uma VM com squid configurado no cenário que quero
>>>>>>> (autenticado),
>>>>>>>> porém coloquei 2 máquinas para utilizá-lo e nota-se que está bem
>> mais
>>>>>>> lento
>>>>>>>> que o cenário atual (transparente).
>>>>>>>>
>>>>>>>> Desde já agradeço a todos
>>>>>>>>
>>>>>>>> --
>>>>>>>> Fernando Zanini
>>>>>>>> __
>>>>>>>> masoch-l list
>>>>>>>> https://eng.registro.br/mailman/listinfo/masoch-l
>>>>>>>>
>>>>>>> para provedor o proxy tem que ser transparente.
>>>>>>>
>>>>>>>
>>>>>>> --
>>>>>>> ------------
>>>>>>>
>>>>>>> Itamar Reis Peixoto
>>>>>>> msn, google talk: itamar at ispbrasil.com.br
>>>>>>> +55 11 4063 5033 (FIXO SP)
>>>>>>> +55 34 9158 9329 (TIM)
>>>>>>> +55 34 8806 3989 (OI)
>>>>>>> +55 34 3221 8599 (FIXO MG)
>>>>>>> __
>>>>>>> masoch-l list
>>>>>>> https://eng.registro.br/mailman/listinfo/masoch-l
>>>>>>>
>>>>>>
>>>>>>
>>>>>> --
>>>>>> Fernando Zanini
>>>>>> Analista de Redes - COMDATA
>>>>>> __
>>>>>> masoch-l list
>>>>>> https://eng.registro.br/mailman/listinfo/masoch-l
>>>>>>
>>>>>
>>>>>
>>>>> --
>>>>> --fx
>>>>> __
>>>>> masoch-l list
>>>>> https://eng.registro.br/mailman/listinfo/masoch-l
>>>>>
>>>>
>>>>
>>>> --
>>>> Fernando Zanini
>>>> __
>>>> masoch-l list
>>>> https://eng.registro.br/mailman/listinfo/masoch-l
>>>>
>>> __
>>> masoch-l list
>>> https://eng.registro.br/mailman/listinfo/masoch-l
>>>
>>
>>
>> --
>> Fernando Zanini
>> Analista de Redes - COMDATA
>> __
>> masoch-l list
>> https://eng.registro.br/mailman/listinfo/masoch-l
>>
> __
> masoch-l list
> https://eng.registro.br/mailman/listinfo/masoch-l

-- 
"Quando a Morte decide contar uma historia,
A melhor ação que possa fazer é ouvi-la,
e torcer por não ser a sua própria a tal história."

Paulo Henrique.
Analista de Sistemas / Programador
BSDs Brasil.
Genuine Unix/BSD User.
Fone: (21) 9683-5433.