[GTER] RES: Com squid consumo + banda que sem squid

Carlos Eduardo Langoni ce.langoni at gmail.com
Thu Nov 12 14:56:02 -02 2009 

Prezados,

Eu concordo em gênero número e grau com o nosso colega Alexandre.
esta configuração que compartilhei com vocês é para sistemas 32bits,
onde todas as minhas pesquisas apontam para uma média de 10M por giga
de cache e mais uns 20 ou 25 megas adicionais.

Nas configuração que eu compartilhei com vocês tive uma economia média
em torno de 20% para ambientes de acessos cotidiano (infelizmente não
tive a oportunidade de testa-lo em um ambiente grande ainda).
Mas um caso que me chama a atenção é para ambientes onde acontece
muitas atualizações de máquinas e instalações de sistemas Linux, na
minha casa por exemplo eu permito armazenar arquivos de até 500M em
disco, e os mesmo 50K em memória (uma pesquisa do last.fm detectou que
a maior parte dos objetos na web são menores que 50K) e eu realizo
muitas instalações de linux em máquinas virtuais e de clientes,
resultado, baixo 140M em 20 segundos, por que 100% dos pacotes que
baixo no debian com o apt-get estão no cache).

Agora é testar, ficar atento, por que é muito importante a observação
do Alexandre sobre o quick_abort.

Compartilhe os resultados com a lista depois.

Abraços





2009/11/12 Alexandre J. Correa - Onda Internet <alexandre at onda.psi.br>:
> a questao nao eh memoria.. nem acesso externo..
>
> a questao é isto:
>
> quick_abort_min -1 KB
>
>
> usuario começa um download de um arquivo de 4gb por ex... aos 1gb baixados o
> usuario decide CANCELAR o download..
>
> para o usuario.. fim do download blz.. mas o squid configurado com esse
> quick_abort .. vai fazer download do arquivo TODO !!!
>
>
> volte os quick_* para os valores PADROES e monitore .. com seu trafego de
> 40mb .. vc pode passar o cache_mem para 256mb .. ate mais.. dependendo da
> quantidade de ram disponivel no sistema
>
> em sistemas 64bits, o consumo de ram é um pouco maior.. geralmente 14MB para
> cada 1 GB de cache feito .. (mas o cache_mem nao influencia neste consumo)
>
> cache_mem serve para controlar quanto de RAM o processo vai utilizar para
> manter osbjetos que ele esta manipulando (recendo e enviado da
> rede/internet)
>
> outro ponto, fazer cache de arquivos muito grande vai so consumir espaço e
> memoria..
> sao algumas considerações que voce precisa ver... proxy precisa de uma
> dedicação para chegar ele "no ponto" :)
>
>
>
>
> Carlos Eduardo Langoni wrote:
>>
>> Adelmo.
>>
>> Desculpe discordar de você mas 128M de Memória possibilita a criação
>> de um cache de até 10Gb, o que não é pouco.
>> Eu acho que falta um pouco de tuning nesta configuração do squid e vou
>> compartilhar com vocês uma configuração que levei cerca de 3 meses
>> para ajustar. Foram semanas de pesquisas e mais pesquisas sobre tuning
>> de squid, colhendo informações em diversos sites. Tenho usado com
>> bastante frequência e tenho notado sempre um ganho de desempenho
>> aliado a economia de banda.
>>
>>
>>
>> http_port 3128
>> cache_replacement_policy heap LFUDA
>> cache_swap_low 90
>> cache_swap_high 95
>>
>>
>> hierarchy_stoplist cgi-bin ?
>> acl QUERY urlpath_regex cgi-bin \?
>> cache deny QUERY
>> acl apache rep_header Server ^Apache
>> broken_vary_encoding allow apache
>> access_log /var/log/squid/access.log squid
>> cache_store_log none
>> log_fqdn off
>>
>> ftp_user anonymous@
>>
>> hosts_file /etc/hosts
>> refresh_pattern ^ftp:           1440    20%     10080
>> refresh_pattern ^gopher:        1440    0%      1440
>> refresh_pattern .               0       20%     4320
>>
>>
>> refresh_pattern -i exe$         0       50%     999999
>> refresh_pattern -i zip$         0       50%     999999
>> refresh_pattern -i rar$     0       50%     999999
>> refresh_pattern -i tar\.gz$     0       50%     999999
>>
>> refresh_pattern -i exe$         0       50%     999999
>> refresh_pattern -i zip$         0       50%     999999
>> refresh_pattern -i rar$     0       50%     999999
>> refresh_pattern -i tar\.gz$     0       50%     999999
>>
>> ipcache_size 6000
>> ipcache_low 90
>> ipcache_high 92
>> fqdncache_size 6000
>>
>>
>> cache_dir aufs /var/spool/squid 5120 32 512
>> cache_mem 70 MB
>>
>> maximum_object_size 50 MB
>> maximum_object_size_in_memory 50 KB
>>
>> memory_pools off
>> client_db off
>> buffered_logs on
>> half_closed_clients off
>> forwarded_for off
>> htcp_port 0
>> icp_port 0
>> log_icp_queries off
>> icp_access deny all
>>
>>
>> Abraços a todos!
>>
>>
>> 2009/11/12 Adelmo Junior <adelmojr at gmail.com>:
>>
>>>
>>> Mesmo não setado no browser, várias ferramentas (até os browsers) tem o
>>> autodetectar.
>>>
>>> Só mais uma coisa, qnts usuários vc tem, só 128M de mem, num dá nem pro
>>> começo...
>>>
>>> E a velocidade dos users? mediu?
>>>
>>> 2009/11/12 Eduardo Meyer <dudu.meyer at gmail.com>
>>>
>>>
>>>>
>>>> 2009/11/12 Adelmo Junior <adelmojr at gmail.com>:
>>>>
>>>>>
>>>>> Cara,
>>>>>
>>>>> *acl all src 0.0.0.0/0.0.0.0
>>>>> *
>>>>> quer dizer que todas as redes podem usar teu proxy, inclusive de
>>>>>
>>>>
>>>> endereços
>>>>
>>>>>
>>>>> na internet...
>>>>> que normalmente é usado por bots...
>>>>>
>>>>
>>>> Não, ali é apenas a definição da ACL. o acesso é negado para "all":
>>>>
>>>> http_access allow redes
>>>> http_access deny all
>>>>
>>>>
>>>>>
>>>>> alem de vc está fazendo tambem cache de portas altas:
>>>>> *acl Safe_ports port 21 80 443 563 70 210 280 488 59 777 901 1025-65535
>>>>> *
>>>>> Usada por torrents, que tem detectores de proxy para aumentar a
>>>>>
>>>>
>>>> velocidade.
>>>>
>>>>>
>>>>> alem de voce está permitindo que arquivos fiquem em cache de 0 a 4
>>>>> gigas,
>>>>>
>>>>
>>>> ou
>>>>
>>>>>
>>>>> seja, qualquer coisa (inclusive alguma pequenas que poderiam ser
>>>>> baixadas
>>>>> diretamente)
>>>>>
>>>>
>>>> Eu só redireciono a porta 80 pro proxy. Não é configurado no navegador
>>>> cliente. De qq forma vou testar com Safe_ports só a 80 e ver o que
>>>> muda so por desencargo.
>>>>
>>>> Quanto ao tamanho do objeto tem razão, de 0-4G, qual tamanho me
>>>> aconselham pro range de object size?
>>>>
>>>> --
>>>> ===========
>>>> Eduardo Meyer
>>>> pessoal: dudu.meyer at gmail.com
>>>> profissional: ddm.farmaciap at saude.gov.br
>>>> --
>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>>
>>>>
>>>
>>> --
>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>
>>>
>>
>> --
>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>
>>
>
>
> --
> Sds.
>
> Alexandre Jeronimo Correa
>
> Onda Internet
> www.onda.net.br
>
> IPV6 Ready !
> www.ipv6.onda.net.br
>
> --
> gter list    https://eng.registro.br/mailman/listinfo/gter
>

More information about the gter mailing list