[GTER] Navegação através de proxy transparente ficando lenta até parar...

Tue Jan 5 14:01:42 -02 2010

Igor,
Tentou por algum acaso deixar o tráfego apenas apenas passando pela
máquina sem o Squid?
E posta um pedaço do access log no pastebin do momento em que o
servidor estava com problemas, por favor.

Paulo,
isso não funciona a tempos no squid. essa configuração é do 2.4 se eu
não me falha a memória.

2010/1/5 Paulo Aleksandro <paulo.alek at hotmail.com>:
>
> tenta essa config ao inves do transparent na frente da porta
>
>
> httpd_access_host virtual
>
> httpd_access_port 80
> httpd_access_with_proxy on
> httpd_access_uses_host_header on
>
>
>
>
> pode ser que funcione ele funcionava em versoes anteriores a 2.6 do squid
>
>
>
>> Date: Tue, 5 Jan 2010 11:42:55 -0300
>> From: igorluiz at solic.com.br
>> To: gter at eng.registro.br
>> Subject: Re: [GTER]   Navegação através de proxy transparente ficando lenta até parar...
>>
>> Exatamente Willian.
>> --
>> Igor Luiz
>>
>> 2010/1/5 Willian Tomaz Nieckarz <wt.nieckarz at gmail.com>:
>> > Esses dados sÒo do momento em que o servidor estava problemßtico?
>> >
>> > 2010/1/2 Igor Luiz Oliveira de Souza <igorluiz at solic.com.br>:
>> >> Olß pessoal,
>> >>
>> >> Hß algum tempo venho sofrendo com um problema com o Squid e depois de
>> >> muita busca, ainda nÒo consegui encontrar o ponto de falha.
>> >> Acredito que essa discussÒo talvez seja recorrente, mas me parece ser
>> >> algum tipo de ajuste particular no meu ambiente pra ter o problema
>> >> resolvido. EntÒo, aqui vai minha hist¾ria...
>> >>
>> >> A cerca de dois meses atrßs, comecei uma configuraþÒo padrÒo de Squid
>> >> em 15 servidores em 10 ISP's diferentes, dos quais sou responsßvel por
>> >> essa ßrea. O n·mero de usußrios atendido por cada servidor varia em
>> >> torno de 150 a 500 usußrios. A banda em cada provedor varia de 4 a 30
>> >> Mbps. Eu sei que pode ser um grande intervalo de variaþÒo, mas estou
>> >> citando isso, apenas para dar uma idÚia da dimensÒo dos ambientes que
>> >> estamos tratando.
>> >>
>> >> Bem, nos primeiros 10 a 15 dias, tudo funcionou perfeitamente em todos
>> >> eles... sem qualquer problema, sem qualquer ocorrÛncia.
>> >> Depois disso, 4 destes servidores(11 ainda estÒo funcionando
>> >> perfeitamente) comeþaram a apresentar o mesmo sintoma:
>> >> - A navegaþÒo comeþa a ficar lenta atÚ quase parar (em alguns casos
>> >> retorna ao normal sem qualquer intervenþÒo - de forma intermitente -
>> >> eis o grande calo!!!)
>> >> Os proxies estÒo rodando em modo transparente, entÒo se eu desativar o
>> >> redirecionamento do netfilter, fazendo o trßfego ir direto pra
>> >> internet, a navegaþÒo volta ao normal, de imediato.
>> >> Estou usando quase que a mesma configuraþÒo do Squid em todos os
>> >> servidores, basicamente mudando apenas o cache_dir, baseado no tamanho
>> >> do disco disponÝvel para o cache.
>> >> A intenþÒo principal destes proxies sÒo para economia de banda, mas
>> >> claramente visando manter o equilÝbrio com o tempo de resposta para o
>> >> usußrio, de forma que usando o proxy, a navegaþÒo continue mais
>> >> rßpida(ou igual) se comparada Ó navegaþÒo conectando diretamente sem
>> >> proxy.
>> >> Todos os servidores estÒo rodando Squid v.2.6.stable22
>> >>
>> >> Jß chequei carga de CPU, uso de mem¾ria, I/O em disco, e na minha
>> >> humilde anßlise, nÒo consegui identificar o ponto de falha.
>> >>
>> >> Vou colocar aqui algumas informaþ§es que podem ·teis na identificaþÒo,
>> >> tomando como exemplo um dos servidores que estß apresentando o
>> >> problema.
>> >> ==================================================================
>> >> => Link do provedor:
>> >> 10 Mbps
>> >>
>> >> => Usußrios atendidos simultanamente:
>> >> 170 em um momento de ocorrÛncia do problema (hß alguns dias atrßs jß
>> >> chegou a ter picos de quase 500 sem apresentar o problema)
>> >>
>> >> => Hardware Configs
>> >> --------------------------------
>> >> CPU: Intel Core 2 Quad - 2.66GHz
>> >> RAM: 8 Gb
>> >>
>> >> => OS
>> >> --------------------------------
>> >> Linux Slackware v.13 - Kernel 2.6.29.6-smp
>> >>
>> >> => SQUID CONF á(Squid v.2.6.stable22)
>> >> --------------------------------
>> >> acl all src 0.0.0.0/0.0.0.0
>> >> acl manager proto cache_object
>> >> acl localhost src 127.0.0.1/255.255.255.255
>> >> acl to_localhost dst 127.0.0.0/8
>> >> acl SSL_ports port 443
>> >> acl Safe_ports port 80 á á á á á# http
>> >> acl Safe_ports port 21 á á á á á# ftp
>> >> acl Safe_ports port 443 á á á á # https
>> >> acl Safe_ports port 70 á á á á á# gopher
>> >> acl Safe_ports port 210 á á á á # wais
>> >> acl Safe_ports port 1025-65535 á# unregistered ports
>> >> acl Safe_ports port 280 á á á á # http-mgmt
>> >> acl Safe_ports port 488 á á á á # gss-http
>> >> acl Safe_ports port 591 á á á á # filemaker
>> >> acl Safe_ports port 777 á á á á # multiling http
>> >> acl CONNECT method CONNECT
>> >>
>> >> http_access allow manager localhost
>> >> http_access deny manager
>> >> http_access deny !Safe_ports
>> >> http_access deny CONNECT !SSL_ports
>> >>
>> >> acl our_networks src xxx.xxx.xxx.xxx/16
>> >> acl this_server src yyy.yyy.yyy.yyy/32
>> >> http_access allow our_networks
>> >>
>> >> http_access allow localhost
>> >> http_access deny all
>> >>
>> >> icp_access allow all
>> >>
>> >> http_port 3128 transparent
>> >>
>> >> hierarchy_stoplist cgi-bin ?
>> >>
>> >> cache_mem 512 MB
>> >>
>> >> maximum_object_size_in_memory 384 KB
>> >>
>> >> memory_replacement_policy heap GDSF
>> >>
>> >> cache_replacement_policy heap LFUDA
>> >>
>> >> cache_dir aufs /cache 500000 64 256
>> >>
>> >> maximum_object_size 400 MB
>> >>
>> >> access_log /usr/local/squid/var/logs/access.log squid
>> >>
>> >> cache_log /usr/local/squid/var/logs/cache.log
>> >>
>> >> cache_store_log none
>> >>
>> >> logfile_rotate 3
>> >>
>> >> acl QUERY urlpath_regex cgi-bin \?
>> >> cache deny QUERY
>> >>
>> >> refresh_pattern ^ftp: á á á á á 1440 á á20% á á 10080
>> >> refresh_pattern ^gopher: á á á á1440 á á0% á á á1440
>> >> refresh_pattern . á á á á á á á 0 á á á 20% á á 4320
>> >>
>> >> acl apache rep_header Server ^Apache
>> >> broken_vary_encoding allow apache
>> >>
>> >> cache_mgr support at mydomain.com.br
>> >>
>> >> visible_hostname yyy.yyy.yyy.yyy
>> >>
>> >> snmp_port 3401
>> >> acl snmppublic snmp_community public
>> >> snmp_access allow snmppublic this_server
>> >> snmp_access deny all
>> >> snmp_incoming_address 0.0.0.0
>> >> snmp_outgoing_address 255.255.255.255
>> >>
>> >> coredump_dir /cache
>> >>
>> >> => Squid CACHE MANAGER INFO:
>> >> --------------------------------
>> >> Squid Object Cache: Version 2.6.STABLE22
>> >> Start Time: á á Sat, 02 Jan 2010 18:08:57 GMT
>> >> Current Time: á Sat, 02 Jan 2010 21:10:19 GMT
>> >> Connection information for squid:
>> >> á á á áNumber of clients accessing cache: á á á9
>> >> á á á áNumber of HTTP requests received: á á á 277856
>> >> á á á áNumber of ICP messages received: á á á á0
>> >> á á á áNumber of ICP messages sent: á á0
>> >> á á á áNumber of queued ICP replies: á 0
>> >> á á á áRequest failure ratio: á 0.00
>> >> á á á áAverage HTTP requests per minute since start: á 1532.1
>> >> á á á áAverage ICP messages per minute since start: á á0.0
>> >> á á á áSelect loop called: 3581679 times, 3.038 ms avg
>> >> Cache information for squid:
>> >> á á á áRequest Hit Ratios: á á 5min: 35.5%, 60min: 39.7%
>> >> á á á áByte Hit Ratios: á á á á5min: 17.0%, 60min: 17.0%
>> >> á á á áRequest Memory Hit Ratios: á á á5min: 9.0%, 60min: 5.7%
>> >> á á á áRequest Disk Hit Ratios: á á á á5min: 52.4%, 60min: 48.6%
>> >> á á á áStorage Swap size: á á á56684352 KB
>> >> á á á áStorage Mem size: á á á 513584 KB
>> >> á á á áMean Object Size: á á á 20.48 KB
>> >> á á á áRequests given to unlinkd: á á á0
>> >> Median Service Times (seconds) á5 min á á60 min:
>> >> á á á áHTTP Requests (All): á 0.18699 á0.15888
>> >> á á á áCache Misses: á á á á á0.30459 á0.30459
>> >> á á á áCache Hits: á á á á á á0.01309 á0.00562
>> >> á á á áNear Hits: á á á á á á 0.32154 á0.08265
>> >> á á á áNot-Modified Replies: á0.00286 á0.00286
>> >> á á á áDNS Lookups: á á á á á 0.13042 á0.12472
>> >> á á á áICP Queries: á á á á á 0.00000 á0.00000
>> >> Resource usage for squid:
>> >> á á á áUP Time: á á á á10881.453 seconds
>> >> á á á áCPU Time: á á á 127.668 seconds
>> >> á á á áCPU Usage: á á á1.17%
>> >> á á á áCPU Usage, 5 minute avg: á á á á1.30%
>> >> á á á áCPU Usage, 60 minute avg: á á á 0.91%
>> >> á á á áProcess Data Segment Size via sbrk(): 851000 KB
>> >> á á á áMaximum Resident Size: 0 KB
>> >> á á á áPage faults with physical i/o: 0
>> >> Memory usage for squid via mallinfo():
>> >> á á á áTotal space in arena: á851000 KB
>> >> á á á áOrdinary blocks: á á á 850398 KB á31794 blks
>> >> á á á áSmall blocks: á á á á á á á 0 KB á á á0 blks
>> >> á á á áHolding blocks: á á á á 27348 KB á á á5 blks
>> >> á á á áFree Small blocks: á á á á á0 KB
>> >> á á á áFree Ordinary blocks: á á 601 KB
>> >> á á á áTotal in use: á á á á á877746 KB 100%
>> >> á á á áTotal free: á á á á á á á 601 KB 0%
>> >> á á á áTotal size: á á á á á á878348 KB
>> >> Memory accounted for:
>> >> á á á áTotal accounted: á á á 726322 KB
>> >> á á á ámemPoolAlloc calls: 51472567
>> >> á á á ámemPoolFree calls: 44989921
>> >> File descriptor usage for squid:
>> >> á á á áMaximum number of file descriptors: á 16384
>> >> á á á áLargest file desc currently in use: á 1153
>> >> á á á áNumber of file desc currently in use: á972
>> >> á á á áFiles queued for open: á á á á á á á á á 0
>> >> á á á áAvailable number of file descriptors: 15412
>> >> á á á áReserved number of file descriptors: á 100
>> >> á á á áStore Disk files open: á á á á á á á á á69
>> >> á á á áIO loop method: á á á á á á á á á á epoll
>> >> Internal Data Structures:
>> >> á á á á2767942 StoreEntries
>> >> á á á á 36519 StoreEntries with MemObjects
>> >> á á á á 36391 Hot Object Cache Items
>> >> á á á á2767222 on-disk objects
>> >>
>> >> => 'top' COMMAND OUTPUT:
>> >> --------------------------------
>> >> top - 18:14:18 up 2 days, 23:34, á1 user, áload average: 0.26, 0.17, 0.08
>> >> Tasks: 113 total, á 1 running, 112 sleeping, á 0 stopped, á 0 zombie
>> >> Cpu0 á: á0.0%us, á0.3%sy, á0.0%ni, 98.7%id, á1.0%wa, á0.0%hi, á0.0%si, á0.0%st
>> >> Cpu1 á: á0.0%us, á0.3%sy, á0.0%ni, 97.7%id, á2.0%wa, á0.0%hi, á0.0%si, á0.0%st
>> >> Cpu2 á: á0.3%us, á0.0%sy, á0.0%ni, 99.3%id, á0.3%wa, á0.0%hi, á0.0%si, á0.0%st
>> >> Cpu3 á: á0.3%us, á0.0%sy, á0.0%ni, 99.0%id, á0.3%wa, á0.0%hi, á0.3%si, á0.0%st
>> >> Mem: á 8305904k total, á3632340k used, á4673564k free, á 525752k buffers
>> >> Swap: á6297440k total, á á á á0k used, á6297440k free, á1980300k cached
>> >>
>> >> áPID USER á á áPR áNI áVIRT áRES áSHR S %CPU %MEM á áTIME+ áCOMMAND
>> >> 12561 nobody á á20 á 0 á874m 863m 2372 S á á0 10.6 á 2:09.52 squid
>> >>
>> >> => 'free' COMMAND OUTPUT:
>> >> --------------------------------
>> >> á á á á á á total á á á used á á á free á á shared á ábuffers á á cached
>> >> Mem: á á á 8305904 á á3648668 á á4657236 á á á á á0 á á 527276 á á1991908
>> >> -/+ buffers/cache: á á1129484 á á7176420
>> >> Swap: á á á6297440 á á á á á0 á á6297440
>> >>
>> >> => 'vmstat' COMMAND OUTPUT:
>> >> --------------------------------
>> >> root at proxy:/usr/local/squid/etc# vmstat 1
>> >> procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
>> >> ár áb á swpd á free á buff ácache á si á so á ábi á ábo á in á cs us sy id wa
>> >> á0 á0 á á á0 4655236 527384 1993244 á á0 á á0 á á12 á á37 á á8 á 24 á0 á0 98 á1
>> >> á0 á0 á á á0 4654980 527384 1993292 á á0 á á0 á á 0 á 504 4612 á368 á0 á0 99 á0
>> >> á0 á0 á á á0 4654848 527424 1993524 á á0 á á0 á á40 á á 0 4816 á671 á0 á0 98 á2
>> >> á0 á0 á á á0 4654724 527436 1993712 á á0 á á0 á 168 á á 0 4740 á522 á0 á0 99 á1
>> >> á0 á0 á á á0 4654352 527448 1993876 á á0 á á0 á á 0 á á76 4818 á487 á0 á0 100 á0
>> >> á0 á0 á á á0 4654344 527460 1993976 á á0 á á0 á á 4 á á 0 4718 á500 á0 á0 100 á0
>> >> á0 á0 á á á0 4654220 527468 1994120 á á0 á á0 á á24 á 588 4579 á398 á0 á0 99 á1
>> >> á0 á0 á á á0 4653848 527480 1994332 á á0 á á0 á 104 á á 0 4853 á627 á0 á0 99 á1
>> >> á0 á0 á á á0 4653360 527500 1994532 á á0 á á0 á á 0 á á 0 4909 á683 á0 á0 100 á0
>> >> á0 á0 á á á0 4653212 527516 1994716 á á0 á á0 á á 0 á á40 4877 á447 á0 á0 100 á0
>> >> á0 á0 á á á0 4652964 527536 1994732 á á0 á á0 á á12 á á 0 4721 á518 á0 á0 100 á0
>> >> á0 á0 á á á0 4652964 527548 1994800 á á0 á á0 á á16 á 820 4810 á708 á0 á1 99 á1
>> >> á0 á0 á á á0 4652716 527572 1994936 á á0 á á0 á á20 á á 0 4696 á628 á0 á0 99 á1
>> >>
>> >> ==================================================================
>> >>
>> >> EntÒo, com essas informaþ§es, alguÚm consegui visualizar algum erro ou
>> >> sugerir algum ajuste?
>> >>
>> >> Peþo desculpas pelo e-mail longo, mas tentei ser detalhado o
>> >> suficiente para esclarecer a situaþÒo.
>> >> Grato a todos desde jß, principalmente Óqueles que tiveram a paciÛncia
>> >> e o interesse de chegar atÚ aqui. :-)
>> >>
>> >> Abraþos,
>> >> --
>> >> Igor Luiz Oliveira de Souza
>> >> Solic Tecnologia e Sistemas
>> >> (77) 8829-7678
>> >> igorluiz at solic.com.br
>> >> --
>> >> gter list á áhttps://eng.registro.br/mailman/listinfo/gter
>> >>
>> > --
>> > gter list á áhttps://eng.registro.br/mailman/listinfo/gter
>> >
>>
>>
>>
>> --
>> Igor Luiz Oliveira de Souza
>> Solic Tecnologia e Sistemas
>> (77) 8829-7678
>> igorluiz at solic.com.br
>> --
>> gter list    https://eng.registro.br/mailman/listinfo/gter
>
> _________________________________________________________________
> Faça transações bancárias de maneira segura. Baixe agora o Novo Internet Explorer 8.
> http://brasil.microsoft.com.br/IE8/mergulhe/?utm_source=MSN%3BHotmail&utm_medium=Tagline&utm_content=Tag2&utm_campaign=IE8
> --
> gter list    https://eng.registro.br/mailman/listinfo/gter
>