[GTER] Navegação através de proxy transparente ficando lenta até parar...

Tue Jan 5 15:46:34 -02 2010

Já sim William. Se deixo o tráfego passar direto, o acesso flui normalmente.
--
Igor Luiz

2010/1/5 Willian Tomaz Nieckarz <wt.nieckarz at gmail.com>:
> Igor,
> Tentou por algum acaso deixar o tráfego apenas apenas passando pela
> máquina sem o Squid?
> E posta um pedaço do access log no pastebin do momento em que o
> servidor estava com problemas, por favor.
>
> Paulo,
> isso não funciona a tempos no squid. essa configuração é do 2.4 se eu
> não me falha a memória.
>
> 2010/1/5 Paulo Aleksandro <paulo.alek at hotmail.com>:
>>
>> tenta essa config ao inves do transparent na frente da porta
>>
>>
>> httpd_access_host virtual
>>
>> httpd_access_port 80
>> httpd_access_with_proxy on
>> httpd_access_uses_host_header on
>>
>>
>>
>>
>> pode ser que funcione ele funcionava em versoes anteriores a 2.6 do squid
>>
>>
>>
>>> Date: Tue, 5 Jan 2010 11:42:55 -0300
>>> From: igorluiz at solic.com.br
>>> To: gter at eng.registro.br
>>> Subject: Re: [GTER]   Navegação através de proxy transparente ficando lenta até parar...
>>>
>>> Exatamente Willian.
>>> --
>>> Igor Luiz
>>>
>>> 2010/1/5 Willian Tomaz Nieckarz <wt.nieckarz at gmail.com>:
>>> > Esses dados sÒo do momento em que o servidor estava problemßtico?
>>> >
>>> > 2010/1/2 Igor Luiz Oliveira de Souza <igorluiz at solic.com.br>:
>>> >> Olß pessoal,
>>> >>
>>> >> Hß algum tempo venho sofrendo com um problema com o Squid e depois de
>>> >> muita busca, ainda nÒo consegui encontrar o ponto de falha.
>>> >> Acredito que essa discussÒo talvez seja recorrente, mas me parece ser
>>> >> algum tipo de ajuste particular no meu ambiente pra ter o problema
>>> >> resolvido. EntÒo, aqui vai minha hist¾ria...
>>> >>
>>> >> A cerca de dois meses atrßs, comecei uma configuraþÒo padrÒo de Squid
>>> >> em 15 servidores em 10 ISP's diferentes, dos quais sou responsßvel por
>>> >> essa ßrea. O n·mero de usußrios atendido por cada servidor varia em
>>> >> torno de 150 a 500 usußrios. A banda em cada provedor varia de 4 a 30
>>> >> Mbps. Eu sei que pode ser um grande intervalo de variaþÒo, mas estou
>>> >> citando isso, apenas para dar uma idÚia da dimensÒo dos ambientes que
>>> >> estamos tratando.
>>> >>
>>> >> Bem, nos primeiros 10 a 15 dias, tudo funcionou perfeitamente em todos
>>> >> eles... sem qualquer problema, sem qualquer ocorrÛncia.
>>> >> Depois disso, 4 destes servidores(11 ainda estÒo funcionando
>>> >> perfeitamente) comeþaram a apresentar o mesmo sintoma:
>>> >> - A navegaþÒo comeþa a ficar lenta atÚ quase parar (em alguns casos
>>> >> retorna ao normal sem qualquer intervenþÒo - de forma intermitente -
>>> >> eis o grande calo!!!)
>>> >> Os proxies estÒo rodando em modo transparente, entÒo se eu desativar o
>>> >> redirecionamento do netfilter, fazendo o trßfego ir direto pra
>>> >> internet, a navegaþÒo volta ao normal, de imediato.
>>> >> Estou usando quase que a mesma configuraþÒo do Squid em todos os
>>> >> servidores, basicamente mudando apenas o cache_dir, baseado no tamanho
>>> >> do disco disponÝvel para o cache.
>>> >> A intenþÒo principal destes proxies sÒo para economia de banda, mas
>>> >> claramente visando manter o equilÝbrio com o tempo de resposta para o
>>> >> usußrio, de forma que usando o proxy, a navegaþÒo continue mais
>>> >> rßpida(ou igual) se comparada Ó navegaþÒo conectando diretamente sem
>>> >> proxy.
>>> >> Todos os servidores estÒo rodando Squid v.2.6.stable22
>>> >>
>>> >> Jß chequei carga de CPU, uso de mem¾ria, I/O em disco, e na minha
>>> >> humilde anßlise, nÒo consegui identificar o ponto de falha.
>>> >>
>>> >> Vou colocar aqui algumas informaþ§es que podem ·teis na identificaþÒo,
>>> >> tomando como exemplo um dos servidores que estß apresentando o
>>> >> problema.
>>> >> ==================================================================
>>> >> => Link do provedor:
>>> >> 10 Mbps
>>> >>
>>> >> => Usußrios atendidos simultanamente:
>>> >> 170 em um momento de ocorrÛncia do problema (hß alguns dias atrßs jß
>>> >> chegou a ter picos de quase 500 sem apresentar o problema)
>>> >>
>>> >> => Hardware Configs
>>> >> --------------------------------
>>> >> CPU: Intel Core 2 Quad - 2.66GHz
>>> >> RAM: 8 Gb
>>> >>
>>> >> => OS
>>> >> --------------------------------
>>> >> Linux Slackware v.13 - Kernel 2.6.29.6-smp
>>> >>
>>> >> => SQUID CONF á(Squid v.2.6.stable22)
>>> >> --------------------------------
>>> >> acl all src 0.0.0.0/0.0.0.0
>>> >> acl manager proto cache_object
>>> >> acl localhost src 127.0.0.1/255.255.255.255
>>> >> acl to_localhost dst 127.0.0.0/8
>>> >> acl SSL_ports port 443
>>> >> acl Safe_ports port 80 á á á á á# http
>>> >> acl Safe_ports port 21 á á á á á# ftp
>>> >> acl Safe_ports port 443 á á á á # https
>>> >> acl Safe_ports port 70 á á á á á# gopher
>>> >> acl Safe_ports port 210 á á á á # wais
>>> >> acl Safe_ports port 1025-65535 á# unregistered ports
>>> >> acl Safe_ports port 280 á á á á # http-mgmt
>>> >> acl Safe_ports port 488 á á á á # gss-http
>>> >> acl Safe_ports port 591 á á á á # filemaker
>>> >> acl Safe_ports port 777 á á á á # multiling http
>>> >> acl CONNECT method CONNECT
>>> >>
>>> >> http_access allow manager localhost
>>> >> http_access deny manager
>>> >> http_access deny !Safe_ports
>>> >> http_access deny CONNECT !SSL_ports
>>> >>
>>> >> acl our_networks src xxx.xxx.xxx.xxx/16
>>> >> acl this_server src yyy.yyy.yyy.yyy/32
>>> >> http_access allow our_networks
>>> >>
>>> >> http_access allow localhost
>>> >> http_access deny all
>>> >>
>>> >> icp_access allow all
>>> >>
>>> >> http_port 3128 transparent
>>> >>
>>> >> hierarchy_stoplist cgi-bin ?
>>> >>
>>> >> cache_mem 512 MB
>>> >>
>>> >> maximum_object_size_in_memory 384 KB
>>> >>
>>> >> memory_replacement_policy heap GDSF
>>> >>
>>> >> cache_replacement_policy heap LFUDA
>>> >>
>>> >> cache_dir aufs /cache 500000 64 256
>>> >>
>>> >> maximum_object_size 400 MB
>>> >>
>>> >> access_log /usr/local/squid/var/logs/access.log squid
>>> >>
>>> >> cache_log /usr/local/squid/var/logs/cache.log
>>> >>
>>> >> cache_store_log none
>>> >>
>>> >> logfile_rotate 3
>>> >>
>>> >> acl QUERY urlpath_regex cgi-bin \?
>>> >> cache deny QUERY
>>> >>
>>> >> refresh_pattern ^ftp: á á á á á 1440 á á20% á á 10080
>>> >> refresh_pattern ^gopher: á á á á1440 á á0% á á á1440
>>> >> refresh_pattern . á á á á á á á 0 á á á 20% á á 4320
>>> >>
>>> >> acl apache rep_header Server ^Apache
>>> >> broken_vary_encoding allow apache
>>> >>
>>> >> cache_mgr support at mydomain.com.br
>>> >>
>>> >> visible_hostname yyy.yyy.yyy.yyy
>>> >>
>>> >> snmp_port 3401
>>> >> acl snmppublic snmp_community public
>>> >> snmp_access allow snmppublic this_server
>>> >> snmp_access deny all
>>> >> snmp_incoming_address 0.0.0.0
>>> >> snmp_outgoing_address 255.255.255.255
>>> >>
>>> >> coredump_dir /cache
>>> >>
>>> >> => Squid CACHE MANAGER INFO:
>>> >> --------------------------------
>>> >> Squid Object Cache: Version 2.6.STABLE22
>>> >> Start Time: á á Sat, 02 Jan 2010 18:08:57 GMT
>>> >> Current Time: á Sat, 02 Jan 2010 21:10:19 GMT
>>> >> Connection information for squid:
>>> >> á á á áNumber of clients accessing cache: á á á9
>>> >> á á á áNumber of HTTP requests received: á á á 277856
>>> >> á á á áNumber of ICP messages received: á á á á0
>>> >> á á á áNumber of ICP messages sent: á á0
>>> >> á á á áNumber of queued ICP replies: á 0
>>> >> á á á áRequest failure ratio: á 0.00
>>> >> á á á áAverage HTTP requests per minute since start: á 1532.1
>>> >> á á á áAverage ICP messages per minute since start: á á0.0
>>> >> á á á áSelect loop called: 3581679 times, 3.038 ms avg
>>> >> Cache information for squid:
>>> >> á á á áRequest Hit Ratios: á á 5min: 35.5%, 60min: 39.7%
>>> >> á á á áByte Hit Ratios: á á á á5min: 17.0%, 60min: 17.0%
>>> >> á á á áRequest Memory Hit Ratios: á á á5min: 9.0%, 60min: 5.7%
>>> >> á á á áRequest Disk Hit Ratios: á á á á5min: 52.4%, 60min: 48.6%
>>> >> á á á áStorage Swap size: á á á56684352 KB
>>> >> á á á áStorage Mem size: á á á 513584 KB
>>> >> á á á áMean Object Size: á á á 20.48 KB
>>> >> á á á áRequests given to unlinkd: á á á0
>>> >> Median Service Times (seconds) á5 min á á60 min:
>>> >> á á á áHTTP Requests (All): á 0.18699 á0.15888
>>> >> á á á áCache Misses: á á á á á0.30459 á0.30459
>>> >> á á á áCache Hits: á á á á á á0.01309 á0.00562
>>> >> á á á áNear Hits: á á á á á á 0.32154 á0.08265
>>> >> á á á áNot-Modified Replies: á0.00286 á0.00286
>>> >> á á á áDNS Lookups: á á á á á 0.13042 á0.12472
>>> >> á á á áICP Queries: á á á á á 0.00000 á0.00000
>>> >> Resource usage for squid:
>>> >> á á á áUP Time: á á á á10881.453 seconds
>>> >> á á á áCPU Time: á á á 127.668 seconds
>>> >> á á á áCPU Usage: á á á1.17%
>>> >> á á á áCPU Usage, 5 minute avg: á á á á1.30%
>>> >> á á á áCPU Usage, 60 minute avg: á á á 0.91%
>>> >> á á á áProcess Data Segment Size via sbrk(): 851000 KB
>>> >> á á á áMaximum Resident Size: 0 KB
>>> >> á á á áPage faults with physical i/o: 0
>>> >> Memory usage for squid via mallinfo():
>>> >> á á á áTotal space in arena: á851000 KB
>>> >> á á á áOrdinary blocks: á á á 850398 KB á31794 blks
>>> >> á á á áSmall blocks: á á á á á á á 0 KB á á á0 blks
>>> >> á á á áHolding blocks: á á á á 27348 KB á á á5 blks
>>> >> á á á áFree Small blocks: á á á á á0 KB
>>> >> á á á áFree Ordinary blocks: á á 601 KB
>>> >> á á á áTotal in use: á á á á á877746 KB 100%
>>> >> á á á áTotal free: á á á á á á á 601 KB 0%
>>> >> á á á áTotal size: á á á á á á878348 KB
>>> >> Memory accounted for:
>>> >> á á á áTotal accounted: á á á 726322 KB
>>> >> á á á ámemPoolAlloc calls: 51472567
>>> >> á á á ámemPoolFree calls: 44989921
>>> >> File descriptor usage for squid:
>>> >> á á á áMaximum number of file descriptors: á 16384
>>> >> á á á áLargest file desc currently in use: á 1153
>>> >> á á á áNumber of file desc currently in use: á972
>>> >> á á á áFiles queued for open: á á á á á á á á á 0
>>> >> á á á áAvailable number of file descriptors: 15412
>>> >> á á á áReserved number of file descriptors: á 100
>>> >> á á á áStore Disk files open: á á á á á á á á á69
>>> >> á á á áIO loop method: á á á á á á á á á á epoll
>>> >> Internal Data Structures:
>>> >> á á á á2767942 StoreEntries
>>> >> á á á á 36519 StoreEntries with MemObjects
>>> >> á á á á 36391 Hot Object Cache Items
>>> >> á á á á2767222 on-disk objects
>>> >>
>>> >> => 'top' COMMAND OUTPUT:
>>> >> --------------------------------
>>> >> top - 18:14:18 up 2 days, 23:34, á1 user, áload average: 0.26, 0.17, 0.08
>>> >> Tasks: 113 total, á 1 running, 112 sleeping, á 0 stopped, á 0 zombie
>>> >> Cpu0 á: á0.0%us, á0.3%sy, á0.0%ni, 98.7%id, á1.0%wa, á0.0%hi, á0.0%si, á0.0%st
>>> >> Cpu1 á: á0.0%us, á0.3%sy, á0.0%ni, 97.7%id, á2.0%wa, á0.0%hi, á0.0%si, á0.0%st
>>> >> Cpu2 á: á0.3%us, á0.0%sy, á0.0%ni, 99.3%id, á0.3%wa, á0.0%hi, á0.0%si, á0.0%st
>>> >> Cpu3 á: á0.3%us, á0.0%sy, á0.0%ni, 99.0%id, á0.3%wa, á0.0%hi, á0.3%si, á0.0%st
>>> >> Mem: á 8305904k total, á3632340k used, á4673564k free, á 525752k buffers
>>> >> Swap: á6297440k total, á á á á0k used, á6297440k free, á1980300k cached
>>> >>
>>> >> áPID USER á á áPR áNI áVIRT áRES áSHR S %CPU %MEM á áTIME+ áCOMMAND
>>> >> 12561 nobody á á20 á 0 á874m 863m 2372 S á á0 10.6 á 2:09.52 squid
>>> >>
>>> >> => 'free' COMMAND OUTPUT:
>>> >> --------------------------------
>>> >> á á á á á á total á á á used á á á free á á shared á ábuffers á á cached
>>> >> Mem: á á á 8305904 á á3648668 á á4657236 á á á á á0 á á 527276 á á1991908
>>> >> -/+ buffers/cache: á á1129484 á á7176420
>>> >> Swap: á á á6297440 á á á á á0 á á6297440
>>> >>
>>> >> => 'vmstat' COMMAND OUTPUT:
>>> >> --------------------------------
>>> >> root at proxy:/usr/local/squid/etc# vmstat 1
>>> >> procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
>>> >> ár áb á swpd á free á buff ácache á si á so á ábi á ábo á in á cs us sy id wa
>>> >> á0 á0 á á á0 4655236 527384 1993244 á á0 á á0 á á12 á á37 á á8 á 24 á0 á0 98 á1
>>> >> á0 á0 á á á0 4654980 527384 1993292 á á0 á á0 á á 0 á 504 4612 á368 á0 á0 99 á0
>>> >> á0 á0 á á á0 4654848 527424 1993524 á á0 á á0 á á40 á á 0 4816 á671 á0 á0 98 á2
>>> >> á0 á0 á á á0 4654724 527436 1993712 á á0 á á0 á 168 á á 0 4740 á522 á0 á0 99 á1
>>> >> á0 á0 á á á0 4654352 527448 1993876 á á0 á á0 á á 0 á á76 4818 á487 á0 á0 100 á0
>>> >> á0 á0 á á á0 4654344 527460 1993976 á á0 á á0 á á 4 á á 0 4718 á500 á0 á0 100 á0
>>> >> á0 á0 á á á0 4654220 527468 1994120 á á0 á á0 á á24 á 588 4579 á398 á0 á0 99 á1
>>> >> á0 á0 á á á0 4653848 527480 1994332 á á0 á á0 á 104 á á 0 4853 á627 á0 á0 99 á1
>>> >> á0 á0 á á á0 4653360 527500 1994532 á á0 á á0 á á 0 á á 0 4909 á683 á0 á0 100 á0
>>> >> á0 á0 á á á0 4653212 527516 1994716 á á0 á á0 á á 0 á á40 4877 á447 á0 á0 100 á0
>>> >> á0 á0 á á á0 4652964 527536 1994732 á á0 á á0 á á12 á á 0 4721 á518 á0 á0 100 á0
>>> >> á0 á0 á á á0 4652964 527548 1994800 á á0 á á0 á á16 á 820 4810 á708 á0 á1 99 á1
>>> >> á0 á0 á á á0 4652716 527572 1994936 á á0 á á0 á á20 á á 0 4696 á628 á0 á0 99 á1
>>> >>
>>> >> ==================================================================
>>> >>
>>> >> EntÒo, com essas informaþ§es, alguÚm consegui visualizar algum erro ou
>>> >> sugerir algum ajuste?
>>> >>
>>> >> Peþo desculpas pelo e-mail longo, mas tentei ser detalhado o
>>> >> suficiente para esclarecer a situaþÒo.
>>> >> Grato a todos desde jß, principalmente Óqueles que tiveram a paciÛncia
>>> >> e o interesse de chegar atÚ aqui. :-)
>>> >>
>>> >> Abraþos,
>>> >> --
>>> >> Igor Luiz Oliveira de Souza
>>> >> Solic Tecnologia e Sistemas
>>> >> (77) 8829-7678
>>> >> igorluiz at solic.com.br
>>> >> --
>>> >> gter list á áhttps://eng.registro.br/mailman/listinfo/gter
>>> >>
>>> > --
>>> > gter list á áhttps://eng.registro.br/mailman/listinfo/gter
>>> >
>>>
>>>
>>>
>>> --
>>> Igor Luiz Oliveira de Souza
>>> Solic Tecnologia e Sistemas
>>> (77) 8829-7678
>>> igorluiz at solic.com.br
>>> --
>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>
>> _________________________________________________________________
>> Faça transações bancárias de maneira segura. Baixe agora o Novo Internet Explorer 8.
>> http://brasil.microsoft.com.br/IE8/mergulhe/?utm_source=MSN%3BHotmail&utm_medium=Tagline&utm_content=Tag2&utm_campaign=IE8