[GTER] Navegação através de proxy transparente ficando lenta até parar...

Tue Jan 5 12:56:50 -02 2010

tenta essa config ao inves do transparent na frente da porta

httpd_access_host virtual

httpd_access_port 80
httpd_access_with_proxy on
httpd_access_uses_host_header on

pode ser que funcione ele funcionava em versoes anteriores a 2.6 do squid

> Date: Tue, 5 Jan 2010 11:42:55 -0300
> From: igorluiz at solic.com.br
> To: gter at eng.registro.br
> Subject: Re: [GTER]	Navegação através de proxy transparente ficando lenta até parar...
> 
> Exatamente Willian.
> --
> Igor Luiz
> 
> 2010/1/5 Willian Tomaz Nieckarz <wt.nieckarz at gmail.com>:
> > Esses dados sÒo do momento em que o servidor estava problemßtico?
> >
> > 2010/1/2 Igor Luiz Oliveira de Souza <igorluiz at solic.com.br>:
> >> Olß pessoal,
> >>
> >> Hß algum tempo venho sofrendo com um problema com o Squid e depois de
> >> muita busca, ainda nÒo consegui encontrar o ponto de falha.
> >> Acredito que essa discussÒo talvez seja recorrente, mas me parece ser
> >> algum tipo de ajuste particular no meu ambiente pra ter o problema
> >> resolvido. EntÒo, aqui vai minha hist¾ria...
> >>
> >> A cerca de dois meses atrßs, comecei uma configuraþÒo padrÒo de Squid
> >> em 15 servidores em 10 ISP's diferentes, dos quais sou responsßvel por
> >> essa ßrea. O n·mero de usußrios atendido por cada servidor varia em
> >> torno de 150 a 500 usußrios. A banda em cada provedor varia de 4 a 30
> >> Mbps. Eu sei que pode ser um grande intervalo de variaþÒo, mas estou
> >> citando isso, apenas para dar uma idÚia da dimensÒo dos ambientes que
> >> estamos tratando.
> >>
> >> Bem, nos primeiros 10 a 15 dias, tudo funcionou perfeitamente em todos
> >> eles... sem qualquer problema, sem qualquer ocorrÛncia.
> >> Depois disso, 4 destes servidores(11 ainda estÒo funcionando
> >> perfeitamente) comeþaram a apresentar o mesmo sintoma:
> >> - A navegaþÒo comeþa a ficar lenta atÚ quase parar (em alguns casos
> >> retorna ao normal sem qualquer intervenþÒo - de forma intermitente -
> >> eis o grande calo!!!)
> >> Os proxies estÒo rodando em modo transparente, entÒo se eu desativar o
> >> redirecionamento do netfilter, fazendo o trßfego ir direto pra
> >> internet, a navegaþÒo volta ao normal, de imediato.
> >> Estou usando quase que a mesma configuraþÒo do Squid em todos os
> >> servidores, basicamente mudando apenas o cache_dir, baseado no tamanho
> >> do disco disponÝvel para o cache.
> >> A intenþÒo principal destes proxies sÒo para economia de banda, mas
> >> claramente visando manter o equilÝbrio com o tempo de resposta para o
> >> usußrio, de forma que usando o proxy, a navegaþÒo continue mais
> >> rßpida(ou igual) se comparada Ó navegaþÒo conectando diretamente sem
> >> proxy.
> >> Todos os servidores estÒo rodando Squid v.2.6.stable22
> >>
> >> Jß chequei carga de CPU, uso de mem¾ria, I/O em disco, e na minha
> >> humilde anßlise, nÒo consegui identificar o ponto de falha.
> >>
> >> Vou colocar aqui algumas informaþ§es que podem ·teis na identificaþÒo,
> >> tomando como exemplo um dos servidores que estß apresentando o
> >> problema.
> >> ==================================================================
> >> => Link do provedor:
> >> 10 Mbps
> >>
> >> => Usußrios atendidos simultanamente:
> >> 170 em um momento de ocorrÛncia do problema (hß alguns dias atrßs jß
> >> chegou a ter picos de quase 500 sem apresentar o problema)
> >>
> >> => Hardware Configs
> >> --------------------------------
> >> CPU: Intel Core 2 Quad - 2.66GHz
> >> RAM: 8 Gb
> >>
> >> => OS
> >> --------------------------------
> >> Linux Slackware v.13 - Kernel 2.6.29.6-smp
> >>
> >> => SQUID CONF á(Squid v.2.6.stable22)
> >> --------------------------------
> >> acl all src 0.0.0.0/0.0.0.0
> >> acl manager proto cache_object
> >> acl localhost src 127.0.0.1/255.255.255.255
> >> acl to_localhost dst 127.0.0.0/8
> >> acl SSL_ports port 443
> >> acl Safe_ports port 80 á á á á á# http
> >> acl Safe_ports port 21 á á á á á# ftp
> >> acl Safe_ports port 443 á á á á # https
> >> acl Safe_ports port 70 á á á á á# gopher
> >> acl Safe_ports port 210 á á á á # wais
> >> acl Safe_ports port 1025-65535 á# unregistered ports
> >> acl Safe_ports port 280 á á á á # http-mgmt
> >> acl Safe_ports port 488 á á á á # gss-http
> >> acl Safe_ports port 591 á á á á # filemaker
> >> acl Safe_ports port 777 á á á á # multiling http
> >> acl CONNECT method CONNECT
> >>
> >> http_access allow manager localhost
> >> http_access deny manager
> >> http_access deny !Safe_ports
> >> http_access deny CONNECT !SSL_ports
> >>
> >> acl our_networks src xxx.xxx.xxx.xxx/16
> >> acl this_server src yyy.yyy.yyy.yyy/32
> >> http_access allow our_networks
> >>
> >> http_access allow localhost
> >> http_access deny all
> >>
> >> icp_access allow all
> >>
> >> http_port 3128 transparent
> >>
> >> hierarchy_stoplist cgi-bin ?
> >>
> >> cache_mem 512 MB
> >>
> >> maximum_object_size_in_memory 384 KB
> >>
> >> memory_replacement_policy heap GDSF
> >>
> >> cache_replacement_policy heap LFUDA
> >>
> >> cache_dir aufs /cache 500000 64 256
> >>
> >> maximum_object_size 400 MB
> >>
> >> access_log /usr/local/squid/var/logs/access.log squid
> >>
> >> cache_log /usr/local/squid/var/logs/cache.log
> >>
> >> cache_store_log none
> >>
> >> logfile_rotate 3
> >>
> >> acl QUERY urlpath_regex cgi-bin \?
> >> cache deny QUERY
> >>
> >> refresh_pattern ^ftp: á á á á á 1440 á á20% á á 10080
> >> refresh_pattern ^gopher: á á á á1440 á á0% á á á1440
> >> refresh_pattern . á á á á á á á 0 á á á 20% á á 4320
> >>
> >> acl apache rep_header Server ^Apache
> >> broken_vary_encoding allow apache
> >>
> >> cache_mgr support at mydomain.com.br
> >>
> >> visible_hostname yyy.yyy.yyy.yyy
> >>
> >> snmp_port 3401
> >> acl snmppublic snmp_community public
> >> snmp_access allow snmppublic this_server
> >> snmp_access deny all
> >> snmp_incoming_address 0.0.0.0
> >> snmp_outgoing_address 255.255.255.255
> >>
> >> coredump_dir /cache
> >>
> >> => Squid CACHE MANAGER INFO:
> >> --------------------------------
> >> Squid Object Cache: Version 2.6.STABLE22
> >> Start Time: á á Sat, 02 Jan 2010 18:08:57 GMT
> >> Current Time: á Sat, 02 Jan 2010 21:10:19 GMT
> >> Connection information for squid:
> >> á á á áNumber of clients accessing cache: á á á9
> >> á á á áNumber of HTTP requests received: á á á 277856
> >> á á á áNumber of ICP messages received: á á á á0
> >> á á á áNumber of ICP messages sent: á á0
> >> á á á áNumber of queued ICP replies: á 0
> >> á á á áRequest failure ratio: á 0.00
> >> á á á áAverage HTTP requests per minute since start: á 1532.1
> >> á á á áAverage ICP messages per minute since start: á á0.0
> >> á á á áSelect loop called: 3581679 times, 3.038 ms avg
> >> Cache information for squid:
> >> á á á áRequest Hit Ratios: á á 5min: 35.5%, 60min: 39.7%
> >> á á á áByte Hit Ratios: á á á á5min: 17.0%, 60min: 17.0%
> >> á á á áRequest Memory Hit Ratios: á á á5min: 9.0%, 60min: 5.7%
> >> á á á áRequest Disk Hit Ratios: á á á á5min: 52.4%, 60min: 48.6%
> >> á á á áStorage Swap size: á á á56684352 KB
> >> á á á áStorage Mem size: á á á 513584 KB
> >> á á á áMean Object Size: á á á 20.48 KB
> >> á á á áRequests given to unlinkd: á á á0
> >> Median Service Times (seconds) á5 min á á60 min:
> >> á á á áHTTP Requests (All): á 0.18699 á0.15888
> >> á á á áCache Misses: á á á á á0.30459 á0.30459
> >> á á á áCache Hits: á á á á á á0.01309 á0.00562
> >> á á á áNear Hits: á á á á á á 0.32154 á0.08265
> >> á á á áNot-Modified Replies: á0.00286 á0.00286
> >> á á á áDNS Lookups: á á á á á 0.13042 á0.12472
> >> á á á áICP Queries: á á á á á 0.00000 á0.00000
> >> Resource usage for squid:
> >> á á á áUP Time: á á á á10881.453 seconds
> >> á á á áCPU Time: á á á 127.668 seconds
> >> á á á áCPU Usage: á á á1.17%
> >> á á á áCPU Usage, 5 minute avg: á á á á1.30%
> >> á á á áCPU Usage, 60 minute avg: á á á 0.91%
> >> á á á áProcess Data Segment Size via sbrk(): 851000 KB
> >> á á á áMaximum Resident Size: 0 KB
> >> á á á áPage faults with physical i/o: 0
> >> Memory usage for squid via mallinfo():
> >> á á á áTotal space in arena: á851000 KB
> >> á á á áOrdinary blocks: á á á 850398 KB á31794 blks
> >> á á á áSmall blocks: á á á á á á á 0 KB á á á0 blks
> >> á á á áHolding blocks: á á á á 27348 KB á á á5 blks
> >> á á á áFree Small blocks: á á á á á0 KB
> >> á á á áFree Ordinary blocks: á á 601 KB
> >> á á á áTotal in use: á á á á á877746 KB 100%
> >> á á á áTotal free: á á á á á á á 601 KB 0%
> >> á á á áTotal size: á á á á á á878348 KB
> >> Memory accounted for:
> >> á á á áTotal accounted: á á á 726322 KB
> >> á á á ámemPoolAlloc calls: 51472567
> >> á á á ámemPoolFree calls: 44989921
> >> File descriptor usage for squid:
> >> á á á áMaximum number of file descriptors: á 16384
> >> á á á áLargest file desc currently in use: á 1153
> >> á á á áNumber of file desc currently in use: á972
> >> á á á áFiles queued for open: á á á á á á á á á 0
> >> á á á áAvailable number of file descriptors: 15412
> >> á á á áReserved number of file descriptors: á 100
> >> á á á áStore Disk files open: á á á á á á á á á69
> >> á á á áIO loop method: á á á á á á á á á á epoll
> >> Internal Data Structures:
> >> á á á á2767942 StoreEntries
> >> á á á á 36519 StoreEntries with MemObjects
> >> á á á á 36391 Hot Object Cache Items
> >> á á á á2767222 on-disk objects
> >>
> >> => 'top' COMMAND OUTPUT:
> >> --------------------------------
> >> top - 18:14:18 up 2 days, 23:34, á1 user, áload average: 0.26, 0.17, 0.08
> >> Tasks: 113 total, á 1 running, 112 sleeping, á 0 stopped, á 0 zombie
> >> Cpu0 á: á0.0%us, á0.3%sy, á0.0%ni, 98.7%id, á1.0%wa, á0.0%hi, á0.0%si, á0.0%st
> >> Cpu1 á: á0.0%us, á0.3%sy, á0.0%ni, 97.7%id, á2.0%wa, á0.0%hi, á0.0%si, á0.0%st
> >> Cpu2 á: á0.3%us, á0.0%sy, á0.0%ni, 99.3%id, á0.3%wa, á0.0%hi, á0.0%si, á0.0%st
> >> Cpu3 á: á0.3%us, á0.0%sy, á0.0%ni, 99.0%id, á0.3%wa, á0.0%hi, á0.3%si, á0.0%st
> >> Mem: á 8305904k total, á3632340k used, á4673564k free, á 525752k buffers
> >> Swap: á6297440k total, á á á á0k used, á6297440k free, á1980300k cached
> >>
> >> áPID USER á á áPR áNI áVIRT áRES áSHR S %CPU %MEM á áTIME+ áCOMMAND
> >> 12561 nobody á á20 á 0 á874m 863m 2372 S á á0 10.6 á 2:09.52 squid
> >>
> >> => 'free' COMMAND OUTPUT:
> >> --------------------------------
> >> á á á á á á total á á á used á á á free á á shared á ábuffers á á cached
> >> Mem: á á á 8305904 á á3648668 á á4657236 á á á á á0 á á 527276 á á1991908
> >> -/+ buffers/cache: á á1129484 á á7176420
> >> Swap: á á á6297440 á á á á á0 á á6297440
> >>
> >> => 'vmstat' COMMAND OUTPUT:
> >> --------------------------------
> >> root at proxy:/usr/local/squid/etc# vmstat 1
> >> procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
> >> ár áb á swpd á free á buff ácache á si á so á ábi á ábo á in á cs us sy id wa
> >> á0 á0 á á á0 4655236 527384 1993244 á á0 á á0 á á12 á á37 á á8 á 24 á0 á0 98 á1
> >> á0 á0 á á á0 4654980 527384 1993292 á á0 á á0 á á 0 á 504 4612 á368 á0 á0 99 á0
> >> á0 á0 á á á0 4654848 527424 1993524 á á0 á á0 á á40 á á 0 4816 á671 á0 á0 98 á2
> >> á0 á0 á á á0 4654724 527436 1993712 á á0 á á0 á 168 á á 0 4740 á522 á0 á0 99 á1
> >> á0 á0 á á á0 4654352 527448 1993876 á á0 á á0 á á 0 á á76 4818 á487 á0 á0 100 á0
> >> á0 á0 á á á0 4654344 527460 1993976 á á0 á á0 á á 4 á á 0 4718 á500 á0 á0 100 á0
> >> á0 á0 á á á0 4654220 527468 1994120 á á0 á á0 á á24 á 588 4579 á398 á0 á0 99 á1
> >> á0 á0 á á á0 4653848 527480 1994332 á á0 á á0 á 104 á á 0 4853 á627 á0 á0 99 á1
> >> á0 á0 á á á0 4653360 527500 1994532 á á0 á á0 á á 0 á á 0 4909 á683 á0 á0 100 á0
> >> á0 á0 á á á0 4653212 527516 1994716 á á0 á á0 á á 0 á á40 4877 á447 á0 á0 100 á0
> >> á0 á0 á á á0 4652964 527536 1994732 á á0 á á0 á á12 á á 0 4721 á518 á0 á0 100 á0
> >> á0 á0 á á á0 4652964 527548 1994800 á á0 á á0 á á16 á 820 4810 á708 á0 á1 99 á1
> >> á0 á0 á á á0 4652716 527572 1994936 á á0 á á0 á á20 á á 0 4696 á628 á0 á0 99 á1
> >>
> >> ==================================================================
> >>
> >> EntÒo, com essas informaþ§es, alguÚm consegui visualizar algum erro ou
> >> sugerir algum ajuste?
> >>
> >> Peþo desculpas pelo e-mail longo, mas tentei ser detalhado o
> >> suficiente para esclarecer a situaþÒo.
> >> Grato a todos desde jß, principalmente Óqueles que tiveram a paciÛncia
> >> e o interesse de chegar atÚ aqui. :-)
> >>
> >> Abraþos,
> >> --
> >> Igor Luiz Oliveira de Souza
> >> Solic Tecnologia e Sistemas
> >> (77) 8829-7678
> >> igorluiz at solic.com.br
> >> --
> >> gter list á áhttps://eng.registro.br/mailman/listinfo/gter
> >>
> > --
> > gter list á áhttps://eng.registro.br/mailman/listinfo/gter
> >
> 
> 
> 
> -- 
> Igor Luiz Oliveira de Souza
> Solic Tecnologia e Sistemas
> (77) 8829-7678
> igorluiz at solic.com.br
> --
> gter list    https://eng.registro.br/mailman/listinfo/gter

_________________________________________________________________
Faça transações bancárias de maneira segura. Baixe agora o Novo Internet Explorer 8.
http://brasil.microsoft.com.br/IE8/mergulhe/?utm_source=MSN%3BHotmail&utm_medium=Tagline&utm_content=Tag2&utm_campaign=IE8