[MASOCH-L] Calculo de banda usando arquivos de logs

Caio Zanolla zanolla at gmail.com
Thu Aug 22 02:11:48 BRT 2013


On 21/08/2013, at 21:07, Fernando Ulisses dos Santos <fernando at bluesolutions.com.br> wrote:

> Caio,
> 
> Depende da quantidade de requisições média. 
> 
> Os servidores Web normalmente só colocam no log após fazer toda a transferência, então houve um tempo de transferência grande, e só no final gerou o log. 
> 

Sim, por isso citei que nao ha indicio de qto tempo durou a transferencia e daí minha preocupacao em saber se essa logica de calculo nao seria errada.

Seguindo seu exemplo, um download grande ocupou banda em varios segundos anteriores e portanto aumentou a banda necessaria desses segundos. Nao sei se seria um problema no calculo, ja que os downloads dos minutos anteriores tambem ocuparam banda antes deles, entao, trazer todo o volume para um unico segundo acabaria anulando essa interferencia, contando é claro que haja volume suficiente para que nao ocorra um desvio muito grande.

> Pode acontecer, por exemplo, de um download de uma ISO de 4Gb, ela vai aparecer como uma única linha, se você considerar os 4Gb em um único segundo, vai te dar um número surreal.
> 
> Mas se a média das requisições for de um tamanho quase sempre igual, e se a quantidade delas for suficiente grande, tua abordagem deve dar um resultado muito próximo do real.
> 
> O que não vai dar para analisar é se houve contenção, se chegar no limite da banda, possivelmente os números apareçam atrasados, dando a impressão que está tudo ok, quando não está.

Sim, mas a contençao acontece na ponta do cliente, isso posso afirmar pois a experiencia do usuario e nossos benchmarks mostram isso, entao acaba tornando o calculo mais simples.

E quanto a somar o total de transferencia e distribuir pela frequencia de requests? Seria tambem uma boa opcao? Qual delas entregaria o melhor resultado? Imagino que vou ver graficos bem parecidos.

Btw, fizemos o "install an configure" da vmware juntos em 2010. ;)


> 
> <ecfbjeeb.png>
> 
> Fernando Ulisses dos Santos 
> Tel.:(11) 4063-6985 / (19) 3551-3898 / (19) 9294-0556
> fernando at bluesolutions.com.br
> www.bluesolutions.com.br
> 
> Em 21-08-2013 19:33, Caio Zanolla escreveu:
>> Partindo da suposição de que eu só tenha os logs do webserver eu poderia
>> propor a seguinte abordagem para estimar a largura de banda necessária para
>> servir este conteudo?
>> 
>> Os logs tem datahora do request assim como total de bytes transferidos,
>> respectivamente as opcoes:
>> 
>> %B     Size of response in bytes, excluding HTTP headers
>> %t     Time the request was received
>> 
>> Transformando os horários para timestamp e gerando uma lista da seguinte
>> forma, onde a 1a coluna é o timestamp e a segunda os bytes transferidos
>> 
>> 1376881193 147853
>> 1376881193 164960
>> 1376881194 311109
>> 1376881195 123140
>> 1376881195 512384
>> 1376881196 385583
>> 1376881197 304439
>> 
>> Somando se os bytes dos request que ocorreram no mesmo segundo gerando uma
>> nova lista
>> 
>> 1376881193 312813
>> 1376881194 311109
>> 1376881195 635524
>> 1376881196 385583
>> 1376881197 304439
>> 
>> Posso afirmar que a banda necessária no segundo 1376881193 é de (312813*8)
>> ou aprox 2.5Mbits/s ?
>> 
>> Lembrando que no log não há indício de quanto tempo o conteudo demorou para
>> ser entregue, apenas que ele foi entregue, a hora em que foi entregue e o
>> tamanho do payload.
>> 
>> Ou seria mais interessante calcular o total de bytes transferidos por dia e
>> distribui-los pela frequencia de requests?
>> 
>> Existe alguma outra forma de estimar essa banda atraves desses logs?
>> 
>> 
>> Atenciosamente,
>> Caio
>> __
>> masoch-l list
>> https://eng.registro.br/mailman/listinfo/masoch-l
> 


More information about the masoch-l mailing list