[GTER] Monitoramento Real-Time de links WAN

[Livio Zanol Puppim]

Olá,

Primeiro gostaria de falar que eu estava errado, verifiquei no trabalho que
os OIDs são atualizados de um em um segundo, possibilitando assim um
monitoramento literalmente em tempo real com uma precisão de 1 segundo, irei
editar a minha página em PHP para possibilitar a geração do gráfico para um
endereço IP e uma interface passada como parametro e disponibilizo para
voce.

Em relação ao script:
Estou em casa e o script está no trabalho... :( Quando puder, te mandarei
algumas partes para voce ter idéia de como foi feito.

Ele não funciona com pequenos intervalos de tempo, e nem em tempo real,
somente gera dados de 5 em 5 minutos, porém não creio que seja dificil
adequá-lo para a sua necessidade.

Funciona da seguinte forma:
Deve-se iniciar o iptraf, com a opção de log ativada apontando para um
arquivo específico. Depois coloca-se o script para rodar no cron de 5 em 5
minutos. O script ao ser chamado executa a rotatividade do log do iptraf,
jogando o log atual para um arquivo temporário a ser processado pelo script,
e o log propriamente dito é limpo.

O script le o arquivo linha por linha e utilizando a função preg_match,
encontra os padrões desejados na separação dos dados (Depois explico melhor
o padrão e as linhas).

Afim de se determinar a origem e o destino do tráfego, são levadas em
consideração duas coisas:
        - Range de IPs clientes (nossa empresa permite isto, pois somente
provemos o serviço, e *teoricamente*, sempre somos o destino).
        - Portas abaixo de 1024, e definidas por parametro para o script,
que determinam portas de serviço. Ex.: 1025,1026,3389 (windows :().

Após determinada a origem e o destino do tráfego o script grava os bytes
passantes em um vetor(demanda bastante memória dependendo do tráfego
passante) que é atualizado a medida que mais tráfegos são identificados.

Depois de ler o arquivo inteiro, o vetor é percorrido, os arquivos RRDs não
existentes são criados e atualizados, e os existentes são atualizados. Na
nossa aplicação específica criamos os seguintes arquivos:

- (ip_origem)_(ip_destino)-porta-protocolo.rrd
- (ip_origem).rrd
- (ip_destino)-porta-protocolo.rrd
- porta-protocolo.rrd
- protocolo.rrd
- DESCONHECIDO(ip_origem)_(ip_destino)-porta-protocolo.rrd (tráfego
desconhecido pelo script, as duas portas não estão identificadas como portas
de serviço)
- INVERSO(ip_origem)_(ip_destino)-porta-protocolo.rrd (o tráfego está saindo
de nossa rede indo endireção ao cliente)
- OUTROS (outros tráfegos identificados)

Além destes arquivos, ainda há os arquivos de endereços de multicast, os de
ICMP e outros que não me recordo.

Bom, depois eu mostro como é o script certinho, porém adianto logo que é bem
pesadinho.

[]'s
Lívio Zanol Puppim


Em 27/11/07, Rafael Carlece Serrato <rafael.serrato at nware.com.br> escreveu:
>
> Olá Lívio..
>
> este script (IPtraf + RRD) para ver o que gera o tráfego
>
> achei interessante... como fez? poderia disponibilizar ou dar umas
>
> dicas...
>
> Att.
>
> Rafael Carlece Serrato
> rafael.serrato at nware.com.br
>
> Livio Zanol Puppim escreveu:
> > Rafael,
> >
> > Voce precisa de dados de utilização do link? Ou precisa de alguma
> > informação mais "adentro", como "o que gerou este tráfego"? Aqui na
> > empresa nós usamos o RRDTool para fazer gráficos em tempo real com uma
> > página em PHP e requisição AJAX. O problema é que os OIDs de alguns
> > routers somente são atualizados de 10 em 10 segundos (isso num huawei,
> > não cheguei a ver nos ciscos que tem) o que faz com que o monitoramento
> > abaixo deste intervalo de tempo se torne algo inpreciso, com rajadas que
> > não representam a real utilização do link.
> >
> > O RRDTool é geralmente usado com a atualização de 5 em 5 minutos, ele
> > pega a diferença entre o último número e o número coletado atualmente, e
> > calcula a média de utilização neste intervalo. Porém, voce pode
> > utilizalo com qualquer intervalo que desejar.
> >
> > Para gerar dados qualitativos, nós tinhamos desenvolvido um script em
> > PHP que utiliza o IPTraf + RRDTool e separa cada um dos tipos de tráfego
> > em arquivos RRDs diferente, gerando gráficos para cada um dos fluxos de
> > tráfegos diferentes. É uma solução um pouco pesada, tendo em vista o
> > número de arquivos RRDs gerados.
> >
> > Qualquer uma das duas soluções vai impactar de uma certa forma a
> > performance do servidor de monitoramento. Por isso estas ferramentas só
> > são utilizadas aqui na emrpesa para fins de troubleshoot.
> >
> > []'s
> > Lívio Zanol Puppim
> >
> >
> > Em 21/11/07, *Rafael Carlece Serrato* <rafael.serrato at nware.com.br
> > <mailto:rafael.serrato at nware.com.br>> escreveu:
> >
> >     Para monitoramento de links, switchs, routers, servers, e tudo mais
> >
> >     eu tenho utilizado zabbix ( http://www.zabbix.com) e recomendo...
> >
> >     muito completo, flexível e fácil de utilizar...
> >
> >     interessante tb q pode deixar uma máquina "burra" passando gráficos,
> >
> >     como telões em data centers...
> >
> >     sem contar q já vem com vários templates de itens para
> monitoramento...
> >
> >     a comunidade contribui bastante..
> >
> >     dá uma olhada lá e veja se atende sua necessidade...
> >
> >     Julio Arruda escreveu:
> >      > Pelo que me recordo, os routers IOS 'normalmente' enviam
> >     informacao de
> >      > netflow no minimo em intervalos de 1 minuto para flows ativos e
> 10
> >      > segundos para inativos, portanto, mais granularidade do que isto
> >     vai ser
> >      > complicado.
> >      >
> >      >
> >      > Guilherme Silvestri wrote:
> >      >> Cara, aqui onde trabalho utilizamos o NTOP junto com MySQL (para
> >     fazer
> >      >> comparativos), nao temos do que reclamar, sinceramente, ainda
> >     estou para ver
> >      >> uma ferramenta tao boa e leve com o NTOP
> >      >>
> >      >> Em 09/11/07, Rafael Ganascim <rganascim at gmail.com
> >     <mailto:rganascim at gmail.com>> escreveu:
> >      >>> Boa tarde a todos,
> >      >>>
> >      >>> Estou estudando algumas alternativas para monitoramento em
> >     tempo real
> >      >>> (a cada 5 seg) para links WAN. Este baixo tempo é porque o
> >     tráfego que
> >      >>> passa por estes links funciona por rajadas de poucos segundos,
> >     e, nos
> >      >>> atuais monitoramentos (que pegam informações a cada 5min, 1min
> >     e até
> >      >>> 30s) perco estas informações dos pequenos picos......
> >      >>>
> >      >>> Estou analizando algumas ferramentas, como o Netflow analizer
> (e
> >      >>> algumas outras flow based), ntop e gostaria de contar com a
> >     opinião da
> >      >>> lista sobre quais as melhores para este monitoramento, se
> alguém já
> >      >>> passou por isto, se conhece outros meios/ferramentas, etc.....
> >      >
> >      > --
> >      > gter list     https://eng.registro.br/mailman/listinfo/gter
> >     --
> >     gter list    https://eng.registro.br/mailman/listinfo/gter
> >
> >
>