[GTER] Monitor ARP SNMP Agent

[Andre Sencioles]

O Daniel Griggs da NZRS apresentou sobre uma solução que eles desenvolveram
para um cenário similar.

No caso, eles estão coletando estatísticas sobre consultas de DNS:
https://www.youtube.com/watch?v=yYSZ76SbwAo

Basicamente, eles estão usando o PacketQ para analizar os PCAPs e o
ClickHouse para armazenar as estatísticas:
https://www.dns-oarc.net/tools/packetq
https://clickhouse.yandex/


Estou utilizando o ClickHouse para armazenar flows e a performance
realmente é excepcional!

SELECT

    'XXX' AS DstOrganization,

    SUM(Packets) AS Packets,

    SUM(Bytes) AS Bytes

FROM netflow

WHERE Date = '2018-04-18'

GROUP BY DestinationOrganization

ORDER BY Bytes DESC

LIMIT 10


┌─DstOrganization─┬────Packets─┬─────────Bytes─┐

│ XXX             │ 9969404842 │ 8985498119032 │

│ XXX             │  598157705 │  891555682696 │

│ XXX             │ 1002296891 │  651289641045 │

│ XXX             │  399103885 │  592708903264 │

│ XXX             │  284839644 │  419873768303 │

│ XXX             │  680051619 │  386953764833 │

│ XXX             │  355822625 │  351900742105 │

│ XXX             │  444417485 │  339935224265 │

│ XXX             │  190294796 │  271402977231 │

│ XXX             │  202018918 │  181171953639 │

└─────────────────┴────────────┴───────────────┘


10 rows in set. Elapsed: 3.629 sec. Processed 334.49 million rows, 15.00 GB
(92.18 million rows/s., 4.14 GB/s.)


Abs,
Andre


2018-04-19 5:42 GMT+12:00 Douglas Fischer <fischerdouglas at gmail.com>:

> Estou trabalhando numa ferramenta para coletar e medir pacotes ARP em um
> segmento de rede.
> (advinhem para que!)
>
>
> Já fiz algumas evoluções. Mas como desenvolvedor, sou um ótimo cozinheiro.
> Eu estava tomando um rumo bem grotesco, voltado bash e a arquivos texto.
> E já de cara percebi que esse caminho é pouco escalável e pouco adequado.
>
>
> Minha ideia é criar um mecanismo que alimente MIBs SNMP para que essas
> informações possam se coletadas por qualquer monitor de rede padrão de
> mercado.
>
>
> Apesar de ser um programador medíocre, estou bem disposto a fazer esse
> projeto decolar.
> E estou precisando de tutoria nessa tarefa.
>
> Alguma boa alma com paciência para dar o caminho das pedras nessa tarefa?
>
>
>
>
> P.S.: Eu fiz algumas pesquisas e não encontrei algo que se enquadre com o
> que estou procurando.
>       Mas se alguém perceber que estou reinventando a roda, estou aberto a
> sugestões.
>
>
> --
> Douglas Fernando Fischer
> Engº de Controle e Automação
> --
> gter list    https://eng.registro.br/mailman/listinfo/gter
>