[GTER] Servidor de LOG ISP

[Marcelo Gondim]

Em 18/11/2018 23:03, André Carlim escreveu:
> Hehehe. O Gondim pegou meu script (claro, como minha autorização) e deu uma "ajeitada", e "meteu no laço" lá na rede dele!

Isso mesmo kkkkk virou script private hahaHaHaHaHahaha umas mexidas e 
ficou 1000%  :D  imagina ter que gerar 20.000 regras iptables 
manualmente. Seria absurdamente inviável.

Ficou numa estrutura bem legal:

(root at cgnat-saq)[~/cgnat]# l
total 2152
drwxr-xr-x 2 root   4096 out 18 14:35 .
drwx------ 5 root   4096 nov 14 18:19 ..
-rw-r--r-- 1 root 431326 set 27 21:39 cgnat-mk2.conf
-rw-r--r-- 1 root 433996 set 27 21:44 cgnat-mk3.conf
-rw-r--r-- 1 root 875468 set 27 21:52 cgnat-mk4.conf
-rw-r--r-- 1 root 442540 set 27 21:58 cgnat-mk5.conf
-rwx------ 1 root   2189 out  5 16:42 frw.sh

O frw.sh tem as regras raiz e cada arquivo conf tem as regras de cada 
caixa PPPoE separadamente.


>
> Eu fiz isso a tempos já, desde quando nem se era tão necessário assim o CGN e desde lá venho "lapidando" o modo como o script trabalha, uma grande sacada que ajudou muito em casos de grande volume de trânsito foi o BBR (algoritmo de que trata o congestionamento de pacotes no kernel, se não me engano é contribuição do Google), melhorou muito a experiência de uso e o consumo de CPU.
>
> Já tem casos rodando com bons servidores, até fora do país, que eu implementei, rodando mais de 16Gbps de downsteam em CGN.
>
> On 14 de novembro de 2018 18:01:20 BRST, Marcelo Gondim <gondim at bsdinfo.com.br> wrote:
>> Em 14/11/2018 17:01, Douglas Fischer escreveu:
>>> Realmente o NAT predefined (determinístico) não tem necessidade de
>> log do
>>> NAT.
>>>
>>> Mas do ponto de vista da qualidade de navegação o BPA é muito mais
>>> confortável.
>>>
>>> E o log do BPA fica muito menor do que o log um-a-um.
>>>
>>>
>>>
>>> Fiquei curioso sobre como fez esse NAT.
>>> Iptables direto mesmo ou usou open-vswitch?
>> Só iptables mesmo e muita regra rodando mas fica bem leve. Só demora à
>> carregar as regras porque realmente são muitas.  :)
>>
>> Salvei umas imagens aqui pra vocês verem:
>>
>> https://drive.google.com/drive/folders/13YV9UXsfdS5rBf_7dZyM7akvXH6LoxSJ
>>
>> Não tem todos os recursos floridos do A10 mas funciona muito bem aqui
>> pra gente rsrsrsrs e por um preço que cabe no bolso.
>>
>>>
>>>
>>> Uma coisa bem legal de se usar IPoE é que você consegue entregar rota
>>> estatica pelo DHCP.
>>> Então rotas "internas", isentas de NAT, o próprio CPE faz esse desvio
>> com
>>> PBR.
>>>
>>> Em qua, 14 de nov de 2018 15:24, Marcelo Gondim
>> <gondim at bsdinfo.com.br
>>> escreveu:
>>>
>>>> Em 13/11/2018 11:53, Soares escreveu:
>>>>> Senhores
>>>>>
>>>>> Estamos procurando uma solução de armazenar Log de acesso ISP.
>>>>>
>>>>> O que os senhores usa como soluções para armazenamentos
>>>>>
>>>>> Hoje temos uma media de 20 mil cliente online em horário de pico.
>>>>>
>>>>> --
>>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>> Olá se o seu objetivo é ter os logs para apresentar à justiça, basta
>>>> fazer um CGNAT bem configurado que você consegue isso usando os logs
>> do
>>>> radius, sem problema algum.
>>>>
>>>> Aqui todo o meu CGNAT é feito em uma caixa que montei pra isso. Nela
>>>> tenho interfaces de 10GbE Intel X520-SR2, Debian com kernel 4.18,
>> uns
>>>> tunings básicos e um script CGNAT com regras iptables bem boladas
>> para
>>>> não pesar no sistema e fazer o que se propõe.
>>>>
>>>> As caixas PPPoE aqui não fazem nenhum tipo de NAT. Recebem IPs
>> públicos
>>>> IPv4, blocos CGNAT (100.64.0.0/10) e IPv6. Toda a rede 100.64.0.0/10
>>>> jogo para a caixa CGNAT via PBR (Policy Based Routing), o que for
>> IPv6 e
>>>> IPv4 público segue pra frente. Fica bem legal e dá pra identificar
>> todo
>>>> mundo do CGNAT. Uma caixa dessa aqui tem tráfego de 2Gbps e load
>> baixo