[GTER] Router para 100 gbps

[Willian Pires de Souza]

Feliz que tenha mais gente nessa,

O nosso route-reflector começou quando usávamos "open-bgpd" e um dia ele "gorfou", até porque 1 caixa fazia tudo suntuosos 8Gb/s.

RIB e FIB realmente a caixa ficava muito pesada, quando o trafego estava alto e um "upstreamer" voava rolava uma 'race condition" mesmo
e Forward atrapalhava BGP e vice versa bem ai aproveitamos um 6500 que tínhamos parado para ser o roteador de borda, sabe como é velharias em 10Gb.

E o "openbgp" para ser o route-reflector e funcionou bem, regras organizadas tudo via community na borda, ai colocamo um  7600 para o PTT
e foi tranquilo, nossa rede não era MPLS então a reflexão de rotas no backbone garantia que poderíamos usar todos os
caminhos possíveis para rede IP.

Tudo lindo ate que nos demos conta que um cisco 3845 com 1,5Gb de ram roda tranquilamente como route-reflector alem de uma sintaxe bem
conhecida e de fácil assimilação para os analistas de nível 1 e 2 diga-se de passagem limitada por falta do agrupamento de condicionais mas robusta
o suficiente uma vez que evitamos o "continue" a todo custo a coisa fica bem controlada, colocamos em pontos distintos da rede, re até o momento nos
serve bem o maior problema é mesmo atualizar uma lista de 100 clientes quando mais de 100 mil rotas são mudadas.

Bem a rede continuou crescendo nesse ultimo ano, não tem jeito, nosso projeto é Bird com processadores e5-2650 64Gb de ram e múltiplas instancias:

Cliente:
1 instancia para cliente: Customer --> onde os clientes enviam os prefixos e recebem.
1 instancia para o RTHB-Blackhole --> anuncia nas listas de blackhole, e nos blackholes das operadoras, e caso assuma uma determinada tag 1:667 bloqueia inclusive nos switches do backbone.

Backbone:
1 instancia para o switch L3 onde o cliente está --> cada cliente recebe uma community cada ponto onde o cliente esta conectado recebe uma community que é refletida depois no IGP(OSPF) dessa caixa.
1 instancia que faz o trabalho sujo de olhar para fora e valida se não tem nada mais especifico para dos ASN dos clientes afim de não entregar algo local que esta remoto.

Basicamente isso garante noites lindas e tranquilas de sono, alguma automação com relação a telas bonitinhas e arquivos de configuração muito padronizado, seguinte a regra do E=MC² ERROR = (More Configurations ^ 2),
a gente fica com algo semelhante a 1 único roteador grande de varias portas.

Mais algumas coisas que eu pessoalmente gosto, é null route rfc1918/CGnat em todos os elementos L3 conectados no backbone, sem exceção, fastnetmon capturando o trafego da borda em tempo real e anunciando os
não fortuitos com alguma velocidade.

Hoje nossa rede  é toda MPLS mesmo assim nos apoiamos fortemente sobre IP/IGP pois o balanceamento de pacotes em pontos que não tem PWFAT ainda  é uma verdade, mesmo com equipamento Huawei a preços muito
acessíveis ainda  é uma questão de tempo fazer e garantir o funcionamento.

Espero que isso seja de ajuda para você não é uma regra nem um verdade absoluta mas é o resultado de 15 anos teste e erro, uma coisa não aceite operadoras que não te passam communitys de TE e BH.

Sua vida não tem como ficar fácil com esses caras.

Abraço.


________________________________
De: gter <gter-bounces at eng.registro.br> em nome de Andre Bolzan <andre.bolzan at fixfibra.com.br>
Enviado: terça-feira, 6 de outubro de 2020 09:38
Para: Grupo de Trabalho de Engenharia e Operacao de Redes <gter at eng.registro.br>
Assunto: Re: [GTER] Router para 100 gbps

Receita do Willina é muito boa...

Eu era reticente em usar route-reflect... Mas a rede cresceu e agora vejo
que realmente faz sentido ...


Em ter., 6 de out. de 2020 às 09:24, Willian Pires de Souza <
willian_pires at hotmail.com> escreveu:

> Boa tarde,
>
> 1x - NE40 M2K-B   6X 100GB
> 2x - S6730 - 48X 10Gb e 6x100Gb
>
> Uso essa receitinha de bolo para bem mais de 60Gb, muito tranquilo.
>
> Adicionalmente utilize um route-reflector ao invés de fechar os clientes
> diretamente no router, alem de menos configurações no router a
> flexibilidade
> de manter configurações de core e customers separadas.
>
>
>
>
>
> ________________________________
> De: gter <gter-bounces at eng.registro.br> em nome de Alexandre C. Fonceca <
> alexandre at specialist.srv.br>
> Enviado: sexta-feira, 2 de outubro de 2020 18:00
> Para: Grupo de Trabalho de Engenharia e Operacao de Redes <
> gter at eng.registro.br>
> Assunto: [GTER] Router para 100 gbps
>
> Para tarde srs,
>
> Atualmente tenho um linux com FRR (bem "tunado") rodando muito bem o BGP
> com media de 5 gbps com alguns picos perto de 7 gbps (sendo 3 transitos
> full route e 1 ix-sp).
>
> A diretoria estah pensando em ampliar para portas 40G e até 100G, uma
> vez que temos alguns projetos de ampliação que irá demandar banda (muita).
>
> Como o atual server está perto do limite de CPU, mesmo com afinidade,
> com kernel específico e feito tunning nele, a única coisa que nao fiz
> ainda seria usar o VPP (DPDK) junto ao FRR para que o forward dos
> pacotes ocorram em outra camana, mais simplificada, gerando uma
> performance maior, acho que o ganho com o VPP nao bastaria aqui,
> precisando investir em novo hardware.
>
> Se for gastar em novo hardware, queria ver outras opções, router cisco?
> juniper?
>
> qual que vcs usam? e qual modelo? para interfaces de pelo menos de 40G...
>
> Abraços,
>
>
>
> --
> gter list
> https://nam12.safelinks.protection.outlook.com/?url=https%3A%2F%2Feng.registro.br%2Fmailman%2Flistinfo%2Fgter&data=02%7C01%7C%7C1b65f6976ca949b3376408d869f4dc89%7C84df9e7fe9f640afb435aaaaaaaaaaaa%7C1%7C0%7C637375847674893240&sdata=kxCu1TK3U3Qfk9gvFUV9QLR4kJZkpZQq1edSZpX1NDk%3D&reserved=0
> --
> gter list    https://nam12.safelinks.protection.outlook.com/?url=https%3A%2F%2Feng.registro.br%2Fmailman%2Flistinfo%2Fgter&data=02%7C01%7C%7C1b65f6976ca949b3376408d869f4dc89%7C84df9e7fe9f640afb435aaaaaaaaaaaa%7C1%7C0%7C637375847674903235&sdata=H%2FUb32MWQ6Vw4rUSsoR2o4H3eCNF5EV5fuHozgAs75s%3D&reserved=0
>


--

*André Bolzan Saar*
*Andre.Bolzan at FIXFIBRA.com.br <Andre.Bolzan at FIXFIBRA.com.br>*
**55 11 98205-7742*
--
gter list    https://nam12.safelinks.protection.outlook.com/?url=https%3A%2F%2Feng.registro.br%2Fmailman%2Flistinfo%2Fgter&data=02%7C01%7C%7C1b65f6976ca949b3376408d869f4dc89%7C84df9e7fe9f640afb435aaaaaaaaaaaa%7C1%7C0%7C637375847674903235&sdata=H%2FUb32MWQ6Vw4rUSsoR2o4H3eCNF5EV5fuHozgAs75s%3D&reserved=0