[GTER] Roteador de borda

Fri Aug 22 13:49:22 -03 2014

2014-08-22 9:02 GMT-03:00 Paulo Henrique <paulo.rddck at bsd.com.br>:

> Evandro Nunes, é o primeiro que falou que está passando 4Gbit/s sobre
> soft-router.
>
>
oi, aqui no norte paulista tem tem pelo menos mais 2 nessa taxa, um deles
em 5

> O maior até hoje que havia lido era o Provedor Bogus, com 2.5Gbit/s.
>
> Teria como informar mais detalhes do ambiente seu, procurei o ServerU L-800
> para ver a config e não achei nada especifico, teria como disponibilizar
> mais informações dele ?

pois é um dia eles anunciam que a l800 existe rss

a máquina é um 8x2.4Ghz "Rangeley" processador C2758, aquele que de acordo
com os benchs gringos da mais performance que diversos Xeon, com 6 igb e
4GB RAM mas no meu caso tem 8GB RAM uma expansão 10Gbit/s também intel,
ixgbe (intel 82598EB) todas as redes com adaptive interrupt por hardware
num chip napatech NT10E sobre PCIe Gen3 (que é o mesmo chip que da os
bypass Gen3 em todas interfaces), pra funcionar essa aceleração por
hardware tive que pedir o driver pra eles, veio com um utility de bypass
config que habilita o napatech, mas parece que o driver pra freebsd no site
da napatech funciona também

E quanto ao FreeBSD poderia colocar mais
> informações de otimizações que foi feito nele.
>

cpu affinity nas irqs 251, 252, 253, 255, 248, 249, 257, 259 sendo quatro
delas da porta 10Gb e os outros affinity em mais 4 portas 1Gbit, essas 4
portas 2xlagg0 e 2xlagg1 pra NTT e Algar e 1x1Gbit no PTT-SP sem affinity e
sem lagg, sem firewall, com Fast Forwarding (net.inet.ip.fastforwarding=1),
sem bpf e sem bpf zerocopy sem icmp type 5 (net.inet.ip.redirect=0)

nas interfaces de rede tenho RX e TX checksum alem de VLAN checksum ligados
forçadamente e também vlan hwfilter que no freebsd as vezes vem ligado, as
vezes desligado dependendo da placa, no meu caso ligado sempre

tem alguns tunings sugeridos pelo pessoal que me vendeu a maquina que não
sei o quanto faz diferença, mas tem, sao tudo de dev random alimentado pela
rede desligado (harvest.ethernet=0, harvest.point2point=0,
harvest.interrupt=0), isrdirect ligado isdirect always ligado e
isr_maxqlen=2048.

bgp com openbgp e ospf com bird
agora eu faço uma coisa por sugestão do patrick (aprendi no treinamento
f.a.r. patrickão seguem os créditos rss), que é instalar as rotas que eu
realmente preciso na FIB
o que eu quero dizer com isso? todos meus peers me mandam full routing do
que eles tem: ptt, ntt, algar, mas eu filtro e não instalo todas as rotas
na fib (não sou um colecionador de rotas que fica olhando a tabela rib e a
fib diariamente e pensando "onde essa internet vai parar", rss) eu só
instalo as rotas anunciadas dos AS que eu uso localpref, basicamente se não
tenho localpref não deixo instalar na FIB, logicamente isso quer dizer que
instalo PTT-SP inteiro, mas os demais não, então tipicamente o que tenho na
fib são rotas dos as do google, fb, netflix, amazon, alguns embratel, e
claro alguns com erros temporarios por um caminho que tenho que forçar
saida por outro... o restante eu tenho 2 rotas default, algar e ntt e tudo
sai por elas, com radix_path balanceando a saida e com o patch do PR
kern/173477 que sei la por que, o freebsd ainda não colocou na base, esse
patch fez os kernel hangs acabarem quando o bgp ou ospf desinstalam uma
rota

obs, a titulo de curiosidade mesmo !! :D
>

pois é tenho bastante particularidades mas nada alien nem experimental
nada de gpu por exemplo... que inclusive nem daria pra por uma geforce
nessa l800 rsss

> Att
>
>
> Em 22 de agosto de 2014 02:16, Evandro Nunes <evandronunes12 at gmail.com>
> escreveu:
>
> > 2014-08-20 8:25 GMT-03:00 Tales Rodarte <talesrodarte at gmail.com>:
> >
> > > Bom dia,
> > >
> > > Sei que é off-tropic mas não encontrei nada que se enquadrava no
> procuro.
> > >
> >
> > não é off, ao contrário é um dos topicos mais frequentes e por isso tem
> > muitas opinioes e boas discussoes ja na lista, eu opinei em uma recente
> > então vou me repetir:
> >
> > aqui eu roteio 4Gbit/s com FreeBSD e um Netmap L-800 que o pessoal da
> > serverU não divulga não sei por que mas eles tem o produto se ligar lá
> eles
> > falam, inclusive e um dos ativos que penso em sair de 220ac e ir para
> 48dc
> > que levantei na outra thread
> >
> > o custo total da solução é menos de 5k reais e atende perfeitamente
> minhas
> > taxas de roteamento, nela eu uso uma porta 10GbE elétrica que vai pro meu
> > switch e penduro diversas VLAN nela mas não chego a rotear nem perto de
> > 10Gb fico mesmo em 4 com picos de 4.5
> > sobra CPU então acho que tenho margem pra crescer, antes eu tinha pensado
> > em um cisco asr 1002 pra 5Gbit/s mas saia 4 vezes o valor, usado...
> >
> > acho que o limite do que você roteia com x86_64 é acima de 1Gbit/s com um
> > custo muito bom, mas se chegar perto de 10Gb roteado (não conectado) ai
> > talvez tenha que ir pra um equipamento mais específico
> >
> > FreeBSD+L800 são minhas recomendações pq é oq eu uso e me atende bem
> >
> > Estou pensando em migrar para uma Edge Router ou um server com VyOS ou
> > > FreeBSD e se for o caso tentar uma solução mais cara como Juliper e
> > > Cisco.
> > >
> > > O que os senhores acham das soluções acima ? O que me recomendam ?
> > >
> >
> > FreeBSD sem dúvidas, dependendo de até onde você vai crescer eu acho que
> é
> > cedo demais pra um MX5 como tem sido recomendado; um MX5 custa 24k
> dólares,
> > la fora, trazendo de baixo do braço...(USD 10K usado), aqui os valores
> > variam bastante mas você pode imaginar onde flutuam; eu sou daqueles que
> > acreditam que x86+FreeBSD tem muito a oferecer antes de precisar ir pra
> uma
> > outra arquitetura, como disse acima; onde trabalho software livre é regra
> > #1 e cada centavo de investimento precisa ser muito justificado
> >
> > eu ainda não encontrei justificativa pra não rotear bgp em x86 + software
> > livre, mas como eu disse minha taxa é de 4Gbit/s roteados
> > no passado ja roteei com quagga+centos (onde não quero mais voltar) e
> > vyatta (maior parte dos bugs do quagga não existem) mas fiquei com
> freebsd
> > pois se comportou melhor
> > sugiro que antes de investir dezenas de milhares de R$ que investigue uma
> > opção FreeBSD
> >
> >
> > > --
> > > att,
> > >
> > > Tales Costa
> > > --
> > > gter list    https://eng.registro.br/mailman/listinfo/gter
> > --
> > gter list    https://eng.registro.br/mailman/listinfo/gter
> >
>
>
>
> --
> :=)><(=:
> Rip NoRm4nD.
> Flamers > /dev/null !!!
> --
> gter list    https://eng.registro.br/mailman/listinfo/gter
>