[GTER] Roteador de borda

Mon Aug 25 13:35:06 -03 2014

O Companheiro de lista ( Provedor Bogus ), que recentemente está tendo 
problemas para responder, passou algumas informações interessantes, e 
pediu para encaminha-las.
Mais um caso "IMPRESSIONANTE", sim bem frisado, pois 11Gb/s não é pouco 
trafego.

Segue o E-mail do companheiro,

Paulo,

Me descadastrei da GTER acidentalmente e agora peço para me adicionar novamente e não consigo, enfim, já desisti. Então, as vezes respondo em privado.

Hoje estamos com 11 Gbps passando tranquilo na mesma máquina.

Fizemos apenas um upgrade no kernel do Linux para tratar melhor a questão de Buffer Bloat, mais por "cosmética" do que uma real necessidade.

Em horário de pico, ainda temos 65% de CPU livre.

Semana passada tivemos um ataque de 10 Gbps vindo pela Level3 e a máquina suportou numa boa.

Outra coisa que ninguém fala na lista, mas ter um roteador só é a mesma coisa que não ter nenhum. E se o Juniper/Cisco/Blackbox cair ?

A conta correta para o investimento e que pouca gente faz é que o necessário são 2 máquinas, sempre. Ter uma só máquina desempenhando um papel tão crítico na rede é dar sorte para o azar.

Não uso FreeBSD porque todas as tecnologias mais modernas da arquitetura da Intel (como RSS, DCA, etc) não são (ou não eram quando eu estava montando a máquina) suportadas. Gosto *muito* de FreeBSD, já programei dentro do kernel dele e é bem melhor documentado que o Linux, reconheço sua robustez e a preocupação dos desenvolvedores com performance e estabilidade. Nada contra. O servidor de arquivos e impressão nosso roda Windows (blergh).

Sinta-se a vontade pra compartilhar minha opinião na lista.

Att, Paulo Henrique.

Em 22/08/2014 13:49, Evandro Nunes escreveu:
> 2014-08-22 9:02 GMT-03:00 Paulo Henrique <paulo.rddck at bsd.com.br>:
>
>> Evandro Nunes, é o primeiro que falou que está passando 4Gbit/s sobre
>> soft-router.
>>
>>
> oi, aqui no norte paulista tem tem pelo menos mais 2 nessa taxa, um deles
> em 5
>
>
>> O maior até hoje que havia lido era o Provedor Bogus, com 2.5Gbit/s.
>>
>> Teria como informar mais detalhes do ambiente seu, procurei o ServerU L-800
>> para ver a config e não achei nada especifico, teria como disponibilizar
>> mais informações dele ?
>
> pois é um dia eles anunciam que a l800 existe rss
>
> a máquina é um 8x2.4Ghz "Rangeley" processador C2758, aquele que de acordo
> com os benchs gringos da mais performance que diversos Xeon, com 6 igb e
> 4GB RAM mas no meu caso tem 8GB RAM uma expansão 10Gbit/s também intel,
> ixgbe (intel 82598EB) todas as redes com adaptive interrupt por hardware
> num chip napatech NT10E sobre PCIe Gen3 (que é o mesmo chip que da os
> bypass Gen3 em todas interfaces), pra funcionar essa aceleração por
> hardware tive que pedir o driver pra eles, veio com um utility de bypass
> config que habilita o napatech, mas parece que o driver pra freebsd no site
> da napatech funciona também
>
> E quanto ao FreeBSD poderia colocar mais
>> informações de otimizações que foi feito nele.
>>
> cpu affinity nas irqs 251, 252, 253, 255, 248, 249, 257, 259 sendo quatro
> delas da porta 10Gb e os outros affinity em mais 4 portas 1Gbit, essas 4
> portas 2xlagg0 e 2xlagg1 pra NTT e Algar e 1x1Gbit no PTT-SP sem affinity e
> sem lagg, sem firewall, com Fast Forwarding (net.inet.ip.fastforwarding=1),
> sem bpf e sem bpf zerocopy sem icmp type 5 (net.inet.ip.redirect=0)
>
> nas interfaces de rede tenho RX e TX checksum alem de VLAN checksum ligados
> forçadamente e também vlan hwfilter que no freebsd as vezes vem ligado, as
> vezes desligado dependendo da placa, no meu caso ligado sempre
>
> tem alguns tunings sugeridos pelo pessoal que me vendeu a maquina que não
> sei o quanto faz diferença, mas tem, sao tudo de dev random alimentado pela
> rede desligado (harvest.ethernet=0, harvest.point2point=0,
> harvest.interrupt=0), isrdirect ligado isdirect always ligado e
> isr_maxqlen=2048.
>
> bgp com openbgp e ospf com bird
> agora eu faço uma coisa por sugestão do patrick (aprendi no treinamento
> f.a.r. patrickão seguem os créditos rss), que é instalar as rotas que eu
> realmente preciso na FIB
> o que eu quero dizer com isso? todos meus peers me mandam full routing do
> que eles tem: ptt, ntt, algar, mas eu filtro e não instalo todas as rotas
> na fib (não sou um colecionador de rotas que fica olhando a tabela rib e a
> fib diariamente e pensando "onde essa internet vai parar", rss) eu só
> instalo as rotas anunciadas dos AS que eu uso localpref, basicamente se não
> tenho localpref não deixo instalar na FIB, logicamente isso quer dizer que
> instalo PTT-SP inteiro, mas os demais não, então tipicamente o que tenho na
> fib são rotas dos as do google, fb, netflix, amazon, alguns embratel, e
> claro alguns com erros temporarios por um caminho que tenho que forçar
> saida por outro... o restante eu tenho 2 rotas default, algar e ntt e tudo
> sai por elas, com radix_path balanceando a saida e com o patch do PR
> kern/173477 que sei la por que, o freebsd ainda não colocou na base, esse
> patch fez os kernel hangs acabarem quando o bgp ou ospf desinstalam uma
> rota
>
> obs, a titulo de curiosidade mesmo !! :D
> pois é tenho bastante particularidades mas nada alien nem experimental
> nada de gpu por exemplo... que inclusive nem daria pra por uma geforce
> nessa l800 rsss
>
>
>> Att
>>
>>
>> Em 22 de agosto de 2014 02:16, Evandro Nunes <evandronunes12 at gmail.com>
>> escreveu:
>>
>>> 2014-08-20 8:25 GMT-03:00 Tales Rodarte <talesrodarte at gmail.com>:
>>>
>>>> Bom dia,
>>>>
>>>> Sei que é off-tropic mas não encontrei nada que se enquadrava no
>> procuro.
>>> não é off, ao contrário é um dos topicos mais frequentes e por isso tem
>>> muitas opinioes e boas discussoes ja na lista, eu opinei em uma recente
>>> então vou me repetir:
>>>
>>> aqui eu roteio 4Gbit/s com FreeBSD e um Netmap L-800 que o pessoal da
>>> serverU não divulga não sei por que mas eles tem o produto se ligar lá
>> eles
>>> falam, inclusive e um dos ativos que penso em sair de 220ac e ir para
>> 48dc
>>> que levantei na outra thread
>>>
>>> o custo total da solução é menos de 5k reais e atende perfeitamente
>> minhas
>>> taxas de roteamento, nela eu uso uma porta 10GbE elétrica que vai pro meu
>>> switch e penduro diversas VLAN nela mas não chego a rotear nem perto de
>>> 10Gb fico mesmo em 4 com picos de 4.5
>>> sobra CPU então acho que tenho margem pra crescer, antes eu tinha pensado
>>> em um cisco asr 1002 pra 5Gbit/s mas saia 4 vezes o valor, usado...
>>>
>>> acho que o limite do que você roteia com x86_64 é acima de 1Gbit/s com um
>>> custo muito bom, mas se chegar perto de 10Gb roteado (não conectado) ai
>>> talvez tenha que ir pra um equipamento mais específico
>>>
>>> FreeBSD+L800 são minhas recomendações pq é oq eu uso e me atende bem
>>>
>>> Estou pensando em migrar para uma Edge Router ou um server com VyOS ou
>>>> FreeBSD e se for o caso tentar uma solução mais cara como Juliper e
>>>> Cisco.
>>>>
>>>> O que os senhores acham das soluções acima ? O que me recomendam ?
>>>>
>>> FreeBSD sem dúvidas, dependendo de até onde você vai crescer eu acho que
>> é
>>> cedo demais pra um MX5 como tem sido recomendado; um MX5 custa 24k
>> dólares,
>>> la fora, trazendo de baixo do braço...(USD 10K usado), aqui os valores
>>> variam bastante mas você pode imaginar onde flutuam; eu sou daqueles que
>>> acreditam que x86+FreeBSD tem muito a oferecer antes de precisar ir pra
>> uma
>>> outra arquitetura, como disse acima; onde trabalho software livre é regra
>>> #1 e cada centavo de investimento precisa ser muito justificado
>>>
>>> eu ainda não encontrei justificativa pra não rotear bgp em x86 + software
>>> livre, mas como eu disse minha taxa é de 4Gbit/s roteados
>>> no passado ja roteei com quagga+centos (onde não quero mais voltar) e
>>> vyatta (maior parte dos bugs do quagga não existem) mas fiquei com
>> freebsd
>>> pois se comportou melhor
>>> sugiro que antes de investir dezenas de milhares de R$ que investigue uma
>>> opção FreeBSD
>>>
>>>
>>>> --
>>>> att,
>>>>
>>>> Tales Costa
>>>> --
>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>> --
>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>
>>
>>
>> --
>> :=)><(=:
>> Rip NoRm4nD.
>> Flamers > /dev/null !!!
>> --
>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>
> --
> gter list    https://eng.registro.br/mailman/listinfo/gter

-- 
Paulo Henrique.
Grupo de Usuários do FreeBSD no Brasil.
Fone: (21) 96713-5042