[GTER] Roteador de borda

Mon Aug 25 17:47:01 -03 2014

Qual linux?

Elizandro

On 25-08-2014 13:35, Paulo Henrique - BSDs Brasil wrote:
> O Companheiro de lista ( Provedor Bogus ), que recentemente está tendo 
> problemas para responder, passou algumas informações interessantes, e 
> pediu para encaminha-las.
> Mais um caso "IMPRESSIONANTE", sim bem frisado, pois 11Gb/s não é 
> pouco trafego.
>
> Segue o E-mail do companheiro,
>
> Paulo,
>
> Me descadastrei da GTER acidentalmente e agora peço para me adicionar 
> novamente e não consigo, enfim, já desisti. Então, as vezes respondo 
> em privado.
>
> Hoje estamos com 11 Gbps passando tranquilo na mesma máquina.
>
> Fizemos apenas um upgrade no kernel do Linux para tratar melhor a 
> questão de Buffer Bloat, mais por "cosmética" do que uma real 
> necessidade.
>
> Em horário de pico, ainda temos 65% de CPU livre.
>
> Semana passada tivemos um ataque de 10 Gbps vindo pela Level3 e a 
> máquina suportou numa boa.
>
> Outra coisa que ninguém fala na lista, mas ter um roteador só é a 
> mesma coisa que não ter nenhum. E se o Juniper/Cisco/Blackbox cair ?
>
> A conta correta para o investimento e que pouca gente faz é que o 
> necessário são 2 máquinas, sempre. Ter uma só máquina desempenhando um 
> papel tão crítico na rede é dar sorte para o azar.
>
> Não uso FreeBSD porque todas as tecnologias mais modernas da 
> arquitetura da Intel (como RSS, DCA, etc) não são (ou não eram quando 
> eu estava montando a máquina) suportadas. Gosto *muito* de FreeBSD, já 
> programei dentro do kernel dele e é bem melhor documentado que o 
> Linux, reconheço sua robustez e a preocupação dos desenvolvedores com 
> performance e estabilidade. Nada contra. O servidor de arquivos e 
> impressão nosso roda Windows (blergh).
>
> Sinta-se a vontade pra compartilhar minha opinião na lista.
>
> Att, Paulo Henrique.
>
>
> Em 22/08/2014 13:49, Evandro Nunes escreveu:
>> 2014-08-22 9:02 GMT-03:00 Paulo Henrique <paulo.rddck at bsd.com.br>:
>>
>>> Evandro Nunes, é o primeiro que falou que está passando 4Gbit/s sobre
>>> soft-router.
>>>
>>>
>> oi, aqui no norte paulista tem tem pelo menos mais 2 nessa taxa, um 
>> deles
>> em 5
>>
>>
>>> O maior até hoje que havia lido era o Provedor Bogus, com 2.5Gbit/s.
>>>
>>> Teria como informar mais detalhes do ambiente seu, procurei o 
>>> ServerU L-800
>>> para ver a config e não achei nada especifico, teria como 
>>> disponibilizar
>>> mais informações dele ?
>>
>> pois é um dia eles anunciam que a l800 existe rss
>>
>> a máquina é um 8x2.4Ghz "Rangeley" processador C2758, aquele que de 
>> acordo
>> com os benchs gringos da mais performance que diversos Xeon, com 6 igb e
>> 4GB RAM mas no meu caso tem 8GB RAM uma expansão 10Gbit/s também intel,
>> ixgbe (intel 82598EB) todas as redes com adaptive interrupt por hardware
>> num chip napatech NT10E sobre PCIe Gen3 (que é o mesmo chip que da os
>> bypass Gen3 em todas interfaces), pra funcionar essa aceleração por
>> hardware tive que pedir o driver pra eles, veio com um utility de bypass
>> config que habilita o napatech, mas parece que o driver pra freebsd 
>> no site
>> da napatech funciona também
>>
>> E quanto ao FreeBSD poderia colocar mais
>>> informações de otimizações que foi feito nele.
>>>
>> cpu affinity nas irqs 251, 252, 253, 255, 248, 249, 257, 259 sendo 
>> quatro
>> delas da porta 10Gb e os outros affinity em mais 4 portas 1Gbit, essas 4
>> portas 2xlagg0 e 2xlagg1 pra NTT e Algar e 1x1Gbit no PTT-SP sem 
>> affinity e
>> sem lagg, sem firewall, com Fast Forwarding 
>> (net.inet.ip.fastforwarding=1),
>> sem bpf e sem bpf zerocopy sem icmp type 5 (net.inet.ip.redirect=0)
>>
>> nas interfaces de rede tenho RX e TX checksum alem de VLAN checksum 
>> ligados
>> forçadamente e também vlan hwfilter que no freebsd as vezes vem 
>> ligado, as
>> vezes desligado dependendo da placa, no meu caso ligado sempre
>>
>> tem alguns tunings sugeridos pelo pessoal que me vendeu a maquina que 
>> não
>> sei o quanto faz diferença, mas tem, sao tudo de dev random 
>> alimentado pela
>> rede desligado (harvest.ethernet=0, harvest.point2point=0,
>> harvest.interrupt=0), isrdirect ligado isdirect always ligado e
>> isr_maxqlen=2048.
>>
>> bgp com openbgp e ospf com bird
>> agora eu faço uma coisa por sugestão do patrick (aprendi no treinamento
>> f.a.r. patrickão seguem os créditos rss), que é instalar as rotas que eu
>> realmente preciso na FIB
>> o que eu quero dizer com isso? todos meus peers me mandam full 
>> routing do
>> que eles tem: ptt, ntt, algar, mas eu filtro e não instalo todas as 
>> rotas
>> na fib (não sou um colecionador de rotas que fica olhando a tabela 
>> rib e a
>> fib diariamente e pensando "onde essa internet vai parar", rss) eu só
>> instalo as rotas anunciadas dos AS que eu uso localpref, basicamente 
>> se não
>> tenho localpref não deixo instalar na FIB, logicamente isso quer 
>> dizer que
>> instalo PTT-SP inteiro, mas os demais não, então tipicamente o que 
>> tenho na
>> fib são rotas dos as do google, fb, netflix, amazon, alguns embratel, e
>> claro alguns com erros temporarios por um caminho que tenho que forçar
>> saida por outro... o restante eu tenho 2 rotas default, algar e ntt e 
>> tudo
>> sai por elas, com radix_path balanceando a saida e com o patch do PR
>> kern/173477 que sei la por que, o freebsd ainda não colocou na base, 
>> esse
>> patch fez os kernel hangs acabarem quando o bgp ou ospf desinstalam uma
>> rota
>>
>> obs, a titulo de curiosidade mesmo !! :D
>> pois é tenho bastante particularidades mas nada alien nem experimental
>> nada de gpu por exemplo... que inclusive nem daria pra por uma geforce
>> nessa l800 rsss
>>
>>
>>> Att
>>>
>>>
>>> Em 22 de agosto de 2014 02:16, Evandro Nunes <evandronunes12 at gmail.com>
>>> escreveu:
>>>
>>>> 2014-08-20 8:25 GMT-03:00 Tales Rodarte <talesrodarte at gmail.com>:
>>>>
>>>>> Bom dia,
>>>>>
>>>>> Sei que é off-tropic mas não encontrei nada que se enquadrava no
>>> procuro.
>>>> não é off, ao contrário é um dos topicos mais frequentes e por isso 
>>>> tem
>>>> muitas opinioes e boas discussoes ja na lista, eu opinei em uma 
>>>> recente
>>>> então vou me repetir:
>>>>
>>>> aqui eu roteio 4Gbit/s com FreeBSD e um Netmap L-800 que o pessoal da
>>>> serverU não divulga não sei por que mas eles tem o produto se ligar lá
>>> eles
>>>> falam, inclusive e um dos ativos que penso em sair de 220ac e ir para
>>> 48dc
>>>> que levantei na outra thread
>>>>
>>>> o custo total da solução é menos de 5k reais e atende perfeitamente
>>> minhas
>>>> taxas de roteamento, nela eu uso uma porta 10GbE elétrica que vai 
>>>> pro meu
>>>> switch e penduro diversas VLAN nela mas não chego a rotear nem 
>>>> perto de
>>>> 10Gb fico mesmo em 4 com picos de 4.5
>>>> sobra CPU então acho que tenho margem pra crescer, antes eu tinha 
>>>> pensado
>>>> em um cisco asr 1002 pra 5Gbit/s mas saia 4 vezes o valor, usado...
>>>>
>>>> acho que o limite do que você roteia com x86_64 é acima de 1Gbit/s 
>>>> com um
>>>> custo muito bom, mas se chegar perto de 10Gb roteado (não 
>>>> conectado) ai
>>>> talvez tenha que ir pra um equipamento mais específico
>>>>
>>>> FreeBSD+L800 são minhas recomendações pq é oq eu uso e me atende bem
>>>>
>>>> Estou pensando em migrar para uma Edge Router ou um server com VyOS ou
>>>>> FreeBSD e se for o caso tentar uma solução mais cara como Juliper e
>>>>> Cisco.
>>>>>
>>>>> O que os senhores acham das soluções acima ? O que me recomendam ?
>>>>>
>>>> FreeBSD sem dúvidas, dependendo de até onde você vai crescer eu 
>>>> acho que
>>> é
>>>> cedo demais pra um MX5 como tem sido recomendado; um MX5 custa 24k
>>> dólares,
>>>> la fora, trazendo de baixo do braço...(USD 10K usado), aqui os valores
>>>> variam bastante mas você pode imaginar onde flutuam; eu sou 
>>>> daqueles que
>>>> acreditam que x86+FreeBSD tem muito a oferecer antes de precisar ir 
>>>> pra
>>> uma
>>>> outra arquitetura, como disse acima; onde trabalho software livre é 
>>>> regra
>>>> #1 e cada centavo de investimento precisa ser muito justificado
>>>>
>>>> eu ainda não encontrei justificativa pra não rotear bgp em x86 + 
>>>> software
>>>> livre, mas como eu disse minha taxa é de 4Gbit/s roteados
>>>> no passado ja roteei com quagga+centos (onde não quero mais voltar) e
>>>> vyatta (maior parte dos bugs do quagga não existem) mas fiquei com
>>> freebsd
>>>> pois se comportou melhor
>>>> sugiro que antes de investir dezenas de milhares de R$ que 
>>>> investigue uma
>>>> opção FreeBSD
>>>>
>>>>
>>>>> -- 
>>>>> att,
>>>>>
>>>>> Tales Costa
>>>>> -- 
>>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>> -- 
>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>>
>>>
>>>
>>> -- 
>>> :=)><(=:
>>> Rip NoRm4nD.
>>> Flamers > /dev/null !!!
>>> -- 
>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>
>> -- 
>> gter list    https://eng.registro.br/mailman/listinfo/gter
>