[GTER] Roteador de borda

Tue Aug 26 07:27:22 -03 2014

Gente,

          Só eu que me impressionei com o case do Bogus? Isso é case para
apresentação de GTER, no final do ano. Quem tem o contato dele aí para
convidá-lo a apresentar o case na semana da infra BR? Acho que será no
final de novembro. Isso é um tapa com luva de pelica na cara de quem
defende somente caixa fechada (é claro que o Bogus tem conhecimento e total
controle do que tem na mão).

Att,

Uesley Corrêa - Analista de Telecomunicações
Instrutor Oficial UBNT UCRSS & UCWA

Em 26 de agosto de 2014 00:13, Marcelo Gondim <gondim at bsdinfo.com.br>
escreveu:

> On 25/08/2014 13:35, Paulo Henrique - BSDs Brasil wrote:
>
>> O Companheiro de lista ( Provedor Bogus ), que recentemente está tendo
>> problemas para responder, passou algumas informações interessantes, e pediu
>> para encaminha-las.
>> Mais um caso "IMPRESSIONANTE", sim bem frisado, pois 11Gb/s não é pouco
>> trafego.
>>
>> Segue o E-mail do companheiro,
>>
>> Paulo,
>>
>> Me descadastrei da GTER acidentalmente e agora peço para me adicionar
>> novamente e não consigo, enfim, já desisti. Então, as vezes respondo em
>> privado.
>>
>> Hoje estamos com 11 Gbps passando tranquilo na mesma máquina.
>>
>> Fizemos apenas um upgrade no kernel do Linux para tratar melhor a questão
>> de Buffer Bloat, mais por "cosmética" do que uma real necessidade.
>>
>> Em horário de pico, ainda temos 65% de CPU livre.
>>
>> Semana passada tivemos um ataque de 10 Gbps vindo pela Level3 e a máquina
>> suportou numa boa.
>>
>> Outra coisa que ninguém fala na lista, mas ter um roteador só é a mesma
>> coisa que não ter nenhum. E se o Juniper/Cisco/Blackbox cair ?
>>
>> A conta correta para o investimento e que pouca gente faz é que o
>> necessário são 2 máquinas, sempre. Ter uma só máquina desempenhando um
>> papel tão crítico na rede é dar sorte para o azar.
>>
>> Não uso FreeBSD porque todas as tecnologias mais modernas da arquitetura
>> da Intel (como RSS, DCA, etc) não são (ou não eram quando eu estava
>> montando a máquina) suportadas. Gosto *muito* de FreeBSD, já programei
>> dentro do kernel dele e é bem melhor documentado que o Linux, reconheço sua
>> robustez e a preocupação dos desenvolvedores com performance e
>> estabilidade. Nada contra. O servidor de arquivos e impressão nosso roda
>> Windows (blergh).
>>
>>  Paulo boa por compartilhar as informações e é muito bom ver esse tipo de
> informação. Só tem um porém quanto à Intel, já que os desenvolvedores dos
> drivers Intel no FreeBSD são funcionários e desenvolvedores da própria
> Intel e sempre que sai algo novo isso vai direto para o código no FreeBSD
> primeiramente no Head e depois para os Stables. Será que ele tem
> acompanhado os commits no FreeBSD 10-STABLE e no 11? Inclusive teve um
> artigo, que não estou encontrando agora mas vou procurar melhor, que a
> Intel havia feito um teste com suas interfaces de 10GbE e haviam conseguido
> um melhor aproveitamento delas em cima de um FreeBSD que acho que foi um
> 9.x na época.
> Do mais é um excelente estudo de casos saber que um provedor que tem
> tráfego de 11Gbps está usando Linux como router. Parabéns mesmo!
>
>
>  Sinta-se a vontade pra compartilhar minha opinião na lista.
>>
>> Att, Paulo Henrique.
>>
>>
>> Em 22/08/2014 13:49, Evandro Nunes escreveu:
>>
>>> 2014-08-22 9:02 GMT-03:00 Paulo Henrique <paulo.rddck at bsd.com.br>:
>>>
>>>  Evandro Nunes, é o primeiro que falou que está passando 4Gbit/s sobre
>>>> soft-router.
>>>>
>>>>
>>>>  oi, aqui no norte paulista tem tem pelo menos mais 2 nessa taxa, um
>>> deles
>>> em 5
>>>
>>>
>>>  O maior até hoje que havia lido era o Provedor Bogus, com 2.5Gbit/s.
>>>>
>>>> Teria como informar mais detalhes do ambiente seu, procurei o ServerU
>>>> L-800
>>>> para ver a config e não achei nada especifico, teria como disponibilizar
>>>> mais informações dele ?
>>>>
>>>
>>> pois é um dia eles anunciam que a l800 existe rss
>>>
>>> a máquina é um 8x2.4Ghz "Rangeley" processador C2758, aquele que de
>>> acordo
>>> com os benchs gringos da mais performance que diversos Xeon, com 6 igb e
>>> 4GB RAM mas no meu caso tem 8GB RAM uma expansão 10Gbit/s também intel,
>>> ixgbe (intel 82598EB) todas as redes com adaptive interrupt por hardware
>>> num chip napatech NT10E sobre PCIe Gen3 (que é o mesmo chip que da os
>>> bypass Gen3 em todas interfaces), pra funcionar essa aceleração por
>>> hardware tive que pedir o driver pra eles, veio com um utility de bypass
>>> config que habilita o napatech, mas parece que o driver pra freebsd no
>>> site
>>> da napatech funciona também
>>>
>>> E quanto ao FreeBSD poderia colocar mais
>>>
>>>> informações de otimizações que foi feito nele.
>>>>
>>>>  cpu affinity nas irqs 251, 252, 253, 255, 248, 249, 257, 259 sendo
>>> quatro
>>> delas da porta 10Gb e os outros affinity em mais 4 portas 1Gbit, essas 4
>>> portas 2xlagg0 e 2xlagg1 pra NTT e Algar e 1x1Gbit no PTT-SP sem
>>> affinity e
>>> sem lagg, sem firewall, com Fast Forwarding
>>> (net.inet.ip.fastforwarding=1),
>>> sem bpf e sem bpf zerocopy sem icmp type 5 (net.inet.ip.redirect=0)
>>>
>>> nas interfaces de rede tenho RX e TX checksum alem de VLAN checksum
>>> ligados
>>> forçadamente e também vlan hwfilter que no freebsd as vezes vem ligado,
>>> as
>>> vezes desligado dependendo da placa, no meu caso ligado sempre
>>>
>>> tem alguns tunings sugeridos pelo pessoal que me vendeu a maquina que não
>>> sei o quanto faz diferença, mas tem, sao tudo de dev random alimentado
>>> pela
>>> rede desligado (harvest.ethernet=0, harvest.point2point=0,
>>> harvest.interrupt=0), isrdirect ligado isdirect always ligado e
>>> isr_maxqlen=2048.
>>>
>>> bgp com openbgp e ospf com bird
>>> agora eu faço uma coisa por sugestão do patrick (aprendi no treinamento
>>> f.a.r. patrickão seguem os créditos rss), que é instalar as rotas que eu
>>> realmente preciso na FIB
>>> o que eu quero dizer com isso? todos meus peers me mandam full routing do
>>> que eles tem: ptt, ntt, algar, mas eu filtro e não instalo todas as rotas
>>> na fib (não sou um colecionador de rotas que fica olhando a tabela rib e
>>> a
>>> fib diariamente e pensando "onde essa internet vai parar", rss) eu só
>>> instalo as rotas anunciadas dos AS que eu uso localpref, basicamente se
>>> não
>>> tenho localpref não deixo instalar na FIB, logicamente isso quer dizer
>>> que
>>> instalo PTT-SP inteiro, mas os demais não, então tipicamente o que tenho
>>> na
>>> fib são rotas dos as do google, fb, netflix, amazon, alguns embratel, e
>>> claro alguns com erros temporarios por um caminho que tenho que forçar
>>> saida por outro... o restante eu tenho 2 rotas default, algar e ntt e
>>> tudo
>>> sai por elas, com radix_path balanceando a saida e com o patch do PR
>>> kern/173477 que sei la por que, o freebsd ainda não colocou na base, esse
>>> patch fez os kernel hangs acabarem quando o bgp ou ospf desinstalam uma
>>> rota
>>>
>>> obs, a titulo de curiosidade mesmo !! :D
>>> pois é tenho bastante particularidades mas nada alien nem experimental
>>> nada de gpu por exemplo... que inclusive nem daria pra por uma geforce
>>> nessa l800 rsss
>>>
>>>
>>>  Att
>>>>
>>>>
>>>> Em 22 de agosto de 2014 02:16, Evandro Nunes <evandronunes12 at gmail.com>
>>>> escreveu:
>>>>
>>>>  2014-08-20 8:25 GMT-03:00 Tales Rodarte <talesrodarte at gmail.com>:
>>>>>
>>>>>  Bom dia,
>>>>>>
>>>>>> Sei que é off-tropic mas não encontrei nada que se enquadrava no
>>>>>>
>>>>> procuro.
>>>>
>>>>> não é off, ao contrário é um dos topicos mais frequentes e por isso tem
>>>>> muitas opinioes e boas discussoes ja na lista, eu opinei em uma recente
>>>>> então vou me repetir:
>>>>>
>>>>> aqui eu roteio 4Gbit/s com FreeBSD e um Netmap L-800 que o pessoal da
>>>>> serverU não divulga não sei por que mas eles tem o produto se ligar lá
>>>>>
>>>> eles
>>>>
>>>>> falam, inclusive e um dos ativos que penso em sair de 220ac e ir para
>>>>>
>>>> 48dc
>>>>
>>>>> que levantei na outra thread
>>>>>
>>>>> o custo total da solução é menos de 5k reais e atende perfeitamente
>>>>>
>>>> minhas
>>>>
>>>>> taxas de roteamento, nela eu uso uma porta 10GbE elétrica que vai pro
>>>>> meu
>>>>> switch e penduro diversas VLAN nela mas não chego a rotear nem perto de
>>>>> 10Gb fico mesmo em 4 com picos de 4.5
>>>>> sobra CPU então acho que tenho margem pra crescer, antes eu tinha
>>>>> pensado
>>>>> em um cisco asr 1002 pra 5Gbit/s mas saia 4 vezes o valor, usado...
>>>>>
>>>>> acho que o limite do que você roteia com x86_64 é acima de 1Gbit/s com
>>>>> um
>>>>> custo muito bom, mas se chegar perto de 10Gb roteado (não conectado) ai
>>>>> talvez tenha que ir pra um equipamento mais específico
>>>>>
>>>>> FreeBSD+L800 são minhas recomendações pq é oq eu uso e me atende bem
>>>>>
>>>>> Estou pensando em migrar para uma Edge Router ou um server com VyOS ou
>>>>>
>>>>>> FreeBSD e se for o caso tentar uma solução mais cara como Juliper e
>>>>>> Cisco.
>>>>>>
>>>>>> O que os senhores acham das soluções acima ? O que me recomendam ?
>>>>>>
>>>>>>  FreeBSD sem dúvidas, dependendo de até onde você vai crescer eu acho
>>>>> que
>>>>>
>>>> é
>>>>
>>>>> cedo demais pra um MX5 como tem sido recomendado; um MX5 custa 24k
>>>>>
>>>> dólares,
>>>>
>>>>> la fora, trazendo de baixo do braço...(USD 10K usado), aqui os valores
>>>>> variam bastante mas você pode imaginar onde flutuam; eu sou daqueles
>>>>> que
>>>>> acreditam que x86+FreeBSD tem muito a oferecer antes de precisar ir pra
>>>>>
>>>> uma
>>>>
>>>>> outra arquitetura, como disse acima; onde trabalho software livre é
>>>>> regra
>>>>> #1 e cada centavo de investimento precisa ser muito justificado
>>>>>
>>>>> eu ainda não encontrei justificativa pra não rotear bgp em x86 +
>>>>> software
>>>>> livre, mas como eu disse minha taxa é de 4Gbit/s roteados
>>>>> no passado ja roteei com quagga+centos (onde não quero mais voltar) e
>>>>> vyatta (maior parte dos bugs do quagga não existem) mas fiquei com
>>>>>
>>>> freebsd
>>>>
>>>>> pois se comportou melhor
>>>>> sugiro que antes de investir dezenas de milhares de R$ que investigue
>>>>> uma
>>>>> opção FreeBSD
>>>>>
>>>>>
>>>>>  --
>>>>>> att,
>>>>>>
>>>>>> Tales Costa
>>>>>> --
>>>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>>>>
>>>>> --
>>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>>>
>>>>>
>
> ---
> Este email está limpo de vírus e malwares porque a proteção do avast!
> Antivírus está ativa.
> http://www.avast.com
>
> --
> gter list    https://eng.registro.br/mailman/listinfo/gter
>