[GTER] Roteador de borda

Tue Aug 26 08:10:48 -03 2014

Tem uma coisa que me "incomoda" um pouco nessa comparação de servidor com
roteador dedicado, que é o seguinte...

Um roteador dedicado suporta diversos recursos e protocolos. Toda a
configuração de interfaces, dos protocolos de roteamento, segurança,
proteção de control plane, listas de acesso, gerenciamento, etc. - tudo
está disponível em um lugar só.

Mesmo um servidor com software de roteamento integrado (como era o caso,
por exemplo, do Vyatta, que eu nem sei se pode ser usado mais como era
antigamente) oferece esta mesma vantagem. Está tudo em um lugar só, com uma
linguagem consistente.

Já o roteador em cima de um sistema operacional genérico não oferece o
mesmo nível de integração. É necessário baixar e configurar diversos
serviços, e cada arquivo de configuração tem uma sintaxe diferente, e vai
em um lugar diferente. As interfaces estão em um lugar, as listas de acesso
em outro, e os protocolos ainda em outro lugar diferente.

Eu accredito que quem já usou um roteador dedicado (independente de ser um
Juniper, Cisco, ou mesmo um servidor com software integrado) tem
dificuldade de voltar para o mundo "open source" puro por este motivo. É
comum abrir mão de usar algum recurso (por exemplo, Netflow) porque para
rodar, precisa instalar outro software, e testar com cuidado para não
apresentar nenhum problema de interoperação (libs diferentes, paths
diferentes, etc.). E por algum motivo eu raramente vejo este tema discutido.

*Carlos Ribeiro*
*Sócio*
Cel: +55 (31) 9303-3366
Tel: +55 (31) 3305-5620
Geral: +55 (31) 3305-5600
cribeiro at telbrax.com.br
www.telbrax.com.br

Em 26 de agosto de 2014 00:13, Marcelo Gondim <gondim at bsdinfo.com.br>
escreveu:

> On 25/08/2014 13:35, Paulo Henrique - BSDs Brasil wrote:
>
>> O Companheiro de lista ( Provedor Bogus ), que recentemente está tendo
>> problemas para responder, passou algumas informações interessantes, e pediu
>> para encaminha-las.
>> Mais um caso "IMPRESSIONANTE", sim bem frisado, pois 11Gb/s não é pouco
>> trafego.
>>
>> Segue o E-mail do companheiro,
>>
>> Paulo,
>>
>> Me descadastrei da GTER acidentalmente e agora peço para me adicionar
>> novamente e não consigo, enfim, já desisti. Então, as vezes respondo em
>> privado.
>>
>> Hoje estamos com 11 Gbps passando tranquilo na mesma máquina.
>>
>> Fizemos apenas um upgrade no kernel do Linux para tratar melhor a questão
>> de Buffer Bloat, mais por "cosmética" do que uma real necessidade.
>>
>> Em horário de pico, ainda temos 65% de CPU livre.
>>
>> Semana passada tivemos um ataque de 10 Gbps vindo pela Level3 e a máquina
>> suportou numa boa.
>>
>> Outra coisa que ninguém fala na lista, mas ter um roteador só é a mesma
>> coisa que não ter nenhum. E se o Juniper/Cisco/Blackbox cair ?
>>
>> A conta correta para o investimento e que pouca gente faz é que o
>> necessário são 2 máquinas, sempre. Ter uma só máquina desempenhando um
>> papel tão crítico na rede é dar sorte para o azar.
>>
>> Não uso FreeBSD porque todas as tecnologias mais modernas da arquitetura
>> da Intel (como RSS, DCA, etc) não são (ou não eram quando eu estava
>> montando a máquina) suportadas. Gosto *muito* de FreeBSD, já programei
>> dentro do kernel dele e é bem melhor documentado que o Linux, reconheço sua
>> robustez e a preocupação dos desenvolvedores com performance e
>> estabilidade. Nada contra. O servidor de arquivos e impressão nosso roda
>> Windows (blergh).
>>
>>  Paulo boa por compartilhar as informações e é muito bom ver esse tipo de
> informação. Só tem um porém quanto à Intel, já que os desenvolvedores dos
> drivers Intel no FreeBSD são funcionários e desenvolvedores da própria
> Intel e sempre que sai algo novo isso vai direto para o código no FreeBSD
> primeiramente no Head e depois para os Stables. Será que ele tem
> acompanhado os commits no FreeBSD 10-STABLE e no 11? Inclusive teve um
> artigo, que não estou encontrando agora mas vou procurar melhor, que a
> Intel havia feito um teste com suas interfaces de 10GbE e haviam conseguido
> um melhor aproveitamento delas em cima de um FreeBSD que acho que foi um
> 9.x na época.
> Do mais é um excelente estudo de casos saber que um provedor que tem
> tráfego de 11Gbps está usando Linux como router. Parabéns mesmo!
>
>
>  Sinta-se a vontade pra compartilhar minha opinião na lista.
>>
>> Att, Paulo Henrique.
>>
>>
>> Em 22/08/2014 13:49, Evandro Nunes escreveu:
>>
>>> 2014-08-22 9:02 GMT-03:00 Paulo Henrique <paulo.rddck at bsd.com.br>:
>>>
>>>  Evandro Nunes, é o primeiro que falou que está passando 4Gbit/s sobre
>>>> soft-router.
>>>>
>>>>
>>>>  oi, aqui no norte paulista tem tem pelo menos mais 2 nessa taxa, um
>>> deles
>>> em 5
>>>
>>>
>>>  O maior até hoje que havia lido era o Provedor Bogus, com 2.5Gbit/s.
>>>>
>>>> Teria como informar mais detalhes do ambiente seu, procurei o ServerU
>>>> L-800
>>>> para ver a config e não achei nada especifico, teria como disponibilizar
>>>> mais informações dele ?
>>>>
>>>
>>> pois é um dia eles anunciam que a l800 existe rss
>>>
>>> a máquina é um 8x2.4Ghz "Rangeley" processador C2758, aquele que de
>>> acordo
>>> com os benchs gringos da mais performance que diversos Xeon, com 6 igb e
>>> 4GB RAM mas no meu caso tem 8GB RAM uma expansão 10Gbit/s também intel,
>>> ixgbe (intel 82598EB) todas as redes com adaptive interrupt por hardware
>>> num chip napatech NT10E sobre PCIe Gen3 (que é o mesmo chip que da os
>>> bypass Gen3 em todas interfaces), pra funcionar essa aceleração por
>>> hardware tive que pedir o driver pra eles, veio com um utility de bypass
>>> config que habilita o napatech, mas parece que o driver pra freebsd no
>>> site
>>> da napatech funciona também
>>>
>>> E quanto ao FreeBSD poderia colocar mais
>>>
>>>> informações de otimizações que foi feito nele.
>>>>
>>>>  cpu affinity nas irqs 251, 252, 253, 255, 248, 249, 257, 259 sendo
>>> quatro
>>> delas da porta 10Gb e os outros affinity em mais 4 portas 1Gbit, essas 4
>>> portas 2xlagg0 e 2xlagg1 pra NTT e Algar e 1x1Gbit no PTT-SP sem
>>> affinity e
>>> sem lagg, sem firewall, com Fast Forwarding
>>> (net.inet.ip.fastforwarding=1),
>>> sem bpf e sem bpf zerocopy sem icmp type 5 (net.inet.ip.redirect=0)
>>>
>>> nas interfaces de rede tenho RX e TX checksum alem de VLAN checksum
>>> ligados
>>> forçadamente e também vlan hwfilter que no freebsd as vezes vem ligado,
>>> as
>>> vezes desligado dependendo da placa, no meu caso ligado sempre
>>>
>>> tem alguns tunings sugeridos pelo pessoal que me vendeu a maquina que não
>>> sei o quanto faz diferença, mas tem, sao tudo de dev random alimentado
>>> pela
>>> rede desligado (harvest.ethernet=0, harvest.point2point=0,
>>> harvest.interrupt=0), isrdirect ligado isdirect always ligado e
>>> isr_maxqlen=2048.
>>>
>>> bgp com openbgp e ospf com bird
>>> agora eu faço uma coisa por sugestão do patrick (aprendi no treinamento
>>> f.a.r. patrickão seguem os créditos rss), que é instalar as rotas que eu
>>> realmente preciso na FIB
>>> o que eu quero dizer com isso? todos meus peers me mandam full routing do
>>> que eles tem: ptt, ntt, algar, mas eu filtro e não instalo todas as rotas
>>> na fib (não sou um colecionador de rotas que fica olhando a tabela rib e
>>> a
>>> fib diariamente e pensando "onde essa internet vai parar", rss) eu só
>>> instalo as rotas anunciadas dos AS que eu uso localpref, basicamente se
>>> não
>>> tenho localpref não deixo instalar na FIB, logicamente isso quer dizer
>>> que
>>> instalo PTT-SP inteiro, mas os demais não, então tipicamente o que tenho
>>> na
>>> fib são rotas dos as do google, fb, netflix, amazon, alguns embratel, e
>>> claro alguns com erros temporarios por um caminho que tenho que forçar
>>> saida por outro... o restante eu tenho 2 rotas default, algar e ntt e
>>> tudo
>>> sai por elas, com radix_path balanceando a saida e com o patch do PR
>>> kern/173477 que sei la por que, o freebsd ainda não colocou na base, esse
>>> patch fez os kernel hangs acabarem quando o bgp ou ospf desinstalam uma
>>> rota
>>>
>>> obs, a titulo de curiosidade mesmo !! :D
>>> pois é tenho bastante particularidades mas nada alien nem experimental
>>> nada de gpu por exemplo... que inclusive nem daria pra por uma geforce
>>> nessa l800 rsss
>>>
>>>
>>>  Att
>>>>
>>>>
>>>> Em 22 de agosto de 2014 02:16, Evandro Nunes <evandronunes12 at gmail.com>
>>>> escreveu:
>>>>
>>>>  2014-08-20 8:25 GMT-03:00 Tales Rodarte <talesrodarte at gmail.com>:
>>>>>
>>>>>  Bom dia,
>>>>>>
>>>>>> Sei que é off-tropic mas não encontrei nada que se enquadrava no
>>>>>>
>>>>> procuro.
>>>>
>>>>> não é off, ao contrário é um dos topicos mais frequentes e por isso tem
>>>>> muitas opinioes e boas discussoes ja na lista, eu opinei em uma recente
>>>>> então vou me repetir:
>>>>>
>>>>> aqui eu roteio 4Gbit/s com FreeBSD e um Netmap L-800 que o pessoal da
>>>>> serverU não divulga não sei por que mas eles tem o produto se ligar lá
>>>>>
>>>> eles
>>>>
>>>>> falam, inclusive e um dos ativos que penso em sair de 220ac e ir para
>>>>>
>>>> 48dc
>>>>
>>>>> que levantei na outra thread
>>>>>
>>>>> o custo total da solução é menos de 5k reais e atende perfeitamente
>>>>>
>>>> minhas
>>>>
>>>>> taxas de roteamento, nela eu uso uma porta 10GbE elétrica que vai pro
>>>>> meu
>>>>> switch e penduro diversas VLAN nela mas não chego a rotear nem perto de
>>>>> 10Gb fico mesmo em 4 com picos de 4.5
>>>>> sobra CPU então acho que tenho margem pra crescer, antes eu tinha
>>>>> pensado
>>>>> em um cisco asr 1002 pra 5Gbit/s mas saia 4 vezes o valor, usado...
>>>>>
>>>>> acho que o limite do que você roteia com x86_64 é acima de 1Gbit/s com
>>>>> um
>>>>> custo muito bom, mas se chegar perto de 10Gb roteado (não conectado) ai
>>>>> talvez tenha que ir pra um equipamento mais específico
>>>>>
>>>>> FreeBSD+L800 são minhas recomendações pq é oq eu uso e me atende bem
>>>>>
>>>>> Estou pensando em migrar para uma Edge Router ou um server com VyOS ou
>>>>>
>>>>>> FreeBSD e se for o caso tentar uma solução mais cara como Juliper e
>>>>>> Cisco.
>>>>>>
>>>>>> O que os senhores acham das soluções acima ? O que me recomendam ?
>>>>>>
>>>>>>  FreeBSD sem dúvidas, dependendo de até onde você vai crescer eu acho
>>>>> que
>>>>>
>>>> é
>>>>
>>>>> cedo demais pra um MX5 como tem sido recomendado; um MX5 custa 24k
>>>>>
>>>> dólares,
>>>>
>>>>> la fora, trazendo de baixo do braço...(USD 10K usado), aqui os valores
>>>>> variam bastante mas você pode imaginar onde flutuam; eu sou daqueles
>>>>> que
>>>>> acreditam que x86+FreeBSD tem muito a oferecer antes de precisar ir pra
>>>>>
>>>> uma
>>>>
>>>>> outra arquitetura, como disse acima; onde trabalho software livre é
>>>>> regra
>>>>> #1 e cada centavo de investimento precisa ser muito justificado
>>>>>
>>>>> eu ainda não encontrei justificativa pra não rotear bgp em x86 +
>>>>> software
>>>>> livre, mas como eu disse minha taxa é de 4Gbit/s roteados
>>>>> no passado ja roteei com quagga+centos (onde não quero mais voltar) e
>>>>> vyatta (maior parte dos bugs do quagga não existem) mas fiquei com
>>>>>
>>>> freebsd
>>>>
>>>>> pois se comportou melhor
>>>>> sugiro que antes de investir dezenas de milhares de R$ que investigue
>>>>> uma
>>>>> opção FreeBSD
>>>>>
>>>>>
>>>>>  --
>>>>>> att,
>>>>>>
>>>>>> Tales Costa
>>>>>> --
>>>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>>>>
>>>>> --
>>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>>>
>>>>>
>
> ---
> Este email está limpo de vírus e malwares porque a proteção do avast!
> Antivírus está ativa.
> http://www.avast.com
>
> --
> gter list    https://eng.registro.br/mailman/listinfo/gter
>