[GTER] ServerU L-800 com FreeBSD (sem NETMAP)

[Felipe N. Oliva]

Em 2/7/18 4:03 PM, Luiz Otavio O Souza escreveu:
> 2018-02-07 13:38 GMT-02:00 Felipe N. Oliva <felipe at felipeoliva.eti.br>:
>>
>> Em 2/7/18 12:11 PM, Luiz Otavio O Souza escreveu:
>>> 2018-02-06 17:21 GMT-02:00 Felipe N. Oliva <felipe at felipeoliva.eti.br>:
>>>> Senhores, saudações!
>>>>
>>>> Administro algumas ServerU L-800 que são roteadores BGP.
>>>>
>>>> Características:
>>>>
>>>> - FreeBSD 11.1-p6;
>>>>
>>>> - Placas intel com drivers em's e ix's;
>>>>
>>>> - cpuset nas queues das interfaces;
>>>>
>>>> - sysctl's diversas.
>>>>
>>>> Estou lutando com 1.6Gbps de uplink, interrupção altíssima (60-70%).
>>>>
>>>> Se desabilito o ipfw ganho mais 10% de fôlego na interrupção, mas isso é
>>>> irrelevante no caso.
>>>>
>>>> Eis a questão, quanto estão conseguindo de throughput?
>>> quantos pps (agregado) ?
>>>
>>> -l
>>> --
>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>> netstat -ihw1
>>              input        (Total)           output
>>     packets  errs idrops      bytes    packets  errs      bytes colls
>>        536k     0     0       425M       536k     0       424M     0
>>        530k     0     0       420M       530k     0       420M     0
>>        535k     0     0       424M       536k     0       426M     0
>>        538k     0     0       430M       538k     0       429M     0
>>        550k     0     0       440M       550k     0       441M     0
> Repare que aqui seu trafego total agregado é bem maior que os 1.6Gbps
> do seu upstream: 420M + 420M = 6.7Gbps.
>
> O número de pps (530K + 530K = 1.06M) também parece muito próximo da
> especificação do site:
>
> Aggregated Thorughput
> (without Netmap) 2.89Gbit/s forwarding rate on DUT1; 1.35Mpps/s
> forwarding rate on DUT1;
> 2.94Gbit/s bridged rate on DUT1 1.61Mpps/s bridged rate on DUT1;
>
> Max Agg Thorughput
> (w/ 2x10GbE expansions) 5.6Gbit/s forwarding rate on DUT1; 2.7Mpps/s
> forwarding rate on DUT1;
> 5.6Gbit/s bridged rate on DUT1 2.7Mpps/s bridged rate on DUT1;
>
>
> Verifique se as informações conferem, mas muito provavelmente, voce
> precisa de mais HW.
>
> Você também pode tentar rodar algum branch mais novo/especifico, não
> sei o aquele branch do melifaro ainda faz sentido, ninguém toca nele a
> 2 anos. Através do bsdrp você consegue se informar qual o melhor
> branch de routing para se usar hoje em dia.
>
> -l
> --
> gter list    https://eng.registro.br/mailman/listinfo/gter
Sobre branch pesquisei também, li as recomendações no site do projeto BSDRP.
Luiz, acho que chegou a hora de começar a estudar um DELL/IBM.
Acredito que se a L-800 tivesse mais cores dava pra aumentar o numero de 
queues e caprichar no cpuset.

Aproveitando vou deixar uma dica aqui, no rc.d do BSDRP existem scripts 
de cpu affinity muito uteis, estou usando pra subir o cpuset na 
inicialização do SO,  vale a pena conferir.

-- 
Felipe N. Oliva
NetAdmin/SysAdmin
BSDA BSDDCG-ID: 2016144190112430459