[GTER] Roteador para 1,5Gbps de Link

Tue Sep 11 00:30:37 -03 2012

Boa noite Patrick,

Poderia detalhar o hardware ?

São placas de rede dual/quad ? hardware Dell/HP ou "montada" ?

Abraço.

Em 10 de setembro de 2012 13:24, Patrick Tracanelli <
eksffa at freebsdbrasil.com.br> escreveu:

>
> Em 05/09/2012, às 23:07, Paulo Henrique escreveu:
>
> > Em 5 de setembro de 2012 16:15, Patrick Tracanelli <
> > eksffa at freebsdbrasil.com.br> escreveu:
> >
> >>
> >>>>>
> >>>>> Em 03/09/2012, às 17:10, "Luiz Ambrozini - Info - Netserv" <
> >>>>> luiz at netserv.com.br> escreveu:
> >>>>>
> >>>>>> Boa tarde a Todos. Gostaria de indicações de Roteadores para 1,5GB
> de
> >>>>> link.
> >>>>>> Tenho 2 trânsitos com operadores distintas e vou ampliar para 1GB
> com
> >> uma
> >>>>>> operadora e 500mbps com a outra operadora. Hoje utilizo 2 servidores
> >> Dell
> >>>>>> R210 com 1 transito cada servidor. Acredito que o servidor que irá
> >>>>> receber o
> >>>>>> transito de 1gbps não ira suportar. Recebo Full Routing dos 2
> >> trânsitos.
> >>
> >> Aqui eu roteio 2Gbps redondo, recebidos de 3 upstreams + PTT com um
> >> servidor commoditie baseado em Intel Server (de placa mãe a redes) em 2
> >> ambientes diferentes porém similares, um está num server provido pela
> Sinco
> >> (RJ) e outro num chassis Supermicro série 6k.
> >>
> >> Taxas de interrupção sob controle, CPU Affinity em redes Intel chipset
> >> 82575 variando de 2 a 4 queues (portanto cores/irqs) por CPU.
> >>
> >> Recomendo o setup.
> >>
> >>
> >>
> >> --
> >> Patrick Tracanelli
> >>
> >> FreeBSD Brasil LTDA.
> >> Tel.: (31) 3516-0800
> >> 316601 at sip.freebsdbrasil.com.br
> >> http://www.freebsdbrasil.com.br
> >> "Long live Hanin Elias, Kim Deal!"
> >>
> >> --
> >> gter list    https://eng.registro.br/mailman/listinfo/gter
> >>
> >
> > Patrick, quantos pps no total e pela interface com a maior carga ?
> > Qual a quantidade de interrupção da maquina no total/por interface ?
> >
>
> Opa, desculpe a demora, o feriado chegou em seguida hehehe :P
>
> A interface de maior carga da quase metade do provedor.
>
> CPU Affinity esta assim:
>
> cpuset -x 271 -l 4
> cpuset -x 272 -l 5
> cpuset -x 273 -l 6
> cpuset -x 274 -l 7
>
> Nem precisei ainda dar mais de 1 CPU por interrupt, então deixei o
> affinity 1:1 pra evitar troca de contexto.
>
> Seguem informações, coletadas ha pouco, no pico (hora do almoço nesse
> provedor):
>
>  # \rate -i igb4 -R -b
> => Currently 762.21 Mbps/142.82 kpps, Average: 769.21 Mbps/149.82 kpps
> => Currently 951.80 Mbps/188.62 kpps, Average: 851.98 Mbps/167.72 kpps
> => Currently 1143.75 Mbps/200.74 kpps, Average: 952.58 Mbps/182.06 kpps
> => Currently 752.86 Mbps/141.46 kpps, Average: 902.63 Mbps/172.16 kpps
> => Currently 951.10 Mbps/182.35 kpps, Average: 911.52 Mbps/172.39 kpps
> => Currently 761.27 Mbps/143.51 kpps, Average: 881.98 Mbps/162.91 kpps
> => Currently 764.21 Mbps/151.01 kpps, Average: 879.15 Mbps/162.64 kpps
> => Currently 712.50 Mbps/143.15 kpps, Average: 850.19 Mbps/161.33 kpps
> => Currently 921.39 Mbps/182.61 kpps, Average: 850.98 Mbps/161.58 kpps
> => Currently 721.01 Mbps/140.70 kpps, Average: 842.58 Mbps/162.39 kpps
> => Currently 748.43 Mbps/150.02 kpps, Average: 833.66 Mbps/162.27 kpps
> => Currently 756.77 Mbps/150.38 kpps, Average: 832.00 Mbps/162.19 kpps
>
> Trecho relevando to top -PSH
>
>    11 root          -92    -     0K   336K WAIT    4 725:36  12.59%
> intr{irq271: igb4:que}
>    11 root          -92    -     0K   336K WAIT    6 602:16  16.49%
> intr{irq273: igb4:que}
>    11 root          -92    -     0K   336K WAIT    5 585:57  19.49%
> intr{irq272: igb4:que}
>    11 root          -92    -     0K   336K WAIT    7 588:37  21.10%
> intr{irq274: igb4:que}
>
> # sysctl hw.ncpu
> hw.ncpu: 8
>
> # bgpctl s s | wc -l
>       12
>
> # bgpctl sh rib | wc -l
>  1289363
>
> # bgpctl sh rib mem
> RDE memory statistics
>     424659 IPv4 unicast network entries using 9.7M of memory
>        276 IPv6 unicast network entries using 9.7K of memory
>     849861 rib entries using 25.9M of memory
>    2568514 prefix entries using 78.4M of memory
>     412334 BGP path attribute entries using 29.9M of memory
>     182298 BGP AS-PATH attribute entries using 7.0M of memory,
>            and holding 412334 references
>       8051 BGP attributes entries using 189K of memory
>            and holding 88304 references
>       8050 BGP attributes using 63.0K of memory
> RIB using 151M of memory
>
> # uptime
>  9:27AM  up 96 days, 10:08, 1 user, load averages: 1.55, 1.50, 1.44
>
> igb4: <Intel(R) PRO/1000 Network Connection version - 2.3.1> port
> 0x6020-0x603f mem
> 0xc6420000-0xc643ffff,0xc6200000-0xc63fffff,0xc6444000-0xc6447fff irq 19 at
> device 0.1 on pci21
> igb4: Using MSIX interrupts with 5 vectors
> igb4: Ethernet address: 00:1b:21:8e:d0:fb
> igb4: Bound queue 0 to cpu 4
> igb4: Bound queue 1 to cpu 5
> igb4: Bound queue 2 to cpu 6
> igb4: Bound queue 3 to cpu 7
>
> Nenhuma interface passa de 200kpps, a soma de todas as interfaces (são 8).
> Fazendo uma soma de padeiro (visual, com o comando rate em cada interface)
> esta dando agora 1.1Mpps "forwarded" e 2.4Gbit/s de tráfego - são 2Gbit/s
> de Internet, 1.78Gbit/s em uso no momento, os outros 600Mbit/s é entre
> clientes e servidores (infra). Ou seja apesar deu ter dito que era 2Gbit/s
> esta dando mais nesse instante.
>
> Dicas do que não fazer:
>
> - Colocar essas mesmas rede em máquinas sem chipset MCH da Intel
> - Colocar essas mesmas redes em PCI Express abaixo de x4 64bit
> - Usar em modo MSI ao invés de MSI-X
>
> Dicas do que fazer:
>
> - Garantir hw.igb.enable_aim sempre 1;
> - *Considerar kern.ipc.nmbclusters=51200 ou mais (sempre que tiver mais de
> uma igb);
> - *Considere jogar hw.igb.rxd e hw.igb.txd pra 4096 se a carga for alta;
> - Garantir hw.igb.enable_msix=1 sempre; se não funcionar como MSI-X e
> insistir em ficar em MSI, procure ajuda;
>
> Dicas do "se precisar tunar":
>
> - *hw.igb.num_queues por default vem automático, podendo te dar de 1, 2 ou
> 4 queues (e portanto threads), se sua taxa de interrupção subir muito
> considere aumentar o número de filas, pra poder usar mais CPUs, e faça CPU
> Affinity;
> - Por padrão *hw.igb.max_interrupt_rate vale 8.000 ou seja até 8k
> interrupções por segundo; da pra baixar seguramente pra 1.000 e não ter
> mais de irrelevantes 4 milisegundos de latencia a mais por pacote, em um
> ambiente de grande carga, e diminuir 1/8 da sua taxa de interrupções;
>
> No ambiente que eu colei os ouputs acima, marquei com * as possíveis
> otimizações que eu não precisei fazer ainda. Ou seja quando encontrar
> limites no ambiente atual, ainda tem onde espremer p/ tirar mais suco dessa
> laranja antes de achar que ja esta no bagaço.
>
>
> > É o segundo que informa mais de 2Gbps sobre Softrouter.
> > Outro foi o provedor Bogus que utiliza linux.
>
> :-)
>
> --
> Patrick Tracanelli
>
> FreeBSD Brasil LTDA.
> Tel.: (31) 3516-0800
> 316601 at sip.freebsdbrasil.com.br
> http://www.freebsdbrasil.com.br
> "Long live Hanin Elias, Kim Deal!"
>
> --
> gter list    https://eng.registro.br/mailman/listinfo/gter
>