[GTER] RES: RES: RES: Res: Res: Concentrador PPPoE

Mon Jun 20 10:22:26 -03 2011

Tenho 9 RBs 1100, cada uma batendo em torno de 350 conexões simultâneas em 
horários de pico.

Processamento chegou a dar picos de 37%, média 25%.

Tráfego em torno de 22 Mbps down / 5Mbps up

Distribuição de IPs é feita pelo radius, então cada conexão a RB anuncia o 
/32 (a tabela de roteamento chega a 3200 rotas), cria as queues 
dinamicamente.

Algumas com ROS 4.17 e outras com ROS 5.4

att.

Adriano Struck - TPA Internet
www.tpa.com.br
(47) 33822684

--------------------------------------------------
From: "Jonatas M. Victor" <jonatasmv at gmail.com>
Sent: Friday, June 17, 2011 11:25 PM
To: "Grupo de Trabalho de Engenharia e Operacao de Redes" 
<gter at eng.registro.br>
Subject: Re: [GTER] RES: RES: RES: Res: Res: Concentrador PPPoE

> Alguém já conseguiu ou sabe como gerar testes de conectividade pppoe
> para testar o hardware? Hoje realizei alguns scripts
> utilizando uma rb750 bem simples onde com um FreeBSD conectado a ela
> consegui gerar 30 conexões simultâneas
> pppoe c/ bandas em queues de 1M/1M gerando tráfego ICMP até o limite
> de cada conexão. Com 50 conexões a
> router simplesmente reiniciava. Fiz testes c/ regra única de change
> mss e com o padrão gerado com o routeros e
> e os testes não foram muito diferentes.
> Tem algum colega utilizando rb1100 chegando a quantas conexões 
> simultâneas?
>
> 2011/6/16 Cesar Fazan <cesar.fazan at gmail.com>:
>> Para chegar bem perto do limite gigabit nas interfaces eu tive que
>> fazer vários ajustes no FreeBSD 8.2.
>> Eu particularmente não tive bons resultados com interfaces que
>> utilizam o driver bce, mais tive bons com bge, igb.
>>
>> Tendo em consideração placas boas, desabilite o polling na
>> configuração do kernel e recompile.
>> Entre os vários ajustes que fiz, no meu /boot/loader.conf tenho
>> habilitado o net isr para utilizar mais de um core do processador e
>> aumentar o tamanho da fila.
>>
>> Utilizo um xeon dual core com apenas 2 interfaces gigabit
>> net.isr.maxthreads=2
>> net.isr.defaultqlimit=4096
>> net.isr.maxqlimit=10240
>> net.isr.bindthreads=1
>>
>> Experimente também os valores 0|1 em net.isr.direct
>>
>> Verifique a variavél net.inet.ip.intr_queue_drops para ver se existem
>> pacotes sendo descartados. Caso essa variável possua um tamanho maior
>> que 0 vá aumentando a variável net.inet.ip.intr_queue_maxlen.
>>
>> Referência 
>> http://serverfault.com/questions/64356/freebsd-performance-tuning-sysctls-loader-conf-kernel
>>
>>
>> 2011/6/16 Paulo Henrique BSD Brasil <paulo.rddck at bsd.com.br>:
>>> No caso 4Gbs no total de trafego agregado nas interfaces ou foi 2Gb com 
>>> 1Gb
>>> saindo pela bce e 1Gb chegando na igb ?
>>> Apenas por curiosidade, estava em quanto a interrupção da maquina quando
>>> atingiu o limite ?
>>>
>>> att.
>>>
>>> Em 16/6/2011 20:44, Eduardo Schoedler escreveu:
>>>>
>>>> Na verdade tenho um Xeon 3440 e 8GB RAM.
>>>>
>>>> CPU: Intel(R) Xeon(R) CPU  X3440  @ 2.53GHz (2527.00-MHz K8-class CPU)
>>>>   Origin = "GenuineIntel"  Id = 0x106e5  Family = 6  Model = 1e 
>>>> Stepping
>>>> = 5
>>>>
>>>> Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>
>>>>
>>>> Features2=0x98e3fd<SSE3,DTES64,MON,DS_CPL,VMX,SMX,EST,TM2,SSSE3,CX16,xTPR,PDCM,SSE4.1,SSE4.2,POPCNT>
>>>>   AMD Features=0x28100800<SYSCALL,NX,RDTSCP,LM>
>>>>   AMD Features2=0x1<LAHF>
>>>>   TSC: P-state invariant
>>>> real memory  = 8589934592 (8192 MB)
>>>> avail memory = 8232329216 (7850 MB)
>>>> ACPI APIC Table:<DELL   PE_SC3>
>>>> FreeBSD/SMP: Multiprocessor System Detected: 8 CPUs
>>>> FreeBSD/SMP: 1 package(s) x 4 core(s) x 2 SMT threads
>>>>
>>>> Estava testando com uma bce e outra igb (com 4 queues).
>>>> 2Gbps full-duplex com pacotes de 64 bytes (realidade da internet).
>>>>
>>>> Tive muitos problemas com jumbo-frames nesses drivers, acabei por não
>>>> utilizar.
>>>>
>>>> --
>>>> Eduardo Schoedler
>>>>
>>>>
>>>>> -----Mensagem original-----
>>>>> De: gter-bounces at eng.registro.br [mailto:gter-bounces at eng.registro.br]
>>>>> Em nome de Paulo Henrique BSD Brasil
>>>>> Enviada em: quinta-feira, 16 de junho de 2011 18:28
>>>>> Para: gter at eng.registro.br
>>>>> Assunto: Re: [GTER] RES: RES: Res: Res: Concentrador PPPoE
>>>>>
>>>>> Xeon 5620 morrendo só com 2 Gigabits de trafego, ou o driver da
>>>>> interface que estava consumindo recurso excessivamente ?
>>>>> Tenho apenas uma bge na infra da empresa, e não noto muito consumo por
>>>>> parte de rede, 8.1-Release-p2, o problema é limitado as bce ?
>>>>> Att.
>>>>> Em 16/6/2011 02:12, Eduardo Schoedler escreveu:
>>>>>>
>>>>>> Paulo,
>>>>>>
>>>>>> Sim, é o mesmo hardware. Em testes com 2 portas de rede com Freebsd-
>>>>>
>>>>> 8.2 já chegava próximo de 100% de CPU. Acredito que ela não tenha 
>>>>> dual-
>>>>> northbridge. Algumas motherboards SuperMicro tem.
>>>>>>
>>>>>> Mas dependendo de quanto tráfego estamos falando, talvez de conta
>>>>>
>>>>> tranqüilamente.
>>>>>>
>>>>>> Att.
>>>>>>
>>>>>> --
>>>>>> Eduardo Schoedler
>>>>>> Enviado via iPhone
>>>>>>
>>>>>> Em 15/06/2011, às 23:57, Paulo Henrique<paulo.rddck at bsd.com.br>
>>>>>
>>>>> escreveu:
>>>>>>>
>>>>>>> Realmente Eduardo, e de fato o FR9100 morreria devido ao
>>>>>
>>>>> Northbrigde, contudo o R210 tem dual-northbrigde ?
>>>>>>>
>>>>>>> Essa maquina R210 é a mesma de uma thread passada quanto as
>>>>>
>>>>> broadcoms ?
>>>>>>>
>>>>>>> Att.
>>>>>>> Em 15/06/2011 14:09, Eduardo Schoedler escreveu:
>>>>>>>>
>>>>>>>> Em 15/06/2011 00:55, Paulo Henrique escreveu:
>>>>>>>>
>>>>>>>>> Fiz um orçamento on-site com na dell para avaliar, adcionando
>>>>>
>>>>> apenas
>>>>>>>>>
>>>>>>>>> mais 2 Gbs de ram para equivaler com o FR9100, e mais uma placa
>>>>>>>>> broadcom gigabit 4x1 o valor é de 3.123 reais, se colocar um Xeon
>>>>>>>>> vai para 3.389.
>>>>>>>>> Dependendo do ponto de vista ambas tem seu ponto forte.
>>>>>>>>> FR9100 = 6 Portas Gigabit Intel não é facil colocar isso em um 1U.
>>>>>>>>>
>>>>>>>> As placas Intel que vem no FR9100 são com chipset 82573... não
>>>>>
>>>>> suportam MSI,
>>>>>>>>
>>>>>>>> nem RSS, nem Jumbo Frames.
>>>>>>>> Também não diz quantas northbridges essa MoBo possui, se for
>>>>>
>>>>> somente uma não
>>>>>>>>
>>>>>>>> adianta ter 6 portas pois quem morre primeiro é o processador.
>>>>>>>>
>>>>>>>>
>>>>>>>>> Dell R210 = no maximo 4 portas gigabits e ainda broadcom que pelo
>>>>>
>>>>> menos
>>>>>>>>>
>>>>>>>>> no que leio tem um desempenho pessimo, Processador Xeon é bacana,
>>>>>
>>>>> mais
>>>>>>>>>
>>>>>>>>> do que adianta processador se não tem interface de rede para usa-
>>>>>
>>>>> lo.
>>>>>>>>
>>>>>>>> Isso é pelo site.
>>>>>>>> Aquiri um Dell R210 com dual Broadcom 5716 onboard + Intel-quad.
>>>>>>>>
>>>>>>>>
>>>>>>>>> É no final um FR9100 com um Core 2 Duo E8200 tem tudo para
>>>>>
>>>>> satisfazer a
>>>>>>>>>
>>>>>>>>> demanda por desempenho.
>>>>>>>>>
>>>>>>>> Depende de quanto tráfego e PPS estamos falando.
>>>>>>>>
>>>>>>>> --
>>>>>>>> Eduardo Schoedler
>>>>>>>>
>>>>>>>> --
>>>>>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>>>>>>
>>>>>>> --
>>>>>>> Paulo Henrique R. Oliveira. Consultória em Projetos de TI. Cel: (21)
>>>>>
>>>>> 9683-5433 - VIVO. Cel: (21) 7402-6128 - Claro. Desenvolvedor de
>>>>> Software / Administrador de Sitemas. Genuine BSD/Unix User.
>>>>>>>
>>>>>>> --
>>>>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>>>>
>>>>>> --
>>>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>>>
>>>>> --
>>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>>
>>>> --
>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>
>>> --
>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>> --
>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>
>
>
>
> -- 
> .:Abraços:.
>
> <<< Jonatas M. Victor >>>
> jonatas at jmv.eti.br / jonatasmv at gmail.com
> UIN: 138431258 / MSN: jonatasmv at msn.com
> BSD   User: BSD051240 / Linux User: #278922
> --
> gter list    https://eng.registro.br/mailman/listinfo/gter 