[GTER] RES: RES: RES: Res: Res: Concentrador PPPoE

Mon Jun 20 10:56:09 -03 2011

 Usando OSPF?

2011/6/20 Adriano Struck <adrianos at tpa.com.br>:
> Tenho 9 RBs 1100, cada uma batendo em torno de 350 conexões simultâneas em
> horários de pico.
>
> Processamento chegou a dar picos de 37%, média 25%.
>
> Tráfego em torno de 22 Mbps down / 5Mbps up
>
> Distribuição de IPs é feita pelo radius, então cada conexão a RB anuncia o
> /32 (a tabela de roteamento chega a 3200 rotas), cria as queues
> dinamicamente.
>
> Algumas com ROS 4.17 e outras com ROS 5.4
>
> att.
>
> Adriano Struck - TPA Internet
> www.tpa.com.br
> (47) 33822684
>
>
>
>
> --------------------------------------------------
> From: "Jonatas M. Victor" <jonatasmv at gmail.com>
> Sent: Friday, June 17, 2011 11:25 PM
> To: "Grupo de Trabalho de Engenharia e Operacao de Redes"
> <gter at eng.registro.br>
> Subject: Re: [GTER] RES: RES: RES: Res: Res: Concentrador PPPoE
>
>> Alguém já conseguiu ou sabe como gerar testes de conectividade pppoe
>> para testar o hardware? Hoje realizei alguns scripts
>> utilizando uma rb750 bem simples onde com um FreeBSD conectado a ela
>> consegui gerar 30 conexões simultâneas
>> pppoe c/ bandas em queues de 1M/1M gerando tráfego ICMP até o limite
>> de cada conexão. Com 50 conexões a
>> router simplesmente reiniciava. Fiz testes c/ regra única de change
>> mss e com o padrão gerado com o routeros e
>> e os testes não foram muito diferentes.
>> Tem algum colega utilizando rb1100 chegando a quantas conexões
>> simultâneas?
>>
>> 2011/6/16 Cesar Fazan <cesar.fazan at gmail.com>:
>>>
>>> Para chegar bem perto do limite gigabit nas interfaces eu tive que
>>> fazer vários ajustes no FreeBSD 8.2.
>>> Eu particularmente não tive bons resultados com interfaces que
>>> utilizam o driver bce, mais tive bons com bge, igb.
>>>
>>> Tendo em consideração placas boas, desabilite o polling na
>>> configuração do kernel e recompile.
>>> Entre os vários ajustes que fiz, no meu /boot/loader.conf tenho
>>> habilitado o net isr para utilizar mais de um core do processador e
>>> aumentar o tamanho da fila.
>>>
>>> Utilizo um xeon dual core com apenas 2 interfaces gigabit
>>> net.isr.maxthreads=2
>>> net.isr.defaultqlimit=4096
>>> net.isr.maxqlimit=10240
>>> net.isr.bindthreads=1
>>>
>>> Experimente também os valores 0|1 em net.isr.direct
>>>
>>> Verifique a variavél net.inet.ip.intr_queue_drops para ver se existem
>>> pacotes sendo descartados. Caso essa variável possua um tamanho maior
>>> que 0 vá aumentando a variável net.inet.ip.intr_queue_maxlen.
>>>
>>> Referência
>>> http://serverfault.com/questions/64356/freebsd-performance-tuning-sysctls-loader-conf-kernel
>>>
>>>
>>> 2011/6/16 Paulo Henrique BSD Brasil <paulo.rddck at bsd.com.br>:
>>>>
>>>> No caso 4Gbs no total de trafego agregado nas interfaces ou foi 2Gb com
>>>> 1Gb
>>>> saindo pela bce e 1Gb chegando na igb ?
>>>> Apenas por curiosidade, estava em quanto a interrupção da maquina quando
>>>> atingiu o limite ?
>>>>
>>>> att.
>>>>
>>>> Em 16/6/2011 20:44, Eduardo Schoedler escreveu:
>>>>>
>>>>> Na verdade tenho um Xeon 3440 e 8GB RAM.
>>>>>
>>>>> CPU: Intel(R) Xeon(R) CPU  X3440  @ 2.53GHz (2527.00-MHz K8-class CPU)
>>>>>  Origin = "GenuineIntel"  Id = 0x106e5  Family = 6  Model = 1e Stepping
>>>>> = 5
>>>>>
>>>>>
>>>>> Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>
>>>>>
>>>>>
>>>>> Features2=0x98e3fd<SSE3,DTES64,MON,DS_CPL,VMX,SMX,EST,TM2,SSSE3,CX16,xTPR,PDCM,SSE4.1,SSE4.2,POPCNT>
>>>>>  AMD Features=0x28100800<SYSCALL,NX,RDTSCP,LM>
>>>>>  AMD Features2=0x1<LAHF>
>>>>>  TSC: P-state invariant
>>>>> real memory  = 8589934592 (8192 MB)
>>>>> avail memory = 8232329216 (7850 MB)
>>>>> ACPI APIC Table:<DELL   PE_SC3>
>>>>> FreeBSD/SMP: Multiprocessor System Detected: 8 CPUs
>>>>> FreeBSD/SMP: 1 package(s) x 4 core(s) x 2 SMT threads
>>>>>
>>>>> Estava testando com uma bce e outra igb (com 4 queues).
>>>>> 2Gbps full-duplex com pacotes de 64 bytes (realidade da internet).
>>>>>
>>>>> Tive muitos problemas com jumbo-frames nesses drivers, acabei por não
>>>>> utilizar.
>>>>>
>>>>> --
>>>>> Eduardo Schoedler
>>>>>
>>>>>
>>>>>> -----Mensagem original-----
>>>>>> De: gter-bounces at eng.registro.br [mailto:gter-bounces at eng.registro.br]
>>>>>> Em nome de Paulo Henrique BSD Brasil
>>>>>> Enviada em: quinta-feira, 16 de junho de 2011 18:28
>>>>>> Para: gter at eng.registro.br
>>>>>> Assunto: Re: [GTER] RES: RES: Res: Res: Concentrador PPPoE
>>>>>>
>>>>>> Xeon 5620 morrendo só com 2 Gigabits de trafego, ou o driver da
>>>>>> interface que estava consumindo recurso excessivamente ?
>>>>>> Tenho apenas uma bge na infra da empresa, e não noto muito consumo por
>>>>>> parte de rede, 8.1-Release-p2, o problema é limitado as bce ?
>>>>>> Att.
>>>>>> Em 16/6/2011 02:12, Eduardo Schoedler escreveu:
>>>>>>>
>>>>>>> Paulo,
>>>>>>>
>>>>>>> Sim, é o mesmo hardware. Em testes com 2 portas de rede com Freebsd-
>>>>>>
>>>>>> 8.2 já chegava próximo de 100% de CPU. Acredito que ela não tenha
>>>>>> dual-
>>>>>> northbridge. Algumas motherboards SuperMicro tem.
>>>>>>>
>>>>>>> Mas dependendo de quanto tráfego estamos falando, talvez de conta
>>>>>>
>>>>>> tranqüilamente.
>>>>>>>
>>>>>>> Att.
>>>>>>>
>>>>>>> --
>>>>>>> Eduardo Schoedler
>>>>>>> Enviado via iPhone
>>>>>>>
>>>>>>> Em 15/06/2011, às 23:57, Paulo Henrique<paulo.rddck at bsd.com.br>
>>>>>>
>>>>>> escreveu:
>>>>>>>>
>>>>>>>> Realmente Eduardo, e de fato o FR9100 morreria devido ao
>>>>>>
>>>>>> Northbrigde, contudo o R210 tem dual-northbrigde ?
>>>>>>>>
>>>>>>>> Essa maquina R210 é a mesma de uma thread passada quanto as
>>>>>>
>>>>>> broadcoms ?
>>>>>>>>
>>>>>>>> Att.
>>>>>>>> Em 15/06/2011 14:09, Eduardo Schoedler escreveu:
>>>>>>>>>
>>>>>>>>> Em 15/06/2011 00:55, Paulo Henrique escreveu:
>>>>>>>>>
>>>>>>>>>> Fiz um orçamento on-site com na dell para avaliar, adcionando
>>>>>>
>>>>>> apenas
>>>>>>>>>>
>>>>>>>>>> mais 2 Gbs de ram para equivaler com o FR9100, e mais uma placa
>>>>>>>>>> broadcom gigabit 4x1 o valor é de 3.123 reais, se colocar um Xeon
>>>>>>>>>> vai para 3.389.
>>>>>>>>>> Dependendo do ponto de vista ambas tem seu ponto forte.
>>>>>>>>>> FR9100 = 6 Portas Gigabit Intel não é facil colocar isso em um 1U.
>>>>>>>>>>
>>>>>>>>> As placas Intel que vem no FR9100 são com chipset 82573... não
>>>>>>
>>>>>> suportam MSI,
>>>>>>>>>
>>>>>>>>> nem RSS, nem Jumbo Frames.
>>>>>>>>> Também não diz quantas northbridges essa MoBo possui, se for
>>>>>>
>>>>>> somente uma não
>>>>>>>>>
>>>>>>>>> adianta ter 6 portas pois quem morre primeiro é o processador.
>>>>>>>>>
>>>>>>>>>
>>>>>>>>>> Dell R210 = no maximo 4 portas gigabits e ainda broadcom que pelo
>>>>>>
>>>>>> menos
>>>>>>>>>>
>>>>>>>>>> no que leio tem um desempenho pessimo, Processador Xeon é bacana,
>>>>>>
>>>>>> mais
>>>>>>>>>>
>>>>>>>>>> do que adianta processador se não tem interface de rede para usa-
>>>>>>
>>>>>> lo.
>>>>>>>>>
>>>>>>>>> Isso é pelo site.
>>>>>>>>> Aquiri um Dell R210 com dual Broadcom 5716 onboard + Intel-quad.
>>>>>>>>>
>>>>>>>>>
>>>>>>>>>> É no final um FR9100 com um Core 2 Duo E8200 tem tudo para
>>>>>>
>>>>>> satisfazer a
>>>>>>>>>>
>>>>>>>>>> demanda por desempenho.
>>>>>>>>>>
>>>>>>>>> Depende de quanto tráfego e PPS estamos falando.
>>>>>>>>>
>>>>>>>>> --
>>>>>>>>> Eduardo Schoedler
>>>>>>>>>
>>>>>>>>> --
>>>>>>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>>>>>>>
>>>>>>>> --
>>>>>>>> Paulo Henrique R. Oliveira. Consultória em Projetos de TI. Cel: (21)
>>>>>>
>>>>>> 9683-5433 - VIVO. Cel: (21) 7402-6128 - Claro. Desenvolvedor de
>>>>>> Software / Administrador de Sitemas. Genuine BSD/Unix User.
>>>>>>>>
>>>>>>>> --
>>>>>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>>>>>
>>>>>>> --
>>>>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>>>>
>>>>>> --
>>>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>>>
>>>>> --
>>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>>
>>>> --
>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>
>>> --
>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>
>>
>>
>>
>> --
>> .:Abraços:.
>>
>> <<< Jonatas M. Victor >>>
>> jonatas at jmv.eti.br / jonatasmv at gmail.com
>> UIN: 138431258 / MSN: jonatasmv at msn.com
>> BSD   User: BSD051240 / Linux User: #278922
>> --
>> gter list    https://eng.registro.br/mailman/listinfo/gter
>
> --
> gter list    https://eng.registro.br/mailman/listinfo/gter
>

-- 
.:Abraços:.

<<< Jonatas M. Victor >>>
jonatas at jmv.eti.br / jonatasmv at gmail.com
UIN: 138431258 / MSN: jonatasmv at msn.com
BSD   User: BSD051240 / Linux User: #278922