[GTER] RES: RES: RES: RES: Res: Res: Concentrador PPPoE

Mon Jun 20 11:28:32 -03 2011

Até algum tempo atrás utilizávamos servidores IBM, aqueles X3200 baratinhos 
com processador Xeon 1.8.

Funcionava bem, mas ocorria alguns travamentos, principalmente quando 
acessávamos demais eles, listando todas as interfaces via winbox, etc.

Como o IBM suportava mais de 1000 conexões, na hora de listar isso via 
winbox, do nada, ele louqueava e sumia as interfaces, travava tudo... tanto 
no ROS 4.x quanto no ROS 5.x

Depois disso, tentamos utilizar uma máquina melhor, um Dell R410 com dois 
processadores, etc. Pior ainda, chegou em 1500 conexões e simplesmente não 
subia mais nenhum, bem estranho.

Foi então que decidimos encher o rack de RBs... até agora não incomodou 
mais, mas poucas conexões em cada um... 350 no máximo até agora.

Chegamos a fazer testes nelas e trabalharam com 550 conexões, creio que 
suporte até 600, em casos de contingência.

att.

Adriano Struck - TPA Internet
www.tpa.com.br
(47) 33822684

--------------------------------------------------
From: "Jeferson Tadeu R. da Silva" <jeferson.silva at tecnoasp.com.br>
Sent: Monday, June 20, 2011 10:57 AM
To: "'Grupo de Trabalho de Engenharia e Operacao de Redes'" 
<gter at eng.registro.br>
Subject: [GTER] RES:  RES: RES: RES: Res: Res: Concentrador PPPoE

> Adriano,
>
> Como esta o comportamento das RB's com o OS 5.4, algum travamento,
> alguma instabilidade?
>
> Jeferson Tadeu R. da Silva
> jeferson.silva at tecnoasp.com.br
>
> -----Mensagem original-----
> De: gter-bounces at eng.registro.br [mailto:gter-bounces at eng.registro.br] Em
> nome de Adriano Struck
> Enviada em: segunda-feira, 20 de junho de 2011 10:22
> Para: Grupo de Trabalho de Engenharia e Operacao de Redes
> Assunto: Re: [GTER] RES: RES: RES: Res: Res: Concentrador PPPoE
>
> Tenho 9 RBs 1100, cada uma batendo em torno de 350 conexões simultâneas em
> horários de pico.
>
> Processamento chegou a dar picos de 37%, média 25%.
>
> Tráfego em torno de 22 Mbps down / 5Mbps up
>
> Distribuição de IPs é feita pelo radius, então cada conexão a RB anuncia o
> /32 (a tabela de roteamento chega a 3200 rotas), cria as queues
> dinamicamente.
>
> Algumas com ROS 4.17 e outras com ROS 5.4
>
> att.
>
> Adriano Struck - TPA Internet
> www.tpa.com.br
> (47) 33822684
>
>
>
>
> --------------------------------------------------
> From: "Jonatas M. Victor" <jonatasmv at gmail.com>
> Sent: Friday, June 17, 2011 11:25 PM
> To: "Grupo de Trabalho de Engenharia e Operacao de Redes"
> <gter at eng.registro.br>
> Subject: Re: [GTER] RES: RES: RES: Res: Res: Concentrador PPPoE
>
>> Alguém já conseguiu ou sabe como gerar testes de conectividade pppoe
>> para testar o hardware? Hoje realizei alguns scripts utilizando uma
>> rb750 bem simples onde com um FreeBSD conectado a ela consegui gerar
>> 30 conexões simultâneas pppoe c/ bandas em queues de 1M/1M gerando
>> tráfego ICMP até o limite de cada conexão. Com 50 conexões a router
>> simplesmente reiniciava. Fiz testes c/ regra única de change mss e com
>> o padrão gerado com o routeros e e os testes não foram muito
>> diferentes.
>> Tem algum colega utilizando rb1100 chegando a quantas conexões
>> simultâneas?
>>
>> 2011/6/16 Cesar Fazan <cesar.fazan at gmail.com>:
>>> Para chegar bem perto do limite gigabit nas interfaces eu tive que
>>> fazer vários ajustes no FreeBSD 8.2.
>>> Eu particularmente não tive bons resultados com interfaces que
>>> utilizam o driver bce, mais tive bons com bge, igb.
>>>
>>> Tendo em consideração placas boas, desabilite o polling na
>>> configuração do kernel e recompile.
>>> Entre os vários ajustes que fiz, no meu /boot/loader.conf tenho
>>> habilitado o net isr para utilizar mais de um core do processador e
>>> aumentar o tamanho da fila.
>>>
>>> Utilizo um xeon dual core com apenas 2 interfaces gigabit
>>> net.isr.maxthreads=2
>>> net.isr.defaultqlimit=4096
>>> net.isr.maxqlimit=10240
>>> net.isr.bindthreads=1
>>>
>>> Experimente também os valores 0|1 em net.isr.direct
>>>
>>> Verifique a variavél net.inet.ip.intr_queue_drops para ver se existem
>>> pacotes sendo descartados. Caso essa variável possua um tamanho maior
>>> que 0 vá aumentando a variável net.inet.ip.intr_queue_maxlen.
>>>
>>> Referência
>>> http://serverfault.com/questions/64356/freebsd-performance-tuning-sys
>>> ctls-loader-conf-kernel
>>>
>>>
>>> 2011/6/16 Paulo Henrique BSD Brasil <paulo.rddck at bsd.com.br>:
>>>> No caso 4Gbs no total de trafego agregado nas interfaces ou foi 2Gb
>>>> com 1Gb saindo pela bce e 1Gb chegando na igb ?
>>>> Apenas por curiosidade, estava em quanto a interrupção da maquina
>>>> quando atingiu o limite ?
>>>>
>>>> att.
>>>>
>>>> Em 16/6/2011 20:44, Eduardo Schoedler escreveu:
>>>>>
>>>>> Na verdade tenho um Xeon 3440 e 8GB RAM.
>>>>>
>>>>> CPU: Intel(R) Xeon(R) CPU  X3440  @ 2.53GHz (2527.00-MHz K8-class CPU)
>>>>>   Origin = "GenuineIntel"  Id = 0x106e5  Family = 6  Model = 1e
>>>>> Stepping = 5
>>>>>
>>>>> Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTR
>>>>> R,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,
>>>>> TM,PBE>
>>>>>
>>>>>
> Features2=0x98e3fd<SSE3,DTES64,MON,DS_CPL,VMX,SMX,EST,TM2,SSSE3,CX16,xTPR,PD
> CM,SSE4.1,SSE4.2,POPCNT>
>>>>>   AMD Features=0x28100800<SYSCALL,NX,RDTSCP,LM>
>>>>>   AMD Features2=0x1<LAHF>
>>>>>   TSC: P-state invariant
>>>>> real memory  = 8589934592 (8192 MB) avail memory = 8232329216 (7850
>>>>> MB)
>>>>> ACPI APIC Table:<DELL   PE_SC3>
>>>>> FreeBSD/SMP: Multiprocessor System Detected: 8 CPUs
>>>>> FreeBSD/SMP: 1 package(s) x 4 core(s) x 2 SMT threads
>>>>>
>>>>> Estava testando com uma bce e outra igb (com 4 queues).
>>>>> 2Gbps full-duplex com pacotes de 64 bytes (realidade da internet).
>>>>>
>>>>> Tive muitos problemas com jumbo-frames nesses drivers, acabei por
>>>>> não utilizar.
>>>>>
>>>>> --
>>>>> Eduardo Schoedler
>>>>>
>>>>>
>>>>>> -----Mensagem original-----
>>>>>> De: gter-bounces at eng.registro.br
>>>>>> [mailto:gter-bounces at eng.registro.br]
>>>>>> Em nome de Paulo Henrique BSD Brasil Enviada em: quinta-feira, 16
>>>>>> de junho de 2011 18:28
>>>>>> Para: gter at eng.registro.br
>>>>>> Assunto: Re: [GTER] RES: RES: Res: Res: Concentrador PPPoE
>>>>>>
>>>>>> Xeon 5620 morrendo só com 2 Gigabits de trafego, ou o driver da
>>>>>> interface que estava consumindo recurso excessivamente ?
>>>>>> Tenho apenas uma bge na infra da empresa, e não noto muito consumo
>>>>>> por parte de rede, 8.1-Release-p2, o problema é limitado as bce ?
>>>>>> Att.
>>>>>> Em 16/6/2011 02:12, Eduardo Schoedler escreveu:
>>>>>>>
>>>>>>> Paulo,
>>>>>>>
>>>>>>> Sim, é o mesmo hardware. Em testes com 2 portas de rede com
>>>>>>> Freebsd-
>>>>>>
>>>>>> 8.2 já chegava próximo de 100% de CPU. Acredito que ela não tenha
>>>>>> dual-
>>>>>> northbridge. Algumas motherboards SuperMicro tem.
>>>>>>>
>>>>>>> Mas dependendo de quanto tráfego estamos falando, talvez de conta
>>>>>>
>>>>>> tranqüilamente.
>>>>>>>
>>>>>>> Att.
>>>>>>>
>>>>>>> --
>>>>>>> Eduardo Schoedler
>>>>>>> Enviado via iPhone
>>>>>>>
>>>>>>> Em 15/06/2011, às 23:57, Paulo Henrique<paulo.rddck at bsd.com.br>
>>>>>>
>>>>>> escreveu:
>>>>>>>>
>>>>>>>> Realmente Eduardo, e de fato o FR9100 morreria devido ao
>>>>>>
>>>>>> Northbrigde, contudo o R210 tem dual-northbrigde ?
>>>>>>>>
>>>>>>>> Essa maquina R210 é a mesma de uma thread passada quanto as
>>>>>>
>>>>>> broadcoms ?
>>>>>>>>
>>>>>>>> Att.
>>>>>>>> Em 15/06/2011 14:09, Eduardo Schoedler escreveu:
>>>>>>>>>
>>>>>>>>> Em 15/06/2011 00:55, Paulo Henrique escreveu:
>>>>>>>>>
>>>>>>>>>> Fiz um orçamento on-site com na dell para avaliar, adcionando
>>>>>>
>>>>>> apenas
>>>>>>>>>>
>>>>>>>>>> mais 2 Gbs de ram para equivaler com o FR9100, e mais uma
>>>>>>>>>> placa broadcom gigabit 4x1 o valor é de 3.123 reais, se
>>>>>>>>>> colocar um Xeon vai para 3.389.
>>>>>>>>>> Dependendo do ponto de vista ambas tem seu ponto forte.
>>>>>>>>>> FR9100 = 6 Portas Gigabit Intel não é facil colocar isso em um 
>>>>>>>>>> 1U.
>>>>>>>>>>
>>>>>>>>> As placas Intel que vem no FR9100 são com chipset 82573... não
>>>>>>
>>>>>> suportam MSI,
>>>>>>>>>
>>>>>>>>> nem RSS, nem Jumbo Frames.
>>>>>>>>> Também não diz quantas northbridges essa MoBo possui, se for
>>>>>>
>>>>>> somente uma não
>>>>>>>>>
>>>>>>>>> adianta ter 6 portas pois quem morre primeiro é o processador.
>>>>>>>>>
>>>>>>>>>
>>>>>>>>>> Dell R210 = no maximo 4 portas gigabits e ainda broadcom que
>>>>>>>>>> pelo
>>>>>>
>>>>>> menos
>>>>>>>>>>
>>>>>>>>>> no que leio tem um desempenho pessimo, Processador Xeon é
>>>>>>>>>> bacana,
>>>>>>
>>>>>> mais
>>>>>>>>>>
>>>>>>>>>> do que adianta processador se não tem interface de rede para
>>>>>>>>>> usa-
>>>>>>
>>>>>> lo.
>>>>>>>>>
>>>>>>>>> Isso é pelo site.
>>>>>>>>> Aquiri um Dell R210 com dual Broadcom 5716 onboard + Intel-quad.
>>>>>>>>>
>>>>>>>>>
>>>>>>>>>> É no final um FR9100 com um Core 2 Duo E8200 tem tudo para
>>>>>>
>>>>>> satisfazer a
>>>>>>>>>>
>>>>>>>>>> demanda por desempenho.
>>>>>>>>>>
>>>>>>>>> Depende de quanto tráfego e PPS estamos falando.
>>>>>>>>>
>>>>>>>>> --
>>>>>>>>> Eduardo Schoedler
>>>>>>>>>
>>>>>>>>> --
>>>>>>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>>>>>>>
>>>>>>>> --
>>>>>>>> Paulo Henrique R. Oliveira. Consultória em Projetos de TI. Cel:
>>>>>>>> (21)
>>>>>>
>>>>>> 9683-5433 - VIVO. Cel: (21) 7402-6128 - Claro. Desenvolvedor de
>>>>>> Software / Administrador de Sitemas. Genuine BSD/Unix User.
>>>>>>>>
>>>>>>>> --
>>>>>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>>>>>
>>>>>>> --
>>>>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>>>>
>>>>>> --
>>>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>>>
>>>>> --
>>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>>
>>>> --
>>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>> --
>>> gter list    https://eng.registro.br/mailman/listinfo/gter
>>>
>>
>>
>>
>> --
>> .:Abraços:.
>>
>> <<< Jonatas M. Victor >>>
>> jonatas at jmv.eti.br / jonatasmv at gmail.com
>> UIN: 138431258 / MSN: jonatasmv at msn.com
>> BSD   User: BSD051240 / Linux User: #278922
>> --
>> gter list    https://eng.registro.br/mailman/listinfo/gter
>
> --
> gter list    https://eng.registro.br/mailman/listinfo/gter
>
> --
> gter list    https://eng.registro.br/mailman/listinfo/gter 