[GTER] Morte às mensagens de NAT tipo 3 - DANOS - CGNAT OpenSource com BPA EIM/EIF e UPnP/PCP

[Willian Pires de Souza]

No boot do linux adicione

processor.max_cstates=1 intel_idle.max_cstates=1 intel_iommu=off  idle=poll pcie_aspm=off transparent_hugepage=never security=0 apparmor=0

No arquivo de interfaces ajuste para cada interface de 40 e de 10Gb

pre-up /usr/sbin/ethtool -L enp4s0f1 combined 8
pre-up /usr/sbin/ethtool -C enp4s0f1 adaptive-rx off adaptive-tx off rx-usecs 230 tx-usecs 230
pre-up /usr/sbin/ethtool -K enp4s0f1 tso off gso off gro off tx off rx off sg off
pre-up /usr/sbin/ethtool -G enp4s0f1 rx 4096 tx 4096
pre-up /usr/sbin/ethtool -A enp4s0f1 rx off  tx off autoneg off

No sysctl.conf
net.ipv4.ip_forward = 1
net.ipv6.conf.all.forwarding = 1
net.ipv4.conf.default.rp_filter = 0
net.ipv4.conf.all.rp_filter=0
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
net.core.somaxconn = 2048
net.ipv4.ip_default_ttl = 255
net.ipv4.icmp_ratelimit = 0
net.nf_conntrack_max=16384000
net.core.netdev_budget=600
net.ipv4.tcp_low_latency=1
net.core.rmem_max = 2147483647
net.core.wmem_max = 2147483647
net.ipv4.tcp_rmem = 4096 87380 2147483647
net.ipv4.tcp_wmem = 4096 65536 2147483647
net.ipv4.neigh.default.gc_thresh1=256
net.ipv4.neigh.default.gc_thresh2=784
net.ipv4.neigh.default.gc_thresh2=2048
kernel.numa_balancing=0
net.core.busy_read=50
net.core.busy_poll=50
net.ipv4.tcp_fastopen=3
net.core.default_qdisc=fq

##########################
net.netfilter.nf_conntrack_tcp_timeout_syn_sent=5
net.netfilter.nf_conntrack_tcp_timeout_syn_recv=5
net.netfilter.nf_conntrack_tcp_timeout_established=300
net.netfilter.nf_conntrack_tcp_timeout_fin_wait=10
net.netfilter.nf_conntrack_tcp_timeout_close_wait=10
net.netfilter.nf_conntrack_tcp_timeout_last_ack=10
net.netfilter.nf_conntrack_tcp_timeout_time_wait=30
net.netfilter.nf_conntrack_tcp_timeout_close=10
net.netfilter.nf_conntrack_tcp_max_retrans=3
net.netfilter.nf_conntrack_tcp_timeout_unacknowledged=300
net.netfilter.nf_conntrack_udp_timeout=30
net.netfilter.nf_conntrack_udp_timeout_stream=180
net.netfilter.nf_conntrack_icmp_timeout=30
net.netfilter.nf_conntrack_generic_timeout=600
net.netfilter.nf_conntrack_buckets=262144

######################   Carregando os Modulos de ALG no Netfilter
/usr/sbin/modprobe nf_nat_pptp
/usr/sbin/modprobe nf_nat_proto_gre
/usr/sbin/modprobe nf_nat_sip
/usr/sbin/modprobe nf_nat_ftp
/usr/sbin/modprobe nf_nat_ftp
/usr/sbin/modprobe nf_conntrack_ftp
/usr/sbin/modprobe nf_nat_sip
/usr/sbin/modprobe nf_conntrack_sip
/usr/sbin/modprobe nf_nat_pptp
/usr/sbin/modprobe nf_nat_proto_gre
/usr/sbin/modprobe nf_conntrack_pptp
/usr/sbin/modprobe xt_nat
/usr/sbin/modprobe iptable_nat
/usr/sbin/modprobe nf_nat_ipv4
/usr/sbin/modprobe nf_nat
/usr/sbin/modprobe nf_conntrack
/usr/sbin/modprobe ip_tables
/usr/sbin/modprobe nf_conntrack_sip nf_conntrack_snmp nf_conntrack_tftp nf_nat_irc
/usr/sbin/modprobe nf_nat_ftp nf_nat_sip nf_conntrack_proto_gre nf_nat nf_nat_ipv4 nf_nat_pptp nf_conntrack_netlink nf_conntrack_ftp nf_conntrack_sip nf_conntrack_ipv4 nf_conntrack_pptp
/usr/sbin/modprobe nf_conntrack_proto_gre







________________________________
De: gter <gter-bounces at eng.registro.br> em nome de Willian Pires de Souza <willian_pires at hotmail.com>
Enviado: terça-feira, 22 de setembro de 2020 17:50
Para: Grupo de Trabalho de Engenharia e Operacao de Redes <gter at eng.registro.br>
Assunto: Re: [GTER] Morte às mensagens de NAT tipo 3 - DANOS - CGNAT OpenSource com BPA EIM/EIF e UPnP/PCP

Processadores xeon E5-2670 v3

2 bond

1 de entrada 2x portas de 40Gb
1 de saida 4x portas de 10Gb

Foi a disponibilidade de portas e placas quando montado, nada impede de ser
placa de 4x 10Gb

O que esta na placa 1 irq aninhado na cpu 1 conforme mapa da dell
O que está na placa 2 irq aninhado na cpu 2 conforme mapa da dell

Segui o basico desabilitar cstate na bio, e configuração de tx/rx queue da placa.
No boot desabilitei qualquer carga desnecessaria de modulos deixei digamos o basico.

No linux a placa de rede nao faz vlan para evitar consumo de algo que é eh totalmente estatico.
No switch L3 acima os blocos /25 para cada /20

No router pppoe BBRA route-map mandando para a interface diretamente conectada.

E o nat do jeito que foi informado, pelo camarada anterior já disse que é deterministico e pensando melhor  é mesmo.

Abraço se precisar de mais informações fala ai que é nois.
________________________________
De: gter <gter-bounces at eng.registro.br> em nome de Willian Pires de Souza <willian_pires at hotmail.com>
Enviado: terça-feira, 22 de setembro de 2020 17:44
Para: Grupo de Trabalho de Engenharia e Operacao de Redes <gter at eng.registro.br>
Assunto: Re: [GTER] Morte às mensagens de NAT tipo 3 - DANOS - CGNAT OpenSource com BPA EIM/EIF e UPnP/PCP

Dell r720 -- Placas Intel XL710 debian 10
________________________________
De: gter <gter-bounces at eng.registro.br> em nome de Alexandre Silva Nano <alexnanow at gmail.com>
Enviado: terça-feira, 22 de setembro de 2020 11:25
Para: Grupo de Trabalho de Engenharia e Operacao de Redes <gter at eng.registro.br>
Assunto: Re: [GTER] Morte às mensagens de NAT tipo 3 - DANOS - CGNAT OpenSource com BPA EIM/EIF e UPnP/PCP

En Mon, Sep 21, 2020 at 3:31 PM Willian Pires de Souza <
willian_pires at hotmail.com> wrote:

> Bom dia,
>
> Estamos usando CGNat nativo no Debian10 com portbulk alocation, iptables
> com 128 regras na tabela principal com os ALGS ativos.
>
> Atualmente passando ~18/22Gb/s na caixa, sem nenhuma "tramoia".
>
Olá!

Confesso que estou curioso para saber em qual hardware conseguiu essa
quantidade de tráfego e qual NIC está utilizando para o mesmo.

Há possibilidade de compartilhar?

--
At.te, Alexandre Silva Nano

Analista de Tecnologia da Informação e Comunicação

Perfil LinkedIn: https://eur05.safelinks.protection.outlook.com/?url=http%3A%2F%2Fbr.linkedin.com%2Fpub%2Falexandre-silva-nano%2F33%2F59%2F77a&data=02%7C01%7C%7C5073faab0e8647ede7f508d85f393cc0%7C84df9e7fe9f640afb435aaaaaaaaaaaa%7C1%7C0%7C637364046719716230&sdata=v5jIGQWuc7K%2BfPWztawg1%2FAYy3oy%2FYQvtkuNfyn17%2Bg%3D&reserved=0
--
gter list    https://eur05.safelinks.protection.outlook.com/?url=https%3A%2F%2Feng.registro.br%2Fmailman%2Flistinfo%2Fgter&data=02%7C01%7C%7C5073faab0e8647ede7f508d85f393cc0%7C84df9e7fe9f640afb435aaaaaaaaaaaa%7C1%7C0%7C637364046719716230&sdata=F2q8j5UjD8foS7r4y1aDsgtMn06onidhN1Z%2Bw6ayFhg%3D&reserved=0
--
gter list    https://eur05.safelinks.protection.outlook.com/?url=https%3A%2F%2Feng.registro.br%2Fmailman%2Flistinfo%2Fgter&data=02%7C01%7C%7C5073faab0e8647ede7f508d85f393cc0%7C84df9e7fe9f640afb435aaaaaaaaaaaa%7C1%7C0%7C637364046719716230&sdata=F2q8j5UjD8foS7r4y1aDsgtMn06onidhN1Z%2Bw6ayFhg%3D&reserved=0
--
gter list    https://eur05.safelinks.protection.outlook.com/?url=https%3A%2F%2Feng.registro.br%2Fmailman%2Flistinfo%2Fgter&data=02%7C01%7C%7C5073faab0e8647ede7f508d85f393cc0%7C84df9e7fe9f640afb435aaaaaaaaaaaa%7C1%7C0%7C637364046719716230&sdata=F2q8j5UjD8foS7r4y1aDsgtMn06onidhN1Z%2Bw6ayFhg%3D&reserved=0