[MASOCH-L] scp lento, iperf rapido (somente paralelo)

Thu Oct 29 10:22:32 -03 2020

Oi, sim.

Respondendo as perguntas:  o link inicialmente era 100Mbps , mas foi
aumentado para 200Mbps.
O resultado que fiz agora com nc no link de  200Mbps com um arquivo de
100MB de link foi esse abaixo (já batemos ponto a ponto se havia algum
equipamento no meio do caminho com 100Mbps  etc.. mas ainda não
encontramos nada):

# dd if=/dev/zero bs=100M count=1 | nc  <destino> 1234
1+0 records in
1+0 records out
104857600 bytes (105 MB, 100 MiB) copied, 12.4108 s, 8.4 MB/s

No servidor1  (origem) que está no datacenter1 (rede 10Gbps),  o
kernel está com esses parâmetros:

net.ipv4.ip_forward = 1
net.ipv6.conf.all.forwarding = 0
net.ipv4.tcp_timestamps = 0
net.ipv4.icmp_echo_ignore_broadcasts = 1
net.ipv4.conf.all.rp_filter = 1
fs.inotify.max_user_watches = 65536
net.ipv4.conf.default.promote_secondaries = 1
net.ipv4.conf.all.promote_secondaries = 1
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
fs.file-max = 6815744
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 262144 262144 262144
net.ipv4.tcp_wmem = 262144 262144 262144
net.core.netdev_max_backlog = 30000
net.ipv4.tcp_congestion_control = htcp
net.ipv4.tcp_mtu_probing = 1
fs.aio-max-nr = 3145728
net.core.rmem_default = 262144
net.core.wmem_default = 262144
kernel.sysrq = 1
kernel.shmall = 268435456
kernel.shmmax = 751619276800
vm.nr_hugepages = 358400
vm.swappiness = 10

E no servidor2 , no datacenter2 (rede 1Gbps, que é destino das cópias):

net.ipv4.conf.all.rp_filter = 0
fs.inotify.max_user_watches = 65536
net.ipv4.conf.default.promote_secondaries = 1
net.ipv4.conf.all.promote_secondaries = 1
kernel.shmmax = 1825361100800
kernel.shmall = 838860800
kernel.shmmni = 4096
#kernel.sem = 250 32000 100 128
kernel.sem = 250 32000 100 250
fs.file-max = 6815744
net.ipv4.ip_local_port_range = 9000 65500
fs.aio-max-nr = 3145728
net.core.rmem_default = 262144
net.core.wmem_default = 262144
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.ip_forward = 1
kernel.panic_on_oops = 1
net.ipv6.conf.all.forwarding = 0

Rejaine da Silveira Monteiro
Analista de Suporte - Tecnologia Digital
Jamef Encomendas Urgentes
Matriz - Contagem/MG
Tel: (31) 2102-8854

Em qui., 29 de out. de 2020 às 10:09, Rafael Ribeiro
<rafaelribeiro.sp at gmail.com> escreveu:
>
> O kernel foi otimizado para tais velocidades de rede?
>
> Em qui, 29 de out de 2020 10:03, William Costa <william.costa at gmail.com>
> escreveu:
>
> > Reijane tudo bem ?
> >
> > o Seu link é de 100Mb/s ?  (b minusculo, links são em bits)
> >
> > A velocidade foi de 11.7 MB/s ( em Bytes) convertendo para "mega bits"
> > seria 11,7 MB/s * 8 =  93,6 Mb/s praticamente o tamanho do seu link.
> >
> >
> >
> >
> >
> > Em seg., 26 de out. de 2020 às 12:19, Rejaine Silveira Monteiro <
> > rejaine at bhz.jamef.com.br> escreveu:
> >
> > > Segue o resultado do netcat :
> > >
> > > # dd if=/dev/zero bs=100M count=1 | nc <server> 1234
> > > 1+0 records in
> > > 1+0 records out
> > > 104857600 bytes (105 MB, 100 MiB) copied, 8.94203 s, 11.7 MB/s
> > >
> > > Muito lento para um link 100MB full (durante o teste o link estava
> > > sendo pouco utilizado e praticamente todo livre)
> > > :(
> > >
> > > Rejaine da Silveira Monteiro
> > > Analista de Suporte - Tecnologia Digital
> > > Jamef Encomendas Urgentes
> > > Matriz - Contagem/MG
> > > Tel: (31) 2102-8854
> > >
> > >
> > >
> > >
> > >
> > >
> > > Em sáb., 24 de out. de 2020 às 10:51, Hamilton Vera
> > > <hamilton at denox.com.br> escreveu:
> > > >
> > > > Tenta transferir sem criptografia usando netcat para você saber o real
> > > > valor.
> > > >
> > > > Em sex, 23 de out de 2020 20:00, Rejaine Silveira Monteiro <
> > > > rejaine at bhz.jamef.com.br> escreveu:
> > > >
> > > > > Oi turma, é o seguinte:
> > > > >
> > > > > Tenho um link L2 entre dois locais distantes de 200MB.
> > > > >
> > > > > Teste com iperf entre dois servidores linux (interface 10Gb de um
> > lado
> > > e
> > > > > 1Gb de outro)
> > > > >
> > > > > #iperf3 -c  IP_SERV -P 1 -i 1
> > > > > Taxa de transferência fica entre 30 Mbits/sec a 40 Mbits/sec e vejo
> > > que a
> > > > > porta nem chegou perto do limite da banda contratada.
> > > > >
> > > > > #iperf3 -c  IP_SERV -P 4 -i 1
> > > > > E taxa de transferência chega a quase o limite da banda (ex: 168
> > > Mbits/sec)
> > > > >
> > > > > O mesmo comportamento para o rsync/scp/sftp etc... Ou seja, se
> > > executar as
> > > > > cópias em paralelo com esses comandos (ou seja, copiando vários
> > > arquivos
> > > > > simultaneamente), consigo usar toda a banda na cópia.
> > > > >
> > > > > Esse link é usado exclusivamente para fazer cópias de arquivos bem
> > > grandes
> > > > > de forma individual entre esses dois datacenters. Por que será q isso
> > > > > ocorre? Já investigamos QoS ou traffic shaping no caminho e não foi
> > > > > descoberto nada. Seria alguma limitação no próprio
> > > > > socket/protocolo TCP?  Não teria como  fazer  esse tipo de cópia
> > usando
> > > > > todo o potencial da banda modificando algum parâmetro no kernel ou
> > > algo do
> > > > > tipo?
> > > > >
> > > > > --
> > > > > *Esta mensagem pode conter informações confidenciais ou
> > privilegiadas,
> > > > > sendo seu sigilo protegido por lei. Se você não for o destinatário
> > ou a
> > > > > pessoa autorizada a receber esta mensagem, não pode usar, copiar ou
> > > > > divulgar as informações nela contidas ou tomar qualquer ação baseada
> > > > > nessas
> > > > > informações. Se você recebeu esta mensagem por engano, por favor
> > avise
> > > > > imediatamente ao remetente, respondendo o e-mail e em seguida
> > apague-o.
> > > > > Agradecemos sua cooperação.*
> > > > > __
> > > > > masoch-l list
> > > > > https://eng.registro.br/mailman/listinfo/masoch-l
> > > > >
> > > > __
> > > > masoch-l list
> > > > https://eng.registro.br/mailman/listinfo/masoch-l
> > >
> > > --
> > > *Esta mensagem pode conter informações confidenciais ou privilegiadas,
> > > sendo seu sigilo protegido por lei. Se você não for o destinatário ou a
> > > pessoa autorizada a receber esta mensagem, não pode usar, copiar ou
> > > divulgar as informações nela contidas ou tomar qualquer ação baseada
> > > nessas
> > > informações. Se você recebeu esta mensagem por engano, por favor avise
> > > imediatamente ao remetente, respondendo o e-mail e em seguida apague-o.
> > > Agradecemos sua cooperação.*
> > > __
> > > masoch-l list
> > > https://eng.registro.br/mailman/listinfo/masoch-l
> > >
> > __
> > masoch-l list
> > https://eng.registro.br/mailman/listinfo/masoch-l
> >
> __
> masoch-l list
> https://eng.registro.br/mailman/listinfo/masoch-l

-- 
*Esta mensagem pode conter informações confidenciais ou privilegiadas, 
sendo seu sigilo protegido por lei. Se você não for o destinatário ou a 
pessoa autorizada a receber esta mensagem, não pode usar, copiar ou 
divulgar as informações nela contidas ou tomar qualquer ação baseada nessas 
informações. Se você recebeu esta mensagem por engano, por favor avise 
imediatamente ao remetente, respondendo o e-mail e em seguida apague-o. 
Agradecemos sua cooperação.*