[caiu] Wirelink Telecom - esclarecimentos sobre problema do dia 12/08

[Filipe Abelha Melo]

Bom dia a todos !

Como a Wirelink foi citada por alguns dos nossos clientes logo no início do
problema de terça-feira, acreditamos ser importante esclarecer o que de fato
ocorreu de forma bem resumida, direta e aberta:

1.       Sim, fomos afetados pelo estouro das rotas > 512k atingindo 20% do
nosso tráfego;

2.        O diagnóstico correto demorou 6 horas devido:

a.       Diversas outras falhas em outras operadoras. Começamos procurando
externamente a causa do problema. 

b.      Nos routers o output dos comandos (rotas) não refletia o que ocorria
na TCAM, ou seja, o router mostrava as rotas e confiávamos no que ele
mostrava.

c.       A TCAM mostrava 95% de uso, reforçando mais a idéia de que o
problema não era estouro. Nesse site podemos ver q na terça logo cedo alguma
operadora enviou 15K rotas a mais:
http://www.bgpmon.net/what-caused-todays-internet-hiccup/. Publicou e logo
retirou, mas, foi o suficiente para dar um “freeze” na TCAM.

3.       Assim que tivemos a certeza do diagnóstico vimos que:

a.       Precisávamos realocar recurso da TCAM tirando do ipv6 e ampliando o
ipv4.

b.      Seria necessário reboot. 

4.       Temos 5 routers todos cisco linha 7600 (XL). Se 80% do tráfego
estava normal não justificava fazer essa manutenção durante o dia.

5.       Começamos a manutenção 01h da madrugada de terça para quarta.    

a.       Murphy deu o ar de sua graça e 2 das routers não subiram. Isso
reforçou o acerto na decisão de fazer somente na madrugada.

b.      Tivemos que substituir placa e realizar alguns procedimentos em modo
rommon.

6.       A manutenção que era para durar 1h no máximo, durou 5hs.

 

Há alguns meses, quando vimos que a tabela ipv4 ultrapassou 90% iniciamos o
processo de análise das opções para substituição dos routers core, pois,
acreditamos que retirar recursos do ipv6 para alocar ao ipv4 é uma medida
pouco ortodoxa. É tanto que um deles já chega na semana que vem.

 

Problema resolvido, pedimos desculpas pelo transtorno e trabalharemos ainda
mais daqui pra frente para garantir a alta disponibilidade do serviço.

 

Cordialmente,

Wirelink Telecom