[GTER] Fwd: Re: [lacnog] Datacenter duda acerca de la topología

Fri Jul 29 13:11:19 -03 2016

Boa tarde amigos,

Gostaria de compartilhar com vocês um debate bacana que aconteceu esta 
semana na lista do LACNIC/LACNOG sobre arquitetura de rede das grandes 
empresas de Internet (Google, Netflix, Playstation), embora esteja em 
espanhol-portunhol na lista da LACNIC, foram muito enriquecedoras as 
explicações do Rogerio Mariano do LACNOG e do Arturo Servin da Google 
sobre arquitetura CLOS, SDN e interconexões de CPDs destas empresas, 
vejam no histórico abaixo. Vale a leitura.

Saudações,

Yudi Oliveira

-------- Mensagem encaminhada --------
Assunto: 	Re: [lacnog] Datacenter duda acerca de la topología
Data: 	Tue, 26 Jul 2016 09:02:08 -0300
De: 	Rogerio Mariano <rogermariano.cala at yahoo.com>
Responder a: 	Latin America and Caribbean Region Network Operators Group 
<lacnog at lacnic.net>
Para: 	Latin America and Caribbean Region Network Operators Group 
<lacnog at lacnic.net>

Hola Yudi,

No es necesario dar las gracias a la meta de la lista LACNOG es 
exactamente esto, el intercambio de información y el conocimiento de sus 
miembros!

Antes de responder a su pregunta, tenemos que agradecer a Arturo Servin 
por enviar el documento excelente 
(http://dl.acm.org/citation.cfm?id=2787508) detallando la red CLOS 
Júpiter! Mediante la lectura de este documento, usted va a ser capaz de 
seguir todo el concepto de la CLOS Fabric y cómo Google utiliza en su 
estructura. :-)

Hablando de interconexión de centros de datos, este es un tema muy 
amplio, pero puede seguir la línea de lo que decimos, podemos dividir en 
una interconexión de centro de datos tradicional y una OTT para 
conseguir un buen enfoque.

En un centro de datos tradicional hay varias maneras de hacer una 
conexión entre los sitios, todo depende principalmente de la distancia 
entre los sitios más de lo RTT (Round Trip Time) y el tipo de tráfico 
que se desee cambiar (por ejemplo, un banco datos Exadata, SAP, Oracle, 
o una base de datos de replicación síncrona) y también depende de la 
arquitectura de la red que se está utilizando. Otros puntos son 
obligatorios como: la latencia, el enlace entre los centros está 
dedicada o compartida, apoyo MTU Jumbo Frame (por ejemplo, una MTU de 
Ethernet es de 1500 bytes, un MTU de Fibre Channel es de 2148 
bytes), FCIP-TCP, Buffer Overflow, QoS, TCP Window Size, TCP Maximum 
Bandwith,  además del modo de conexión, puede ser: IP, L3-VPN-MPLS, 
LISP, EoMPLS, AToM, VPLS, DWDM directo, IGP, etc ... que es una fuerte 
combinación de factores y características, pero se centró en las 
tecnologías existentes.

En un centro de datos de un OTT el sistema cambia un poco, porque en 
general este tipo de empresa/servicio sirve a millones o miles de 
millones de usuarios por características generales, estas empresas 
tienen en 6, 10, 15 centros de datos en todo el mundo con gran parte de 
los EE.UU.. En general, la conexión entre estos datacentes se toma a 
través de la gran red de transporte DWDM/OTN/IPoDWDM (propia o por medio 
de Carries) con OpenFlow, centralized-Traffic Engineering con RSVP-TE y 
PCE, IS-IS/BGP, dataplane APIs, que es bastante diferente de un centro 
de datos tradicional, tal vez la gran diferencia es la escala y el coste 
por bps en CapEx/OpEx y menos aprovisionamiento para cumplir con el 
mismo tipo de SLA.

Usted preguntó cómo se interconectan y cómo se reúnen y distribuyen los 
servicios y contenidos a los usuarios? La respuesta es que más allá de 
estos centros de datos, estos OTTs tienen varias Edge-PoPs en todo el 
mundo en que también hacen uso y combinación de servicios de transporte 
y otro enfoque con Caching Static Content (CDNs, como Google GGC, 
Netflix OCA, etc..) y usan estos Edge-PoPs principalmente para reducir 
la latencia. Tal vez un gran desafío es el RTT Internacional, ya que 
también tienen sistemas de balanceados L4/L7 y otros mecanismos (HHVM, 
Proxygen, DNS Map y storage). Los estudios técnicos y desarrollo de este 
tipo de empresa es muy grande y creo que el futuro para mejorar la 
interconexión de estos centros de datos y Edge-PoPs tener algo como:

- Multi-Layer PCE (ready)
- Standy by Transponder (ready)
- Reconfigurable ROADM (ready)
- Massive SRLG (ready)
- Netconf y YANG (es inmaduro)

De todos modos, este es un tema para muchas sesiones LACNOG, espero 
haberte ayudado.

Saludos,
Rogerio Mariano

> Em 25 de jul de 2016, à(s) 15:04, Arturo Servin 
> <arturo.servin at gmail.com <mailto:arturo.servin at gmail.com>> escreveu:
>
>
> Jupiter Rising: A Decade of Clos Topologies and Centralized Control in 
> Google's Datacenter Network
> SIGCOMM '15 Proceedings of the 2015 ACM Conference on Special Interest 
> Group on Data Communication
> http://dl.acm.org/citation.cfm?id=2787508
>
> Saludos
> as
>
>
> On Mon, 25 Jul 2016 at 09:26 Yudi Oliveira <yudioliveira at zoho.com 
> <mailto:yudioliveira at zoho.com>> wrote:
>
>     Hola Rogerio Mariano,
>
>     Gracias por toda su explicación y paciencia, fue muy interesante,
>     innovadora, rica y esclarecedor, mis dudas acerca de la
>     interconexión entre los centros de datos es acerca de cómo estas
>     empresas hacen para mantener estos centros interconectados con
>     aplicaciones críticas en un entorno tradicional y ahora también en
>     Clos y cómo se expanden a sus usuarios en un gran escala.
>
>     Gracias,
>     Yudi Oliveira.
>
>
>     Em 24/07/16 22:56, Rogerio Mariano escreveu:
>>     Hola Yudi,
>>
>>     Actualmente trabajo con CLOS-Fabric y transmisión
>>     WAN/Inter-Datacenter optimizada (RSVP-TE, PCE y OTN/SRLG) y voy a
>>     tratar de explicar de una manera tranquila ... :-)
>>
>>     >>> Sobre cuestión de CLOS
>>
>>     CLOS Fabric Network es en realidad una evolución de las actuales
>>     Datacenter Fabrics, es una tecnología ampliamente utilizada en
>>     Red OTT (Playstation Global Network, Google, Facebook, Apple, etc
>>     ..) desde el año 2004 y está comenzando el servicio de la más
>>     alta escala de las puertas de acceso del centro de datos . Este
>>     tipo de red nació en un estudio realizado por Charles Clos en
>>     1952, lo que representó inicialmente una idealización teórica de
>>     sistemas de conmutación telefónica de etapas múltiples prácticas.
>>     El uso de este tipo de red es necesario cuando las necesidades de
>>     conmutación de circuitos físicos exceden la capacidad de la mayor
>>     de crossbar switch sólo es viable. La principal ventaja de las
>>     redes CLOS es el número de puntos de cruce (que conforman cada
>>     crossbar switch) puede tardar mucho menos de lo que sería el caso
>>     si todo el sistema de conmutación se han implementado con un
>>     crossbar switch gran, de ahí su famosa ecuación matemática:
>>     strict-sense nonblocking CLOS networks (m ≥ 2n−1).. Hoy en día,
>>     el diseño y la arquitectura de una red CLOS se basa casi por
>>     completo en SoC (System on Chip, por ejemplo, Radix Switch Chip)
>>     y MiN (Multi-Stage Interconnection)  y estos diseños de redes se
>>     ensamblan y se centró en “Elastic-Datacenter” (con Cloud
>>     Computing Large Scale), “Scale-out Apps"(para cumplir con alto
>>     tráfico intra-cluster, inter-server e server-to-user) y
>>     soluciones de IaaS (flexibilidad y la movilidad de VM y
>>     implementar en un enfoque VLAN-based existente). Un solución CLOS
>>     Fabric tiene las siguientes características:
>>
>>     - Dispone de 3 etapas: ingress stage, middle stage e egress stage.
>>
>>     - Cada Leaf-Node se conecta todos los Spine-Node.
>>
>>     - Depende de ECMP en cada hop
>>
>>     - Se puede utilizar con L3-Fabric (BGP/IS-IS/OSPF) o Large-Scale
>>     Bridging (TRILL- RFC 5556 o SPB)
>>
>>     - En general, es necesario utilizar switch del tipo
>>     High-bandwidth fabrics con low-latency non-blocking
>>
>>     Hoy en día, los vendors tradicionales, tales como Cisco, Juniper,
>>     Brocade, Arista, Extreme, Force10 tienen cajas con capacidad de
>>     Datacenter Fabric y posiblemente, se posan capacidad de trabajar
>>     en CLOS, sé que en la Playstation Network en Aliso Viejo
>>     (California, EE.UU.) tiene CLOS con Juniper QFX ( Multisatge-CLOS
>>     , BGP, vSpine y SDN), pero creo que todos hacer algo, Cisco (con
>>     Nexus N7k, N5k y NCS5k) y el Brocade (con VDX6k, VDX8k y MLX),
>>     por ejemplo, son muy fuertes en el Datacenter issues. Quién
>>     implementado redes CLOS a gran escala y ya tienen mucho
>>     background, el Google (10 años) y Facebook (más tarde) y creado
>>     sus propios CLOS switch!. Google es un buen caso para analizar,
>>     que ahora tiene una red con CLOS equipos llamada "Jupiter",
>>     empezaron a esta ola en 2004 con un equipo llamado "Firehorse"
>>     evolucionado hasta convertirse en una denominada “Watchtower”,
>>     luego "Saturno" y se encuentran ahora en "Jupiter" escalada
>>     1.3Pbps del tráfico backplane!!!! Facebook usa Open Hardware, el
>>     llamado 6-Pack y otro llamado de Wedge, también con ambiente CLOS
>>     en alta escala.
>>
>>     En mi opinión personal, que usted debe tener en cuenta es la
>>     motivación que en particular un tipo de red tiene que migrar a un
>>     entorno CLOS; cada uno tiene su modelo de negocio y en la
>>     actualidad las redes tradicionales, heredados siguen siendo
>>     viables, pero personalmente, veo por ejemplo algunas motivaciones
>>     para un cambio de lo tradicional a un CLOS:
>>
>>     1) Una arquitectura de red tradicional puede tener un alto costo,
>>     no mantener al día su demanda de ancho de banda, la complejidad
>>     operativa de un “box-centric” y “black-box” (cuando una line-card
>>     está loco? ¿Qué sabes esa caja? ¿Cuántos errores y problemas que
>>     tenía?)
>>
>>     2) La posibilidad de tener una red en un único dominio, que
>>     operan a gran escala, con el control y gestión centralizado (SDN)
>>     con “massive multipath routing”, diseño determinista y elástica,
>>     establecido con SoC y "merchant silicon” y a un costo razonable
>>     en detrimento de su negocio.
>>
>>
>>     >>> Sobre esto Cuestión de Inter Datacenter y WAN Interconexión
>>
>>     No entiendo mucho esa pregunta, usted quiere saber acerca de DCI,
>>     LISP, OTV, VPLS, AToM, L2-Circuit.. ?  ¿Podría explicar?
>>
>>
>>     Saludos,
>>     Rogerio Mariano
>>
>>
>>
>>>     Em 24 de jul de 2016, à(s) 03:02, Yudi Oliveira
>>>     <yudioliveira at zoho.com <mailto:yudioliveira at zoho.com>> escreveu:
>>>
>>>     Hola gente.
>>>
>>>     Me pregunto si alguien en la lista trabaja con topología CLOS
>>>     para centros de datos y se puede explicar a mí cómo funciona.
>>>     Hoy actúo en un gran proveedor, y este deseo de migrar a este
>>>     sistema. También me gustaría saber cómo funciona esto en la
>>>     interconexión entre centros de datos y la WAN porque no he
>>>     encontrado mucha documentación en la web.
>>>
>>>     Gracias,
>>>     Yudi Oliveira.
>>>     _______________________________________________
>>>     LACNOG mailing list
>>>     LACNOG at lacnic.net <mailto:LACNOG at lacnic.net>
>>>     https://mail.lacnic.net/mailman/listinfo/lacnog
>>>     Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog
>>
>>
>>
>>     _______________________________________________
>>     LACNOG mailing list
>>     LACNOG at lacnic.net <mailto:LACNOG at lacnic.net>
>>     https://mail.lacnic.net/mailman/listinfo/lacnog
>>     Cancelar suscripcion:https://mail.lacnic.net/mailman/options/lacnog
>
>     _______________________________________________
>     LACNOG mailing list
>     LACNOG at lacnic.net <mailto:LACNOG at lacnic.net>
>     https://mail.lacnic.net/mailman/listinfo/lacnog
>     Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog
>
> _______________________________________________
> LACNOG mailing list
> LACNOG at lacnic.net <mailto:LACNOG at lacnic.net>
> https://mail.lacnic.net/mailman/listinfo/lacnog
> Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog

-------------- next part --------------
_______________________________________________
LACNOG mailing list
LACNOG at lacnic.net
https://mail.lacnic.net/mailman/listinfo/lacnog
Cancelar suscripcion: https://mail.lacnic.net/mailman/options/lacnog