[GTER] Logcenter logstash + kibana + elasticsearch

[Geraldo Magella Junior]

O que acontece se o RabbitMQ cair?


 Atenciosamente,

Geraldo Magella JuniorCoordenador de Infraestrutura -

*Centro de Tecnologia *
Mais info<https://www.mcpvirtualbusinesscard.com/VBCServer/geraldomcitp/profile>
www.webaula.com.br
+55 (31) 2129-0570
+55 (31) 8454-4922



2014-01-31 Daniel Checchia <daniel.checchia at gmail.com>:

> Caio,
>
> Vc está correto. Eu prefiro o RabbitMQ nas instalações que faço, já que
> transforma o processo assincrono e garante que não haverá perda de logs.
>
> Uma outra vantagem do uso de RabbitMQ é que a indexação passa a ser via
> Bulk, o que consome menos recursos do ES e faz uma indexação mais rápida em
> grandes volumes.
>
> Cordialmente,
>
>
> Em 31 de janeiro de 2014 16:12, Caio Zanolla <zanolla at gmail.com> escreveu:
>
> > Quando voce manda os logs direto pro Elasticsearch ele tem que receber e
> > indexar na medida em que recebe.
> >
> > A tarefa de indexacao é custosa e pode causar contenção na coleta, o que
> > causaria perda de dados.
> >
> > Com Redis na frente, o Elastic search consome o stream do Redis a medida
> > que consegue indexar. Enquanto isso o Redis fica de buffer, impedindo que
> > informações se percam em função de contenção de IO ou cpu de onde está o
> > Elasticsearch.
> >
> > Nao fui a fundo para tentar saber em quais circunstancias ou patamares
> isso
> > ocorre, mas sei que a pratica comum é ter um Redis ou RabbitMQ ou outro
> > message broker na frente do ES.
> >
> > Atenciosamente,
> > Caio Zanolla
> >
> >
> > 2014-01-31 Geraldo Magella Junior <geraldo at webaula.com>
> >
> > > Caio,
> > > Tb entendi dessa forma (*mas voce perde a capacidade de cache e perderá
> > as
> > > mensagens do stream caso o elasticsearch fique temporariamente *
> > > *indisponivel*) mas se o redis cair, vc tb terá o problema de perder
> > > mensagens, não?
> > > Nunca entendi muito bem essa vantagem de ter o Redis.
> > >
> > >
> > > Atenciosamente,
> > >
> > > Geraldo Magella JuniorCoordenador de Infraestrutura -
> > >
> > > *Centro de Tecnologia *
> > > Mais info<
> > > https://www.mcpvirtualbusinesscard.com/VBCServer/geraldomcitp/profile>
> > > www.webaula.com.br
> > > +55 (31) 2129-0570
> > > +55 (31) 8454-4922
> > >
> > >
> > >
> > > 2014-01-30 Caio Zanolla <zanolla at gmail.com>:
> > >
> > > > Sim, pode nao usar o Redis, mas voce perde a capacidade de cache e
> > > perderá
> > > > as mensagens do stream caso o elasticsearch fique temporariamente
> > > > indisponivel.
> > > >
> > > > O ideal é: Logstash -> Redis -> Elasticsearch.
> > > >
> > > > Ah, e prepare-se para muito regex caso seus streams tenham muitos
> > campos
> > > ou
> > > > se voce for consolidar dados de fontes diferentes, ex.: log de s3 com
> > log
> > > > de apache. Na minha experiencia vc vai gastar 1x tempo pra instalar e
> > 24x
> > > > tempo para configurar a coleta corretamente.
> > > >
> > > > Atenciosamente,
> > > > Caio Zanolla
> > > >
> > > >
> > > > 2014-01-30 Renato Sousa <rensousa at gmail.com>
> > > >
> > > > > Boa tarde a todos,
> > > > >
> > > > > Preciso implementar uma solução de logcenter onde eu trabalho.
> > > > > Já li alguns materiais sobre a combinação  logstash + kibana +
> > > > > elasticsearch.  Muitos materiais falam sobre o redis também, mas
> > > > > sinceramente não entendi muito o papel dele.
> > > > > Posso ter apenas a combinação  logstash + kibana + elasticsearch ?
> > >  Nesse
> > > > > caso o logstah receberia os logs via syslog remoto dos clientes ?
> > > > >
> > > > > Abraços,
> > > > >
> > > > >
> > > > > Renato
> > > > > --
> > > > > gter list    https://eng.registro.br/mailman/listinfo/gter
> > > > >
> > > > --
> > > > gter list    https://eng.registro.br/mailman/listinfo/gter
> > > >
> > > --
> > > gter list    https://eng.registro.br/mailman/listinfo/gter
> > >
> > --
> > gter list    https://eng.registro.br/mailman/listinfo/gter
> >
> --
> gter list    https://eng.registro.br/mailman/listinfo/gter
>