[GTER] Logcenter logstash + kibana + elasticsearch

[Daniel Checchia]

Caio,

Vc está correto. Eu prefiro o RabbitMQ nas instalações que faço, já que
transforma o processo assincrono e garante que não haverá perda de logs.

Uma outra vantagem do uso de RabbitMQ é que a indexação passa a ser via
Bulk, o que consome menos recursos do ES e faz uma indexação mais rápida em
grandes volumes.

Cordialmente,


Em 31 de janeiro de 2014 16:12, Caio Zanolla <zanolla at gmail.com> escreveu:

> Quando voce manda os logs direto pro Elasticsearch ele tem que receber e
> indexar na medida em que recebe.
>
> A tarefa de indexacao é custosa e pode causar contenção na coleta, o que
> causaria perda de dados.
>
> Com Redis na frente, o Elastic search consome o stream do Redis a medida
> que consegue indexar. Enquanto isso o Redis fica de buffer, impedindo que
> informações se percam em função de contenção de IO ou cpu de onde está o
> Elasticsearch.
>
> Nao fui a fundo para tentar saber em quais circunstancias ou patamares isso
> ocorre, mas sei que a pratica comum é ter um Redis ou RabbitMQ ou outro
> message broker na frente do ES.
>
> Atenciosamente,
> Caio Zanolla
>
>
> 2014-01-31 Geraldo Magella Junior <geraldo at webaula.com>
>
> > Caio,
> > Tb entendi dessa forma (*mas voce perde a capacidade de cache e perderá
> as
> > mensagens do stream caso o elasticsearch fique temporariamente *
> > *indisponivel*) mas se o redis cair, vc tb terá o problema de perder
> > mensagens, não?
> > Nunca entendi muito bem essa vantagem de ter o Redis.
> >
> >
> > Atenciosamente,
> >
> > Geraldo Magella JuniorCoordenador de Infraestrutura -
> >
> > *Centro de Tecnologia *
> > Mais info<
> > https://www.mcpvirtualbusinesscard.com/VBCServer/geraldomcitp/profile>
> > www.webaula.com.br
> > +55 (31) 2129-0570
> > +55 (31) 8454-4922
> >
> >
> >
> > 2014-01-30 Caio Zanolla <zanolla at gmail.com>:
> >
> > > Sim, pode nao usar o Redis, mas voce perde a capacidade de cache e
> > perderá
> > > as mensagens do stream caso o elasticsearch fique temporariamente
> > > indisponivel.
> > >
> > > O ideal é: Logstash -> Redis -> Elasticsearch.
> > >
> > > Ah, e prepare-se para muito regex caso seus streams tenham muitos
> campos
> > ou
> > > se voce for consolidar dados de fontes diferentes, ex.: log de s3 com
> log
> > > de apache. Na minha experiencia vc vai gastar 1x tempo pra instalar e
> 24x
> > > tempo para configurar a coleta corretamente.
> > >
> > > Atenciosamente,
> > > Caio Zanolla
> > >
> > >
> > > 2014-01-30 Renato Sousa <rensousa at gmail.com>
> > >
> > > > Boa tarde a todos,
> > > >
> > > > Preciso implementar uma solução de logcenter onde eu trabalho.
> > > > Já li alguns materiais sobre a combinação  logstash + kibana +
> > > > elasticsearch.  Muitos materiais falam sobre o redis também, mas
> > > > sinceramente não entendi muito o papel dele.
> > > > Posso ter apenas a combinação  logstash + kibana + elasticsearch ?
> >  Nesse
> > > > caso o logstah receberia os logs via syslog remoto dos clientes ?
> > > >
> > > > Abraços,
> > > >
> > > >
> > > > Renato
> > > > --
> > > > gter list    https://eng.registro.br/mailman/listinfo/gter
> > > >
> > > --
> > > gter list    https://eng.registro.br/mailman/listinfo/gter
> > >
> > --
> > gter list    https://eng.registro.br/mailman/listinfo/gter
> >
> --
> gter list    https://eng.registro.br/mailman/listinfo/gter
>