[GTER] Logcenter logstash + kibana + elasticsearch

[Caio Zanolla]

Quando voce manda os logs direto pro Elasticsearch ele tem que receber e
indexar na medida em que recebe.

A tarefa de indexacao é custosa e pode causar contenção na coleta, o que
causaria perda de dados.

Com Redis na frente, o Elastic search consome o stream do Redis a medida
que consegue indexar. Enquanto isso o Redis fica de buffer, impedindo que
informações se percam em função de contenção de IO ou cpu de onde está o
Elasticsearch.

Nao fui a fundo para tentar saber em quais circunstancias ou patamares isso
ocorre, mas sei que a pratica comum é ter um Redis ou RabbitMQ ou outro
message broker na frente do ES.

Atenciosamente,
Caio Zanolla


2014-01-31 Geraldo Magella Junior <geraldo at webaula.com>

> Caio,
> Tb entendi dessa forma (*mas voce perde a capacidade de cache e perderá as
> mensagens do stream caso o elasticsearch fique temporariamente *
> *indisponivel*) mas se o redis cair, vc tb terá o problema de perder
> mensagens, não?
> Nunca entendi muito bem essa vantagem de ter o Redis.
>
>
> Atenciosamente,
>
> Geraldo Magella JuniorCoordenador de Infraestrutura -
>
> *Centro de Tecnologia *
> Mais info<
> https://www.mcpvirtualbusinesscard.com/VBCServer/geraldomcitp/profile>
> www.webaula.com.br
> +55 (31) 2129-0570
> +55 (31) 8454-4922
>
>
>
> 2014-01-30 Caio Zanolla <zanolla at gmail.com>:
>
> > Sim, pode nao usar o Redis, mas voce perde a capacidade de cache e
> perderá
> > as mensagens do stream caso o elasticsearch fique temporariamente
> > indisponivel.
> >
> > O ideal é: Logstash -> Redis -> Elasticsearch.
> >
> > Ah, e prepare-se para muito regex caso seus streams tenham muitos campos
> ou
> > se voce for consolidar dados de fontes diferentes, ex.: log de s3 com log
> > de apache. Na minha experiencia vc vai gastar 1x tempo pra instalar e 24x
> > tempo para configurar a coleta corretamente.
> >
> > Atenciosamente,
> > Caio Zanolla
> >
> >
> > 2014-01-30 Renato Sousa <rensousa at gmail.com>
> >
> > > Boa tarde a todos,
> > >
> > > Preciso implementar uma solução de logcenter onde eu trabalho.
> > > Já li alguns materiais sobre a combinação  logstash + kibana +
> > > elasticsearch.  Muitos materiais falam sobre o redis também, mas
> > > sinceramente não entendi muito o papel dele.
> > > Posso ter apenas a combinação  logstash + kibana + elasticsearch ?
>  Nesse
> > > caso o logstah receberia os logs via syslog remoto dos clientes ?
> > >
> > > Abraços,
> > >
> > >
> > > Renato
> > > --
> > > gter list    https://eng.registro.br/mailman/listinfo/gter
> > >
> > --
> > gter list    https://eng.registro.br/mailman/listinfo/gter
> >
> --
> gter list    https://eng.registro.br/mailman/listinfo/gter
>