[GTER] Logcenter logstash + kibana + elasticsearch

[Geraldo Magella Junior]

Olá!
Acabou que parei de mexer no "logCentral" (gostei do nome) pq o Logstash +
Kibana já me atenderam e já embolaram um monte de tarefas pra mim, mas
tentei mexer com Graphite e StatsD para gerar algumas estatisticas.....Mas
parei por falta de tempo

Ficou mais ou menos assim:

input {
  tcp {
    port => 1514
    type => "eventlog"
    format => "json"
  }
}
filter {
    # Incoming Windows Event logs from nxlog
    # The EventReceivedTime field must contain only digits, or it is an
invalid message
    grep {
        type              => "eventlog"
        EventReceivedTime => "\d+"
    }
    mutate {
        # Lowercase some values that are always in uppercase
        type      => "eventlog"
        lowercase => [ "EventType", "FileName", "Hostname", "Severity" ]
    }
    mutate {
        # Set source to what the message says
        type   => "eventlog"
        rename => [ "Hostname", "@source_host" ]
    }
    date {
        # Convert timestamp from integer in UTC
        type              => "eventlog"
        EventReceivedTime => "UNIX"
    }
    mutate {
        # Rename some fields into something more useful
        type   => "eventlog"
        rename => [ "Message", "@message" ]
        rename => [ "Severity", "eventlog_severity" ]
        rename => [ "SeverityValue", "eventlog_severity_code" ]
        rename => [ "Channel", "eventlog_channel" ]
        rename => [ "SourceName", "eventlog_program" ]
        rename => [ "SourceModuleName", "nxlog_input" ]
        rename => [ "Category", "eventlog_category" ]
        rename => [ "EventID", "eventlog_id" ]
        rename => [ "RecordNumber", "eventlog_record_number" ]
        rename => [ "ProcessID", "eventlog_pid" ]
    }
    mutate {
        # Remove redundant fields
        type   => "eventlog"
        remove => [ "SourceModuleType", "EventTimeWritten", "EventTime",
"EventReceivedTime", "EventType" ]
    }
}
output {
  statsd {
    type  => "eventlog"
    increment => "eventlog.received.%{@source_host}"
  }
  elasticsearch_http {
    host => "127.0.0.1"
    flush_size => 5
  }
  #graphite {
  #      # Ping the graphite server every time an eventlog message is
received
  #      type => "eventlog"
  #      host => "127.0.0.1"
  #      port => 2003     # carbon-aggregator
  #      metrics => [ "eventlog.received.%{@source_host}.count", "1" ]
  #}
}



Atenciosamente,

Geraldo Magella Junior Coordenador de Infraestrutura -

*Centro de Tecnologia*
Mais info<https://www.mcpvirtualbusinesscard.com/VBCServer/geraldomcitp/profile>
www.webaula.com.br
+55 (31) 2129-0570
+55 (31) 8454-4922



2014-01-31 Renato Sousa <rensousa at gmail.com>:

> Bom dia Geraldo,
>
> Vou implementar meu ambiente semelhante ao seu.  Como ficou seu arquivo de
> conf do logstash ?
>
> Abraços,
>
> Renato
>
>
>
> Em 30 de janeiro de 2014 18:23, Geraldo Magella Junior
> <geraldo at webaula.com>escreveu:
>
> > Opa! Eu tenho aqui... Já implantei isso.
> >
> > Não uso redis, e também não entendi 100% do papel dele. Pelo que pude
> > perceber ele seria um passo antes do ElasticSearch.
> >
> > O logstash recebe do que vc quiser é bem amplo e sim, pode receber via
> > syslog remoto sim. Comigo é assim.
> > Ele recebe syslog do vmware, das máquinas virtuais linux e windows numa
> > boa. Bem estavel, consome pouco recurso e disco.
> >
> >
> >
> > Atenciosamente,
> >
> > Geraldo Magella Junior Coordenador de Infraestrutura -
> >
> > *Centro de Tecnologia*
> > Mais info<
> > https://www.mcpvirtualbusinesscard.com/VBCServer/geraldomcitp/profile>
> > www.webaula.com.br
> > +55 (31) 2129-0570
> > +55 (31) 8454-4922
> >
> >
> >
> > 2014-01-30 Renato Sousa <rensousa at gmail.com>:
> >
> > > Boa tarde a todos,
> > >
> > > Preciso implementar uma solução de logcenter onde eu trabalho.
> > > Já li alguns materiais sobre a combinação  logstash + kibana +
> > > elasticsearch.  Muitos materiais falam sobre o redis também, mas
> > > sinceramente não entendi muito o papel dele.
> > > Posso ter apenas a combinação  logstash + kibana + elasticsearch ?
>  Nesse
> > > caso o logstah receberia os logs via syslog remoto dos clientes ?
> > >
> > > Abraços,
> > >
> > >
> > > Renato
> > > --
> > > gter list    https://eng.registro.br/mailman/listinfo/gter
> > >
> > --
> > gter list    https://eng.registro.br/mailman/listinfo/gter
> >
> --
> gter list    https://eng.registro.br/mailman/listinfo/gter
>