¡Te damos la bienvenida al nuevo sysarmy --help! Para recuperar tu usuario pedí un password reset.

ELK asincronico?

Buenas, otra vez yo con lios con ELK. Tengo servers en un DC remoto que me cortan la VPN de 19hs a 8hs y no encuentro la manera simple de hacer que los servers remotos sincronicen los logs con elasticsearch. El problema es que durante el dia sincronizarian bien pero desde las 19hs se perderian los logs. Probe varios shippers (logstash, logstash-forwarder, filebeat, etc...) y todos pierden los datos cuando se cae la conexion (por ejemplo en zabbix esto se resuelve con zabbix-proxy).

Lo ultimo que se me ocurrio, y hasta ahora creo que es lo mejor, es instalar en cada server remoto logstash y redis 3, instalar redis tambien en el servidor de elasticsearch y armar un cluster que se encargue de la sincronizacion, despues levantar los logs de redis con logstash y mandarlos a elasticsearch.

Antes de ponerme con tanta conf quiero preguntarles si alguien tiene, o tuvo, un problema similar y como lo resolvio.

Saludos

Respuestas

  • Usa logstash con abbitMQ y configurable el parametro "durable", pone uno o mas brokers de cada lado y con eso estarias cubierto... creo.

    Si no usa zeromq con la reliability options de pubsub que se ven en ela documentacion de zeromq.
Este hilo ha sido cerrado.