0
ELK asincronico?

Solved 1 Respuestas 12 Views
Buenas, otra vez yo con lios con ELK. Tengo servers en un DC remoto que me cortan la VPN de 19hs a 8hs y no encuentro la manera simple de hacer que los servers remotos sincronicen los logs con elasticsearch. El problema es que durante el dia sincronizarian bien pero desde las 19hs se perderian los logs. Probe varios shippers (logstash, logstash-forwarder, filebeat, etc...) y todos pierden los datos cuando se cae la conexion (por ejemplo en zabbix esto se resuelve con zabbix-proxy).

Lo ultimo que se me ocurrio, y hasta ahora creo que es lo mejor, es instalar en cada server remoto logstash y redis 3, instalar redis tambien en el servidor de elasticsearch y armar un cluster que se encargue de la sincronizacion, despues levantar los logs de redis con logstash y mandarlos a elasticsearch.

Antes de ponerme con tanta conf quiero preguntarles si alguien tiene, o tuvo, un problema similar y como lo resolvio.

Saludos

1 Respuesta

0
Mejor respuesta
Usa logstash con abbitMQ y configurable el parametro "durable", pone uno o mas brokers de cada lado y con eso estarias cubierto... creo.

Si no usa zeromq con la reliability options de pubsub que se ven en ela documentacion de zeromq.
respondido por qlixed (10,630 puntos) Nov 13, 2015
seleccionada por luigibalzani Nov 18, 2015
1Comentarios
comentado por luigibalzani (10,530 puntos) Nov 18, 2015
Lo probe con rabbitmq y anda bien, pero estoy peleado a muerte con rabbit :-P, por eso prefiero redis. Aunque en realidad con el cluster de redis se mete mas complejidad, vamos a ver todavia tengo unas semanas mas para probar y decidir.

Saludos
...