Monday, March 2, 2015

LogStash -> RabbitMQ Server -> ES 순서로 indexing 하기


  • LogStash에서 output로 elasticsearch-river 사용
    • 상세 내용: http://logstash.net/docs/1.4.2/outputs/elasticsearch_river
  • RabbitMQ 서버 및 management 설치
    • 상세내용: http://mungeol-heo.blogspot.kr/2015/01/rabbitmq.html
  • elasticsearch-river-rabbitmq plugin 설치
    • 상세내용: http://mungeol-heo.blogspot.kr/2015/01/elasticsearch-river-rabbitmq.html
  • LogStash 실행 시 RabbitMQ와의 authentication 실패 에러 발생
    • LogStash에서 기본으로 guest 계정으로 RabbitMQ와 통신하도록 설정
    • RabbitMQ 새 버전에서 guest 계정은 localhost에서만 접속 가능
    • 새 계정 생성
    • sudo rabbitmqctl add_user test test
    • sudo rabbitmqctl set_user_tags test administrator
    • sudo rabbitmqctl set_permissions -p / test ".*" ".*" ".*"
    • RabbitMQ Management에 접속 테스트
    • x.x.x.x:15672
    • id:test
    • pwd: test
    • 접속 성공
    • LogStash 설정에서 test 계정으로 RabbitMQ와 통신하도록 수정
    • 통신 성공
  • test 용 apache 로그를 indexing
  • indexing 성공