File 2 Kafka Using LogStash

• https://www.elastic.co/downloads/logstash 에서 최신 버전 다운로드
• 압축 풀기
• conf 파일 생성
  • 예: test.conf

    input {   file {     path => "e:/test/test*.txt"   } } output {   kafka {     topic_id => "logstash"     bootstrap_servers => "10.10.10.16:9092"     codec => plain {       format => "%{message}"     }   } #  stdout { codec => rubydebug } }

  • file input 사용
    • https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html
  • kafka output 사용
    • https://www.elastic.co/guide/en/logstash/current/plugins-outputs-kafka.html
  • stdout output은 테스트 용으로 사용하고 실제 서비스 시 주석처리
• 실행
  • windows
    • e:\logstash\bin\logstash -f e:\logstash\test.conf -l e:\logstash\logs\log
  • 참고로 log 파일은 계속 쌓이는 형태이기에 rotate나 일전 기간 전 내용 삭제 등 작업 필요
• 성능
  • LS_HEAP_SIZE 환경 변수 설정 혹은 logstash.lib.sh 에서 기본 값을 수정하여 heap memory 설정
  • 옵션 사용
    • -w, --pipeline-workers COUNT Sets the number of pipeline workers to run. (default: 4)
    • -b, --pipeline-batch-size SIZE Size of batches the pipeline is to work in. (default: 125)
    • -u, --pipeline-batch-delay DELAY_IN_MS When creating pipeline batches, how long to wait while polling for the next event. (default: 5)
  •  file input 및 kafka output 사용 설정