[Splunk] DB Connect로 데이터 연동하기 (db_inputs.conf)

DB에 쌓이는 데이터 유형에 따라 2가지 방식 중 선택하여 연동한다. 

단, 데이터 구성에 따라 새로운 데이터가 insert 되는 table이더라도

rising 방식을 사용할 수 없는 경우엔 batch 방식을 사용한다. 

 

Batch	기존 데이터가 update 되는 table
Rising	새로운 데이터가 매번 insert 되는 table

 

1. Batch

임직원 정보 매일 가져오기

[emp_input]
connection = Emp_conn
description = 임직원정보
disabled = 0
fetch_size = 0
index = insa
index_time_mode = current
interval = 0 0 * * *
mode = batch
query = SELECT * FROM "데이터베이스명"."테이블명"
sourcetype = emp_info

 

2. Rising

로그인 이력 가져오기 

>> 데이터가 많이 쌓일 경우엔 스케쥴 간격을 짧게 지정한다.

>> Rising 방식은 순차적으로 증가하는 값을 기준으로 하여 check point를 만들고 저장된 시점 이후부터의 데이터를 조회한다. 날짜 또는 Sequence를 Rising column으로 정하는 편이나, Sequence가 초기화되어 1부터 시작할 가능성이 있는 경우엔 적절하지 않다. 

[login_input]
connection = Login_conn
decription = 로그인 이력
disabled = 0
fetch_size = 0
index = login
index_time_mode = dbColumn
input_timestamp_column_number = 1
interval = 3-59/15 * * * *
mode = rising
query = SELECT evnet_time, login_type, user_id, etc \
FROM "데이터베이스명"."테이블명" \
WHERE evnet_time > ? \
ORDER BY event_time ASC
sourcetype = login_log
input_timestamp_format = yyyyMMddHHmmss
tail_rising_column_name = evnet_time
tail_rising_column_number = 1