빅데이터 분석/Splunk(9)
-
[Splunk] 파일 모니터링에서 재인덱싱(Re-indexing) 하기
Splunk는 파일 모니터링시 어떤 파일의 어디까지 읽었는지 내부적으로 fishbucket이란 곳에 기록해둔다. fishbucket은 인덱싱한 데이터를 이중으로 수집하지 않도록 도와준다. 참고 : https://www.splunk.com/en_us/blog/tips-and-tricks/what-is-this-fishbucket-thing.html 한 차례 인덱싱한 파일을 다시 인덱싱해야 하는 상황이 발생했을 때에는 add oneshot 이라는 CLI 커맨드를 통해 해결할 수 있다. 참고 : https://docs.splunk.com/Documentation/SplunkCloud/latest/Data/MonitorfilesanddirectoriesusingtheCLI 커맨드 형식은 다음과 같다. $SPLU..
2023.04.12 -
[Splunk] 스플렁크 작업 이력 검색하기
참고) https://community.splunk.com/t5/Dashboards-Visualizations/How-can-I-determine-who-modified-a-dashboard/td-p/267069?_ga=2.151378491.363618113.1664206755-613200826.1640812860&_gl=1*5rpph6*_ga*NjEzMjAwODI2LjE2NDA4MTI4NjA.*_gid*MzYzNjE4MTEzLjE2NjQyMDY3NTU. 어떤 계정으로 언제 작업했는지 확인할 수 있다. index=_internal sourcetype=splunkd_access ( method=POST OR method=DELETE ) ( user!=splunk-system-user user!=- ) ( ..
2022.09.27 -
[Splunk] 데이터 품질 점검하기
모니터링 콘솔에서 현재 수집중인 데이터 상태를 확인할 수 있다. [ 모니터링 콘솔 > 인덱싱 > 입력 > 데이터 품질 ] 보통 당일과 전일 기준으로 검색하는 편인데 Timestamp Parsing Issues나 Line Breaking Issues가 존재하는지 확인할 수 있다. 이상이 없을 경우 "결과가 없다"고 나오고, 이상이 있으면 몇 건인지 알려준다. 클릭하면 _internal 로그 중 ERROR 또는 WARNNING이 발생한 로그를 출력한다. DBX 쿼리 문제일 경우 로그 안의 Context 부분에서 보다 상세한 에러 내역을 찾을 수 있는 파일 정보를 얻을 수 있다. search_telemetry 문제일 경우 splunk에 올린 앱에서 에러가 발생한 것일 수 있는데, 이 경우 로그상에서 앱 이름과..
2022.09.27 -
[Splunk] KV store와 MongoDB
Storage engine migration recommended If your instance uses the MMAPv1 storage engind, migrate your KV store to the WiredTiger storage engine to significantly reduce the amount of storage you need and to improve performance. To check your environment's storage engine use the 'show kvstore-status' command. The WiredTiger storage engine will be a prerequisite for all Splunk Enterprise versions rele..
2022.09.25 -
[Splunk] DB Connect로 데이터 연동하기 (db_inputs.conf)
DB에 쌓이는 데이터 유형에 따라 2가지 방식 중 선택하여 연동한다. 단, 데이터 구성에 따라 새로운 데이터가 insert 되는 table이더라도 rising 방식을 사용할 수 없는 경우엔 batch 방식을 사용한다. Batch 기존 데이터가 update 되는 table Rising 새로운 데이터가 매번 insert 되는 table 1. Batch 임직원 정보 매일 가져오기 [emp_input] connection = Emp_conn description = 임직원정보 disabled = 0 fetch_size = 0 index = insa index_time_mode = current interval = 0 0 * * * mode = batch query = SELECT * FROM "데이터베이스명"...
2022.09.07 -
[Splunk] DB Connect 3.9.0 에서의 JDBC
공식문서 : https://docs.splunk.com/Documentation/DBX/3.9.0 JDBC jar 파일 넣는 경로 : $SPLUNK_HOME/etc/apps/splunk_app_db_connect/drivers/ MariaDB mariadb-java-client-2.7.6.jar https://mvnrepository.com/artifact/org.mariadb.jdbc/mariadb-java-client/2.7.6 MS-SQL (SQL Server) mssql-jdbc-9.2.1.jre8.jar https://docs.splunk.com/Documentation/DBX/3.9.0/JDBCMSSQL/About mysql mysql-connector-java-8.0.26.jar https:..
2022.09.05