Network & Security Story

Elasticsearch 를 사용하다보면 아래와 같은 로그가 발생하며 로그 수집이 되지 않는 경우가 있다. { _index: 'logstash-2024.02.14', _id: 'SgRcQ4wBSL1deYXKnJK2', status: 400, error: { type: 'validation_exception', reason: 'Validation Failed: 1: this action would add [2] shards, but this cluster currently has [999]/[1000] maximum normal shards open;' } } currently has [999]/[1000] maximum normal shards open 라는 문구는 노드당 최대 shard 개수를 초과했다..

이번시간에는 ELK 를 활용하여 Fortigate 방화벽 로그를 수집하고 구성하는 방법에 대해서 알아보도록 하겠습니다. 로그 수집시 중요한 것은 장비 밴더사나 로그 특성등에 따라서 형식이 다 다르기 때문에 수집한 로그에 대해서 적절한 필터링을 통해 정형화 해 주어야 로그 분석 및 탐지가 용이하게 됩니다. 여기서는 방화벽에서 ELK Stack으로 로그를 전송을 Logstash.conf 필터를 통해서 로그 데이터 파싱하고 인덱싱하는 부분에 대해서 살펴보도록 하겠습니다. . 1. Fortigate 방화벽 Syslog 설정. 우선 Fortigate 방화벽 장비 CLI 접속하여 Logstash 서버로 로그 데이터를 전송하도록 설정을 해 줍니다. syslog 설정은 최대 4개까지 설정이 가능하며, Fortigate..

이번시간에는 ELK(Elasticsearch+Logstash+Kibana) 를 설치하여 ELK Stack 서버를 구축해 보겠습니다. 현재 Elasticsearch는 7.5 버전까지 출시가 되었으며, CentOS에서 Yum 패키지를 통해 설치해 보도록 하겠습니다. Elasticsearch는 7.5 버전의 새로운 기능 및 릴리즈 정보는 아래 링크를 참고하시기 바랍니다. Elastic Stack 7.5.0 출시 - OS : Centos 7 64bit - Partition : / 50G (System 영역) /ELK 300G (ELK Data 영역) - CPU : 8Core - RAM : 32G 1. Java 설치 ( java 8 이상) Elasticsearch 는 Java8 이상이 필요합..