Network & Security Story

Elasticsearch 를 사용하다보면 아래와 같은 로그가 발생하며 로그 수집이 되지 않는 경우가 있다. { _index: 'logstash-2024.02.14', _id: 'SgRcQ4wBSL1deYXKnJK2', status: 400, error: { type: 'validation_exception', reason: 'Validation Failed: 1: this action would add [2] shards, but this cluster currently has [999]/[1000] maximum normal shards open;' } } currently has [999]/[1000] maximum normal shards open 라는 문구는 노드당 최대 shard 개수를 초과했다..

ELK 설치 후 Kibana 웹페이지 접근할 때 로그인 인증을 통해서 접속이 가능하도록 보안 기능을 추가할 수 있습니다. ELK 에서도 X-pack 을 통해 보안, 알림, 모니터링, 그래프 등 추가적인 기능들을 제공을 하고 있지만 유로이기 때문에 패스하고 X-pack 기능없이 아파치 웹서버를 통해서 간단한 보안 인증을 거치도록 구성을 할 수 있습니다. 인증 방법은 htpasswd 를 통해 계정정보 파일을 저장하는 방법도 있고, 간단한 인증용 웹페이지 등을 만들수도 있는데, 저의 경우 현재 윈도우 ActiveDirectory를 사용하고 있어서 AD 계정을 통한 인증 방법에 대해 설명하겠습니다. 1. 아파치 웹서버 및 Ldap 모듈을 설치 [root@localhost ~]# yum install httpd ..

이번시간에는 ELK 를 활용하여 Fortigate 방화벽 로그를 수집하고 구성하는 방법에 대해서 알아보도록 하겠습니다. 로그 수집시 중요한 것은 장비 밴더사나 로그 특성등에 따라서 형식이 다 다르기 때문에 수집한 로그에 대해서 적절한 필터링을 통해 정형화 해 주어야 로그 분석 및 탐지가 용이하게 됩니다. 여기서는 방화벽에서 ELK Stack으로 로그를 전송을 Logstash.conf 필터를 통해서 로그 데이터 파싱하고 인덱싱하는 부분에 대해서 살펴보도록 하겠습니다. . 1. Fortigate 방화벽 Syslog 설정. 우선 Fortigate 방화벽 장비 CLI 접속하여 Logstash 서버로 로그 데이터를 전송하도록 설정을 해 줍니다. syslog 설정은 최대 4개까지 설정이 가능하며, Fortigate..

이번시간에는 ELK(Elasticsearch+Logstash+Kibana) 를 설치하여 ELK Stack 서버를 구축해 보겠습니다. 현재 Elasticsearch는 7.5 버전까지 출시가 되었으며, CentOS에서 Yum 패키지를 통해 설치해 보도록 하겠습니다. Elasticsearch는 7.5 버전의 새로운 기능 및 릴리즈 정보는 아래 링크를 참고하시기 바랍니다. Elastic Stack 7.5.0 출시 - OS : Centos 7 64bit - Partition : / 50G (System 영역) /ELK 300G (ELK Data 영역) - CPU : 8Core - RAM : 32G 1. Java 설치 ( java 8 이상) Elasticsearch 는 Java8 이상이 필요합..