Logstash 에서 네트워크 장비 로그를 syslog(UDP 514)로 수집을 하려고 구성을 하였는데 logstash 실행을 하니 아래와 같은 에러 메시지가 나오면서 서비스가 실행이 되지 않는 경우가 발생을 하였습니다. 메시지를 보면 Permission denied - bind(2) for "0.0.0.0" port 514 라고 되어 있네요... 한눈에 봐도 권한 문제인 것을 알 수 있습니다. [2020-02-13T17:39:08,169][ERROR][logstash.inputs.udp] UDP listener died {:exception=>#, :backtrace=>["org/jruby/ext/soc ket/RubyUDPSocket.java:213:in `bind'", "/usr/share/logs..
최근에 ELK 로그 시스템에 방화벽 장비의 netflow 데이터를 수집 구성을 하면서 디스크 용량이 부족하여 용량을 늘려야 하는 이슈가 있었습니다. 가상화 장비에 Centos 7을 설치하였는데 기본 파일 시스템이 xfs로 되어 있어서 xfs 파일 시스템 에 대한 용량 증설했던 방법을 포스팅 해보려고 합니다. 기존에 /ELK 로그 수집용 용량으로 500G 할당했었는데 리눅스 가상화 장비 Power Off 후 디스크 사이즈를 2TB로 변경을 하였습니다. 장비 부팅후 우선 fdisk 로 디스크가 2TB로 되어 있는 지 확인해 보겠습니다. [root@localhost ~]# fdisk -l /dev/xvdb1 Disk /dev/xvdb1: 2147.5 GB, 2147482599424 bytes, 41943019..
ELK 설치 후 Kibana 웹페이지 접근할 때 로그인 인증을 통해서 접속이 가능하도록 보안 기능을 추가할 수 있습니다. ELK 에서도 X-pack 을 통해 보안, 알림, 모니터링, 그래프 등 추가적인 기능들을 제공을 하고 있지만 유로이기 때문에 패스하고 X-pack 기능없이 아파치 웹서버를 통해서 간단한 보안 인증을 거치도록 구성을 할 수 있습니다. 인증 방법은 htpasswd 를 통해 계정정보 파일을 저장하는 방법도 있고, 간단한 인증용 웹페이지 등을 만들수도 있는데, 저의 경우 현재 윈도우 ActiveDirectory를 사용하고 있어서 AD 계정을 통한 인증 방법에 대해 설명하겠습니다. 1. 아파치 웹서버 및 Ldap 모듈을 설치 [root@localhost ~]# yum install httpd ..
이번시간에는 ELK 를 활용하여 Fortigate 방화벽 로그를 수집하고 구성하는 방법에 대해서 알아보도록 하겠습니다. 로그 수집시 중요한 것은 장비 밴더사나 로그 특성등에 따라서 형식이 다 다르기 때문에 수집한 로그에 대해서 적절한 필터링을 통해 정형화 해 주어야 로그 분석 및 탐지가 용이하게 됩니다. 여기서는 방화벽에서 ELK Stack으로 로그를 전송을 Logstash.conf 필터를 통해서 로그 데이터 파싱하고 인덱싱하는 부분에 대해서 살펴보도록 하겠습니다. . 1. Fortigate 방화벽 Syslog 설정. 우선 Fortigate 방화벽 장비 CLI 접속하여 Logstash 서버로 로그 데이터를 전송하도록 설정을 해 줍니다. syslog 설정은 최대 4개까지 설정이 가능하며, Fortigate..
Elasticsearch는 Java 기반으로 동작을 합니다. Java는 가비시 컬렉터 (garbage-collected)에 의해서 관리가 되며, Java 객체는 힙(Heap) 이라고하는 메모리의 런타임 영역에 상주합니다. Elasticsearch는 기본적으로 1GB의 Heap 으로 구성이 되어 있습니다. 이 기본값은 대부분의 클러스터 구성에서 매우 작기 때문에 Elasticsearch에서 충분히 사용이 가능하도록 메모리 크기를 늘려 주어야 합니다. Elasticsearch에서 힙 크기를 변경하는 방법에는 두 가지가 있습니다. 가장 쉬운 것은 ES_HEAP_SIZE 이라는 환경 변수를 설정하는 것 입니다. 서버 프로세스가 시작되면이 환경 변수를 읽고 이에 따라 힙을 설정합니다. 예를 들어, 다음과 같이 명..
이번시간에는 ELK(Elasticsearch+Logstash+Kibana) 를 설치하여 ELK Stack 서버를 구축해 보겠습니다. 현재 Elasticsearch는 7.5 버전까지 출시가 되었으며, CentOS에서 Yum 패키지를 통해 설치해 보도록 하겠습니다. Elasticsearch는 7.5 버전의 새로운 기능 및 릴리즈 정보는 아래 링크를 참고하시기 바랍니다. Elastic Stack 7.5.0 출시 - OS : Centos 7 64bit - Partition : / 50G (System 영역) /ELK 300G (ELK Data 영역) - CPU : 8Core - RAM : 32G 1. Java 설치 ( java 8 이상) Elasticsearch 는 Java8 이상이 필요합..
- Total
- Today
- Yesterday
- ccnp
- switch
- 코딩
- Linux
- Ntopng
- Elasticsearch
- CISCO
- Python
- ubuntu
- ldap
- Logstash
- GUI
- 파이선
- ccna
- maximum shards open error
- Kibana
- routing
- Fortigate
- Security
- Network
- EVE-ng
- EVE
- Elk
- 개발
- ccie
- ELASTIC
- CentOS
- pyqt
- NTOP
- nms
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |