2016년 10월 13일 목요일

Nagios 모니터링 연동방안

Nagios 모니터링 연동방안

최근 게임을 OPEN 준비하면서 Mysql 의 확장성을 고려하여 서버를 많이 분할 하게 되었다. 하나의 게임이 게임서버와 DB 서버가 많다보니, 이를 한눈에 장애를 파악하고자 모니터링 툴이 필요하였다.  일반적으로 Zabbix 로 모니터링을 하고 있으나, 추가적인 모니터링 강화를 위해 Nagios 를 연동해 보았고, 이에 대한 연동 방안을 공유 하고자 합니다.


1. Nagios 란 ?
   Nagios 는 시스템 모니터링 프로그램으로, 기본적으로 호스트, PING, 서비스, 네트워크를 모니터링 하고 있으며, 추가적인 스크립트나 프로그램들을 구글상에서 쉽게 구할 수 있다. (사용자가 쉽게 쉘로 작성해도 된다 .)
   이 수집된 정보를 CSS,PHP 등을 통해 웹으로 뿌려주기 때문에, 편리한 툴인듯 보인다.

nagios core - 로컬 호스트를 모니터링 할 수 있다 cpu사용량 메모리 사용량 등 다양하게 많다
nagios plugin - 모니터링할 수 있는 다양한 옵션들. 이 플러그인을 사용해서 원하는 모니터링을 설정할 수 있다. ssh를 통해 원격지의 정보를 주고받는다
nrpe - 원격 서버를 모니터링 할 수 있다. 두개의 서버 모두 nagios가 설치되어 있어야 하고, 모니터링 할 서버의 nrpe.cfg를 보고 그 항목을 감시할 수 있다

2. Nagios 설치 

 일단 서버로 볼수 있는 Nagios Core 를 설치하자 
 a. dependency 설치 
    yum install -y httpd php gcc glibc glibc-common gd gd-devel make net-snmp

 b. 유저 생성/그룹생성 
    useradd nagios
    groupadd nagcmd
    usermod -G nagcmd nagios

 c. Nagios 다운로드 
    # wget http://sourceforge.net/projects/nagios/files/nagios-4.x/nagios-4.0.8/nagios-4.0.8.tar.gz/download
    # wget http://nagios-plugins.org/download/nagios-plugins-2.0.3.tar.gz

 d. Nagios 설치 
    # tar vzxf nagios-4.0.8.tar.gz
    # tar vzxf nagios-plugins-2.0.3.tar.gz

   # cd nagios-4.0.8
   # ./configure --with-command-group=nagcmd
   # make all
   # make install
   # make install-init  ## /etc/init.d/에 등록됨
   # make install-commandmode   ##nagios라는 유저가 없으면 여기서 에러남
   # make install-config  ## /usr/local/nagios에 설정파일 생성됨
   # make install-webconf  ## /etc/httpd/conf.d/nagios.conf 생성됨

  e. alert 을 받을 메일 주소 입력 
   # vi /usr/local/nagios/etc/objects/contacts.cfg

   define contact {
        contact_name          nagiosadmin         
        use                    generic-contact      ##template에 정의되어 있는 기본정보들
        alias                     Nagios Admin      ## 상세한 이름
        email                    dupont3031@naver.com  ## 여기다 email 주소 입력
        }

  f. 웹 인터페이스 접속시 사용할 패스워드 생성
    # htpasswd -c /usr/local/nagios/etc/htpasswd.users nagiosadmin

  g. nagios-plugin 컴파일
    # cd /src/nagios-plugins-2.0.3
    # ./configure --with-nagios-user=nagios --with-nagios-group=nagios
    # make && make install 

  h. 컨피그 파일 검사
    # /usr/local/nagios/bin/nagios -v /usr/local/nagios/etc/nagios.cfg

  i. 서비스 기동 
     # service nagios start.


3. Nagios Client 설치
  성능이 수집되야 할 서버에 Client 를 설치해서 Nagios 서버로 전송하는 방식을 사용하였다.  NRPE 를 사용하여 
  서버가 원격에 있는 스크립트를 수행하여 결과를 전송받는 형태로 Client 에서 발생할 수 있는 부하를 최소화 할 수 있다 .

1. dependency 설치

yum install -y gcc glibc glibc-common gd gd-devel make net-snmp openssl-devel --skip-broken

2. 유저 생성 
$> useradd nagios

3. 폴더 생성 
$> mkdir -p /home/dba_admin/justin 

4. 패키지 다운로드 
$> scp ~~ 

5. 압축 해지
$> gzip -cd nagios-plugins-2.1.3.tar.gz | tar -xvf -
$> gzip -cd nrpe-2.13.tar.gz | tar -xvf -  

6. plugin 설치 
$> cd nagios-plugins-2.1.3
$> ./configure 
$> make && make install 



7. 권한 부여
$> chown nagios.nagios /usr/local/nagios
Cd ..
$> mv check_mem /usr/local/nagios/libexec/
$> mv check_cpu /usr/local/nagios/libexec/
$> mv check_iostat  /usr/local/nagios/libexec/

$> chown -R nagios.nagios /usr/local/nagios/libexec

8. xinetd 설치
$> yum install xinetd -y


9. nrpe 설치
$> cd nrpe-2.13
$> ./configure --enable-command-args
$> make all && make install-plugin && make install-daemon && make install-daemon-config && make install-xinetd 
$>  vi /usr/local/nagios/etc/nrpe.cfg
dont_blame_nrpe=1
allowed_hosts=127.0.0.1, 192.118.222.44

10. xinetd 에 nrpe 세팅 
$> vi /etc/xinetd.d/nrpe
only_from = 127.0.0.1 localhost [ 이부분에 서버 IP 세팅 ]

11. nrpe service 등록
$>  chkconfig --level 2345 xinetd on
$> chmod 600 /etc/services
$>  vi /etc/services       
nrpe            5666/tcp                        # nagios NRPE
$> chmod 400 /etc/services
$> service xinetd restart

12. nrpe 확인
$> netstat -at | grep nrpe 

# /usr/local/nagios/libexec/check_nrpe -H localhost
NRPE v2.13

13. DB 에 nagios 유저 생성 
mysql > create user nagios@'192.118.222.44' identified by 'nagios'; 
mysql > grant all privileges on *.* to nagios@'192.1168.222.44'


14. 원격서버에서 실행할  명령 등록
Cd /usr/local/nagios/etc
#> vi /usr/local/nagios/etc/nrpe.cfg
command[check_data]=/usr/local/nagios/libexec/check_disk -w 30% -c 10% -p /dev/sdc1
command[check_log]=/usr/local/nagios/libexec/check_disk -w 30% -c 10% -p /dev/sdb1
command[check_root]=/usr/local/nagios/libexec/check_disk -w 30% -c 10% -p /dev/sda3
command[check_cpu]=/usr/local/nagios/libexec/check_cpu -w 60 -c 90 
command[check_mem]=/usr/local/nagios/libexec/check_mem -w 70 -c 90 
command[check_disk_util]=/usr/local/nagios/libexec/check_iostat -w 50 -c 80 -d sdc

$> service xinetd restart



  3. 각종 팁

1. Nagios 의 웹화면 접속 (80포트)
   http://nagios 서버 접속Ip/nagios 
2. nagios 웹하면 갱신 주기를 변경하려면 cgi.cfg 파일 변경 (초단위) 
   $ > vi /usr/local/nagios/etc/cgi.cfg
    refresh_rate=30

3. Server Host 부분에 Group 단위를 모니터링 할때 3개의 단위만 CSS 로 정렬되는데 4개 Group 을 한화면에 봐야 할경우 Nagios 소스를 수정하고 다시 컴파일 해야함. 
   소스폴더에서 cgi/status.c 파일을 열어 int overview_columns = 3 부분을 4로 변경하고, 서버를 컴파일 해서 nagios 를 기동하면 한화면에 4개의 그룹, 5개의 그룹등을 볼수 있음.  


  

   

   


2016년 9월 30일 금요일

Mongo Rocks DB 설치 방법

  1. MongoRocks 를 쓰는 이유 
    1. MongoRocks 는 MongoDB 에 스토리지 엔진을 Rocksdb로 사용하는 것을 말한다. Rocks 스토리지 엔진은 페이스북에서 개발되어 OpenSource 화 된것으로
      일반적인 BMT 성능에서, mmap 과 wiredTiger 보다 월등한 성능을 보인다.
    2. average results (throughput, operations per second) during 2nd hour:

      8/16265881
      16/32316791
      32/483572104
      size
      mmap
      wiredTiger
      RocksDB
    3. 어떤 게임에서 Mongorocks 엔진을 제안하였고,  Centos 에서는 rpm 이나 yum 으로 아직 제공되지 않아   소스파일을 컴파일 하여야 한다. 
      조금은 복잡하여, 해당 엔진을 컴파일 하는 방법을 공유 하고자 한다. 

  2. Rocks 엔진 관련 선택이유 및  선택 버전
    1. DB

    2. MongoDB 용 스토리지 엔진 RocksDB
    1) 설치
     스토리지 엔진 MongoRocks 선택 이유
    일전에 자체테스트한 결과와 웹에서 벤치마킹에 대한 결과로부터 문제점을 확인하였는데,
    WiredTiger 의 경우 레코드가 많이 쌓여있는 경우 체크포인팅시 수 초 동안 오퍼레이션을 처리하지 못하는 이슈가 있었습니다.
    이 이슈가 MongoDB 차기 버전에서는 해결된 것으로 보이나 언제 릴리즈 될지 알 수 없는 상황이다보니 좀 더 안정적인 RocksDB 로 테스트를 진행합니다. 

    WiredTiger 벤치 마킹 결과입니다. Stall 현상에 대한 내용이 있습니다.
    https://www.percona.com/blog/2015/12/15/mongodb-3-2-wiredtiger-in-iibench/
  3.  사전 준비 사항 
    1. Centos 7.2 이상
    2. GCC-5.3.0 이상
  4. 패키지 준비
    1. MongoRocks( 아래에서 관련내용을 보고 관련파일 다운로드 ) 
      https://github.com/mongodb-partners/mongo-rocks
  5. gcc 설치
    #사전 라이브러리 설치
    yum install libmpc-devel mpfr-devel gmp-devel zlib-devel*
    #Gcc 컴파일
     ./configure --with-system-zlib --disable-multilib --enable-languages=c,c++
        make -j 4
        make install
  6. 각종 필요 라이브러리 설치 
    #GLAGS 설치
     wget https://gflags.googlecode.com/files/gflags-2.0-no-svn-files.tar.gz
     tar -xzvf gflags-2.0-no-svn-files.tar.gz
     cd gflags-2.0
     ./configure && make && sudo make install#zlib 설치
     sudo yum install zlib
     sudo yum install zlib-devel# bzip2 설치
     sudo yum install bzip2
     sudo yum install bzip2-devel#snappy 설치snappy 패키지 폴더에서 ./configure && make && make install# scons 설치rpm -ivh scons-2.3.0-1.el7.1.noarch.rpm
  7. LD_LIBRARY_PATH 추가 
    LD_LIBRARY_PATH=/usr/local/lib:/lib64:.:$LD_LIBRARY_PATH 추가
  8. mongo-master, mongo-rocs.master, rocksdb-master  이 3개의 패키지는 구글을 검색하여 다운로드 하도록 한다
    1. MongoRocks
      https://github.com/mongodb-partners/mongo-rocks
  9. Rockdb 컴파일 
    cd rocksdb;
    # Make file 임의로 생성
    [root@kqabalamgmdb04 rocksdb]# cat > make_config.mk
    CC=cc
    CXX=g++
    PLATFORM=OS_LINUX
    PLATFORM_LDFLAGS= -lpthread -lrt -lz
    JAVA_LDFLAGS= -lpthread -lrt -lz
    JAVA_STATIC_LDFLAGS= -lpthread -lrt
    VALGRIND_VER=
    PLATFORM_CCFLAGS= -DROCKSDB_PLATFORM_POSIX -DROCKSDB_LIB_IO_POSIX  -DOS_LINUX -fno-builtin-memcmp -DROCKSDB_FALLOCATE_PRESENT -DZLIB -DROCKSDB_MALLOC_USABLE_SIZE -DROCKSDB_PTHREAD_ADAPTIVE_MUTEX -DROCKSDB_BACKTRACE -march=native
    PLATFORM_CXXFLAGS=-std=c++11  -DROCKSDB_PLATFORM_POSIX -DROCKSDB_LIB_IO_POSIX  -DOS_LINUX -fno-builtin-memcmp -DROCKSDB_FALLOCATE_PRESENT -DZLIB -DROCKSDB_MALLOC_USABLE_SIZE -DROCKSDB_PTHREAD_ADAPTIVE_MUTEX -DROCKSDB_BACKTRACE -march=native
    PLATFORM_SHARED_CFLAGS=-fPIC
    PLATFORM_SHARED_EXT=so
    PLATFORM_SHARED_LDFLAGS=-Wl,--no-as-needed -shared -Wl,-soname -Wl,
    PLATFORM_SHARED_VERSIONED=true
    EXEC_LDFLAGS=
    JEMALLOC_INCLUDE=
    JEMALLOC_LIB=
    ROCKSDB_MAJOR=4
    ROCKSDB_MINOR=12
    ROCKSDB_PATCH=0
    CLANG_SCAN_BUILD=scan-build
    CLANG_ANALYZER=
    PROFILING_FLAGS=-pg
    # 컴파일
    make static_lib;
    ==> 혹시 , mongodb scons 컴파일 하고 나서 링크 오류 떨어지면서,  librocksdb 연결할 수 없다는 에러가 게속 발생한다면  위 rocksdb 컴파일 옵션을 static_lib 로 하지말고 make shared_lib으로 변경하자
    # 링크
    export INSTALL_PATH=/usr
    make install; cd ..
    mkdir -p mongo/src/mongo/db/modules/
    ln -sf /설치경로/mongo-rocks mongo/src/mongo/db/modules/rocks
  10. Mongodb 컴파일 에러 회피( centos 에서만 ) 
    mongo 컴파일전에 Bug 를 회피하는 아래 내용 추가
    컴파일전에 추가내용
    $ cd mongo;
    $ vi  version.json
    {
        "version": "0.0.1-fake-"
    }
    $> vi site_scons/mongo_custom_variables.py
    MONGO_VERSION="0.0.1-fake-"
  11. Mongodb 컴파일 
    cd mongo
    $> scons
    위 컴파일 후에 나오는 mongod 바이너리를 사용하면됩니다.
  12. systemctl 에 등록 
    systemctl 변경
    $ >cd /lib/systemd/system
    $> vi  mongodb.service
    [Unit]
    Description=An object/document-oriented database
    Documentation=man:mongod(1)
    After=network.target
    [Service]
    User=mongodb
    Group=mongodb
    ExecStart=/usr/local/bin/mongod --storageEngine=rocksdb -f /etc/mongod.conf
    # (file size)
    LimitFSIZE=infinity
    # (cpu time)
    LimitCPU=infinity
    # (virtual memory size)
    LimitAS=infinity
    # (open files)
    LimitNOFILE=64000
    # (processes/threads)
    LimitNPROC=64000
    [Install]
    WantedBy=multi-user.target
    $> systemctl list-unit-files --type=service | grep mongo
    $> systemctl enable mongodb.service
    $>systemctl list-unit-files --type=service | grep mongo
    $> systemctl start mongodb