[8주차] 14장

[knae11]

운영 클러스터 구축

[knae11]

내용정리

• 운영 클러스터를 구축할 일은 흔치 않을 것 같아 지금 읽으면서는 어떤 내용들을 챙기는지 위주로 가볍게..읽어보았습니다!

[SSONG22]

내용정리

• 클러스터 구축할 때의 팁같은 것을 알 수 있어서 좋았습니다. (하드웨어, 노드 구성의 요약본 같은 느낌이었어요)
• 보안 부분 설정이 복잡하다고 느꼈습니다. 😂

[cheese10yun]

내용정리

의견

Docker 설정

version: '3.2'
services:
  es01:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.5.1
    container_name: es01
    environment:
      - node.name=es01
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es02,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - ./volume/data01:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
    networks:
      - elastic

  es02:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.5.1
    container_name: es02
    environment:
      - node.name=es02
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - ./volume/data02:/usr/share/elasticsearch/data
    ports:
      - 9201:9201
    networks:
      - elastic

  es03:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.5.1
    container_name: es03
    environment:
      - node.name=es03
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es02
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - ./volume/data03:/usr/share/elasticsearch/data
    ports:
      - 9202:9202
    networks:
      - elastic

  kib01:
    image: docker.elastic.co/kibana/kibana:7.5.1
    container_name: kib01
    ports:
      - 5601:5601
    environment:
      ELASTICSEARCH_URL: http://es01:9200
      ELASTICSEARCH_HOSTS: http://es01:9200
    networks:
      - elastic

  logstash:
    image: docker.elastic.co/logstash/logstash:7.5.1
    container_name: logstash
    command: logstash -f /usr/share/logstash/pipeline/logstash.conf
    volumes:
      - type: bind
        source: ./logstash/config/logstash.yml
        target: /usr/share/logstash/config/logstash.yml
        read_only: true
      - type: bind
        source: ./logstash/pipeline
        target: /usr/share/logstash/pipeline
        read_only: true
    environment:
      LS_JAVA_OPTS: "-Xmx256m -Xms256m"
    ports:
      - 5044:5044
  networks:
    - elastic
  depends_on:
    - es01
    - es02
    - es03
    - kib01

volumes:
  data01:
    driver: local
  data02:
    driver: local
  data03:
    driver: local
  logstash:
    driver: local

networks:
  elastic:
    driver: bridge

• 실제 서버 컴퓨터에 설정을 해보려 했지만 일단 분산 클러스터 인스턴스를 만드는 방법이 마땅한게 없어 그냥 단일 머신에 도커 기반으로 진행 해봄
• 데이터 노드, 마스터 노드들 간의 통신이 빈번하기 때문에 내부 네트워크를 브릿지를 연결하는 것이 좋다고 판단됨
• 데이터 노드 같은 경우는 k8s 환경에서 구성해도 나쁘진 않을거 같음 yml 설정들이 잘되어 있어 도커 기반으로 편리하게 설정 가능할거 같음
• 키바나도 이중화를 해야하는지 의문