Redis Cluster

Intro::

Redis Cluster에 대한 정리본입니다.

Redis Cluster 란??

특징

1. 자동 샤딩:
• Redis 클러스터는 데이터를 자동으로 여러 노드에 분산 저장합니다. 이는 데이터를 균등하게 분배하여 각 노드의 부하를 줄입니다.

2. 고가용성:
• 클러스터 내의 각 노드는 주 노드(마스터)와 보조 노드(슬레이브)로 구성됩니다. 마스터 노드가 장애를 일으키면 슬레이브 노드가 자동으로 승격되어 마스터 역할을 수행합니다.

3. 확장성:
• 노드를 추가하거나 제거하여 클러스터를 쉽게 확장할 수 있습니다. 이는 클러스터의 저장 용량과 처리 능력을 유연하게 조정할 수 있게 합니다.

4. 노드 간 통신:
• Redis 클러스터의 노드들은 서로 통신하며, 데이터 분산과 복제를 관리합니다.

5. 파티셔닝:
• 데이터를 파티셔닝하여 각 노드에 분배합니다. Redis 클러스터는 해시 슬롯을 사용하여 데이터를 16384개의 슬롯에 매핑하고, 이를 노드에 분배합니다.

장점

1. 높은 가용성:
• 노드 장애 시 자동으로 복구되므로 서비스의 가용성을 높일 수 있습니다.

2. 수평적 확장:
• 노드를 추가하여 저장 용량과 처리 성능을 쉽게 확장할 수 있습니다.

3. 자동 데이터 분배:
• 데이터를 자동으로 분산 저장하여 각 노드의 부하를 줄이고, 성능을 향상시킵니다.

4. 고속 성능:
• 분산된 노드들이 병렬로 작업을 수행하므로, 높은 성능을 유지할 수 있습니다.

단점

1. 복잡한 설정:
• 클러스터를 설정하고 관리하는 과정이 단일 인스턴스 Redis에 비해 복잡합니다.

2. 네트워크 오버헤드:
• 노드 간 통신으로 인해 네트워크 오버헤드가 발생할 수 있습니다.

3. 일관성 문제:
• 네트워크 분할 또는 노드 장애 시 일시적인 일관성 문제가 발생할 수 있습니다.

4. 제한된 데이터 타입 지원:
• 특정 데이터 타입이나 명령어는 클러스터 모드에서 완전히 지원되지 않을 수 있습니다.

Dockerfile.redis

FROM redis:latest

CMD ["redis-server", "/usr/local/etc/redis/redis.conf"]

Dockerfile.alpine

FROM alpine:latest

RUN apk add --no-cache redis

redis.conf

port 6379
daemonize no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 3000
appendonly yes
requirepass 비밀번호
masterauth 비밀번

docker-compose.yml

services:
  redis-master-1:
    container_name: redis-master-1
    build:
      context: .
      dockerfile: Dockerfile.redis
    ports:
      - "6379:6379"
    volumes:
      - redis-master-1-data:/data
      - ./redis.conf:/usr/local/etc/redis/redis.conf
    networks:
      - redis-cluster-net

  redis-master-2:
    container_name: redis-master-2
    build:
      context: .
      dockerfile: Dockerfile.redis
    ports:
      - "6380:6379"
    volumes:
      - redis-master-2-data:/data
      - ./redis.conf:/usr/local/etc/redis/redis.conf
    networks:
      - redis-cluster-net

  redis-master-3:
    container_name: redis-master-3
    build:
      context: .
      dockerfile: Dockerfile.redis
    ports:
      - "6381:6379"
    volumes:
      - redis-master-3-data:/data
      - ./redis.conf:/usr/local/etc/redis/redis.conf
    networks:
      - redis-cluster-net

  redis-slave-1:
    container_name: redis-slave-1
    build:
      context: .
      dockerfile: Dockerfile.redis
    ports:
      - "6382:6379"
    volumes:
      - redis-slave-1-data:/data
      - ./redis.conf:/usr/local/etc/redis/redis.conf
    networks:
      - redis-cluster-net

  redis-slave-2:
    container_name: redis-slave-2
    build:
      context: .
      dockerfile: Dockerfile.redis
    ports:
      - "6383:6379"
    volumes:
      - redis-slave-2-data:/data
      - ./redis.conf:/usr/local/etc/redis/redis.conf
    networks:
      - redis-cluster-net

  redis-slave-3:
    container_name: redis-slave-3
    build:
      context: .
      dockerfile: Dockerfile.redis
    ports:
      - "6384:6379"
    volumes:
      - redis-slave-3-data:/data
      - ./redis.conf:/usr/local/etc/redis/redis.conf
    networks:
      - redis-cluster-net

  redis-setup:
    container_name: redis-setup
    build:
      context: .
      dockerfile: Dockerfile.alpine
    depends_on:
      - redis-master-1
      - redis-master-2
      - redis-master-3
      - redis-slave-1
      - redis-slave-2
      - redis-slave-3
    environment:
      - REDIS_PASSWORD=password
    volumes:
      - ./setup-redis-cluster.sh:/usr/local/etc/redis/setup-redis-cluster.sh
    networks:
      - redis-cluster-net
    command: ["sh", "-c", "chmod +x /usr/local/etc/redis/setup-redis-cluster.sh && /usr/local/etc/redis/setup-redis-cluster.sh"]

volumes:
  redis-master-1-data:
  redis-master-2-data:
  redis-master-3-data:
  redis-slave-1-data:
  redis-slave-2-data:
  redis-slave-3-data:

networks:
  redis-cluster-net:

setup-redis-cluster.sh

#!/bin/sh

# Install redis-cli
apk add --no-cache redis

echo "Waiting for Redis nodes to start..."
sleep 10

echo "Creating Redis cluster with masters..."
yes yes | redis-cli --cluster create \
  redis-master-1:6379 \
  redis-master-2:6379 \
  redis-master-3:6379 \
  --cluster-replicas 0 \
  -a ${REDIS_PASSWORD}

echo "Adding slaves to the cluster..."
redis-cli --cluster add-node redis-slave-1:6379 redis-master-1:6379 --cluster-slave -a ${REDIS_PASSWORD}
redis-cli --cluster add-node redis-slave-2:6379 redis-master-2:6379 --cluster-slave -a ${REDIS_PASSWORD}
redis-cli --cluster add-node redis-slave-3:6379 redis-master-3:6379 --cluster-slave -a ${REDIS_PASSWORD}

데이터 확인 예제

# 컨테이너 접속
docker exec -it redis-master-1 sh

# 클러스터 모드 레디스 cli 접속
redis-cli -c -a password

# key value 저장
set key1 "Hello, Redis!"

# 데이터 확인
get key1
"Hello, Redis!"
# 데이터가 실제로 저장된 키슬롯확인
CLUSTER KEYSLOT key1
(integer) 9189
# 노드별 담당 키슬롯범위를 확인하여 어느 노드가 관리하고 있는지 파악 가능
CLUSTER NODES
2dc5480b5c9521c5d987d56136ef23cc4422cfa2 172.19.0.2:6379@16379 slave 3376c85cb33ca95be7a30ef980019e2c50da7afb 0 1721288671554 3 connected
3376c85cb33ca95be7a30ef980019e2c50da7afb 172.19.0.5:6379@16379 master - 0 1721288671554 3 connected 10923-16383
121edfec52734ec5d1d3c3e7fc4e6da91996d0f7 172.19.0.4:6379@16379 slave 6313f3c66d1e407140f9140e368fda08e3f3f10e 0 1721288671554 2 connected
1adf90a107637a3e45fdb9bd19fc55b8c4b0a423 172.19.0.7:6379@16379 slave 4b82b9e5bbf9676a52eab80dd17eea77a938aa9d 0 1721288671050 1 connected
6313f3c66d1e407140f9140e368fda08e3f3f10e 172.19.0.3:6379@16379 master - 0 1721288671000 2 connected 5461-10922
4b82b9e5bbf9676a52eab80dd17eea77a938aa9d 172.19.0.6:6379@16379 myself,master - 0 1721288670000 1 connected 0-5460

Trouble Shooting

# 로컬에서 설정
sudo sysctl vm.overcommit_memory=1

References::

5분 안에 구축하는 Redis-Cluster

Redis-Cluster 특징? master를 여러개 두어 분산 저장이 가능하며(Sharding), scale out 이 가능하다. 서버를 늘릴수록 저장할수 있는 공간이 무한대로 커진다. master에 하나 이상의 slave 를 둘 수 있다. master 1,2,3 이 있다면 데이터는 3개중에 하나에 저장되며, client 가 데이터 읽기 요청시 저장된 곳이 아닌 다른 마스터에 요청 했다면 저장된 마스터 정보를 알려주며, 클라이언트는 전달받은 마스터 정보에 다시 요청해서 데이터를 받아와야 한다. But, 해당 부분은 redis-cluster 를 지원하는 라이브러리에서 다 해준다. * 참고 - scale up : 단일 서버의 스펙을 올려 서버 성능을 높힌다. - scale out : 서버를 추가하여 서버 ..

https://co-de.tistory.com/24

Docker로 Redis 클러스터 구성하기 | Hwasurr's Devlog

로컬 환경 테스트를 위한 Dokcer cluster를 docker-compose로 구성하는 과정을 알아봅니다.

https://hwasurr.com/blog/redis/cluster