[이길어때] 우당탕탕 DB 레플리케이션 적용기

date

Jan 3, 2024

slug

yigil-db-replication

author

status

Public

tags

Java

postgreSQL

Docker

summary

이길어때 프로젝트를 진행하면서 DB 레플리케이션을 프로젝트에 적용한 경험을 기록합니다

type

Post

thumbnail

category

💬 Project

updatedAt

Jan 3, 2024 09:35 AM

Slave DB 구성하기

docker run -d --name slave_container_name -e POSTGRES_PASSWORD=password -p 5433:5432 -v postgres_data:/var/lib/postgresql/data postgres

컨테이너 IP 확인하기

docker inspect -f '{{range.NetworkSettings.Networks}}{{.IPAddress}}{{end}}' container_name_or_id

Master DB 설정하기

docker exec -it masterdb_conatiner bash

apt-get update && apt-get install nano

nano /var/lib/postgresql/data/postgresql.conf

listen_addresses = '*' # 모든 연결을 허용합니다
port = 5432 # 포트번호를 작성합니다
max_connections = 100 # 최대 연결 수를 제한합니다 (충분한 값으로 설정)

shared_buffers = 256MB # 컨테이너 메모리의 1/4 정도로 설정합니다 
work_mem = 4MB
maintenance_work_mem = 64MB
dynamic_shared_memory_type = posix

wal_level = replica # WAL 레벨을 설정합니다
max_wal_size = 1GB
min_wal_size = 80MB

archive_mode = on # WAL파일을 아카이빙 합니다
archive_command = 'cp %p /archive/%f' # WAL 파일의 경로

max_wal_senders = 3 # Slave DB의 수 +1 로 설정합니다
wal_keep_size = 1024

logging_collector = on
log_directory = pg_log
log_filename = 'postgresql-%Y-%m-%d_%H%M%S.log'
log_timezone = 'Etc/UTC'

mkdir /archive

CREATE USER replica_user REPLICATION LOGIN CONNECTION LIMIT 2 ENCRYPTED PASSWORD '1234';

nano /var/lib/postgresql/data/pg_hba.conf

host replication replica_user slave_ip/32 trust

Slave DB 설정하기

docker exec -it slave_container bash

apt-get update
apt-get install postgis postgresql-16-postgis-3
apt-get install nano

docker cp master-container:var/lib/postgresql/data [로컬 경로]

docker cp [로컬 경로] slave-container:var/lib/postgresql

nano /var/lib/postgresql/data/postgresql.conf

primary_conninfo = 'host=master_ip port=5432 user=replica_user password=1234 sslmode=prefer'
hot_standby = on

설정 완료되었는지 확인하기

SELECT * FROM pg_stat_replication;

SELECT * FROM pg_stat_wal_receiver;

SpringBoot 환경 설정하기

Spring boot :: Datasource Replication 구현

Replication 이란 ? 데이터베이스의 부하를 분산시키는 방법 중 하나이다. Write 관련 작업들은 Master DB 에서 처리를 하고 Read 관련 작업들은 Slave DB 에서 처리를 통해 부하는 분산 시키는 전략이다. 대부분의 서비스들은 Read 관련 작업들이 많기 때문에 Slave DB 를 여러 대 두어 분산시킬 수 있다. 단, 주의할 점은 Replication 은 짧은 시차가 존재한다는 점이다. Master 와 Slave 간의 Sync 를 맞추는 간격 사이에서 데이터의 정합성이 깨질 수 있다. 따라서 Master 에서도 읽기 작업이 필요한 순간들이 있다. 코드구현 Java 는 JDBC 커넥션 객체의 Connection.setReadOnly(true | false) 메소드를 통해 Repli..

https://wave1994.tistory.com/177

spring:
	datasource:
		master:
			hikari:
				driver-class-name: org.postgresql.Driver
				jdbc-url: [master-db의 주소]
				read-only: false
				username: [master-db의 Username]
				password: [master-db의 password]
		slave:
			hikari:
				driver-class-name: org.postgresql.Driver
				jdbc-url: [slave-db의 주소]
				read-only: true
				username: [slave-db의 Username]
				password: [slave-db의 Password]

@Configuration
public class MasterDataSourceConfig {
	@Primary
	@Bean(name = "masterDataSource")
	@ConfigurationProperties(prefix = "spring.datasource.master.hikari")
	public DataSource masterDataSource() {
		return DataSourceBuilder.create()
						.type(HikariDataSource.class)
						.build();
	}
}

@Configuration
public class SlaveDataSourceConfig {
	@Bean(name = "slaveDataSource")
	@ConfigurationProperties(prefix = "spring.datasource.slave.hikari")
	public DataSource slaveDataSource() {
		return DataSourceBuilder.create()
						.type(HikariDataSource.class)
						.build();
	}
}

public enum DataSourceType {
	Master, Slave
}

public class ReplicationRoutingDataSource extends AbstractRoutingDataSource {
	@Override
	protected Object determineCurrentLookupKey() {
		return TransactionSynchronizationManager.isCurrentTransactionReadOnly() ?
						DataSourceType.Slave : DataSourceType.Master;
	}
}

@Configuration
public class RoutingDataSourceConfig {
	@Bean(name = "routingDataSource")
	public DataSource routingDataSource(@Qualifier("masterDataSource") DataSource masterDataSource,
																			@Qualifier("slaveDataSource") DataSource slaveDataSource) {
		ReplicationRoutingDataSource routingDataSource = new ReplicationRoutingDataSource();

		Map<Object, Object> dataSourceMap = Map.of(
				DataSourceType.Master, masterDataSource,
				DataSourceType.Slave, slaveDataSource
		);

		routingDataSource.setTargetDataSources(dataSourceMap);
		routingDataSource.setDefaultTargetDataSource(masterDataSource);
		
		return routingDataSource;
	}

	@Bean(name = "dataSource")
	public DataSource dataSource(@Qualifier("routingDataSource") DataSource routingDataSource) {
		return new LazyConnectionDataSourceProxy(routingDataSource);
	}
}