알고리즘 샤딩

알고리즘 샤딩 구조

알고리즘 샤딩(algorithm sharding)은 데이터베이스 아이디를 단순하게 나누어 샤딩하는 방식이다. 샤딩 알고리즘(sharding algorithm)이라고도 불린다.

개요

알고리즘 샤딩은 데이터베이스 아이디를 단순하게 샤딩하는 방식으로 같은 값을 가지는 key-value 데이터베이스에 적합하지만, 클러스터를 포함하는 노드 개수가 변하게 되면 리샤딩(Resharding)이 필요하며, 해시키로 분산되기 때문에 공간에 대한 효율이 부족하다.

특징

샤딩을 분류하는 한 가지 방법은 대동적 알고리즘이다. 알고리즘 샤딩에서 클라이언트는 도움 없이 주어진 파티션의 데이터베이스를 결정할 수 있고, 동적 샤딩에서 별도의 로케이터 서비스는 노드 간의 파티션을 추적한다. 알고리즘 샤딩 데이터베이스는 샤딩 기능 (partition_key)-> database_id를 사용하여 데이터를 찾고, 간단한 샤딩 함수는 $hash(key)\%NUM_{D}B$일 수 있다. 파티션 키가 제공되는 한 단일 데이터베이스 내에서 읽기가 수행되어, 파티션 키가 없는 쿼리는 모든 데이터베이스 노드를 검색해야 하며, 파티션되지 않은 쿼리는 클러스터 크기와 관련하여 확장되지 않음으로 사용하지 않는 것이 좋다. 알고리즘 샤딩은 샤딩 기능만으로 데이터를 배포하여, 페이로드 크기 또는 공간 활용도는 고려하지 않는다. 데이터를 균일하게 분배하려면 각 파티션의 크기가 비슷해야 하고, 세분화 된 파티션은 핫스팟을 줄이며, 단일 데이터베이스에는 많은 파티션이 포함되어, 데이터베이스 간의 데이터 합계는 통계적으로 비슷할 것이다. 이러한 이유로 알고리즘 샤딩은 값이 같은 키-값 데이터베이스에 적합하며, 데이터 리샤딩은 어려울 수 있다. 샤딩 기능을 업데이트하고 클러스터에서 데이터를 이동해야 하기 때문에 일관성과 가용성을 유지하면서 동시에 두 가지를 모두 수행하는 것은 어렵다. 샤딩 기능을 영리하게 선택하면 전송되는 데이터의 양을 줄일 수 있어, 일관된 해싱은 이러한 알고리즘이다. 시스템의 예로는, 맴케시드(mem cached)가 있다. 맴케시드는 자체적으로 샤딩 되지 않지만, 클라이언트 라이브러리가 클러스터 내에서 데이터를 분배할 것으로 예상되며, 이러한 논리는 응용 프로그램 수준에서 구현하기가 매우 쉽다.

활용

블록 플로우

기본 크로스 샤드 트랜잭션을 지원하는 새로운 샤딩 프로토콜은, 크로스샤드 TX에 2단계 커밋이 필요하지 않으며, 이를 블록 플로우라고한다. 일반적인 알고리즘 샤딩 이지만 이더리움(Ethereum)에 적용될 수 있다. 블록 플로우에서는 먼저 샤드 주소를 $G$그룹으로 분할한 다음 입력 주소 및 출력 주소를 기반으로 모든 트랜잭션을 $GxG$ 샤드로 분배한다. 샤드 $(i,j)$는 그룹 $i$에서 그룹 $j$까지의 트랜잭션으로 구성되어 있다고 가정하면, 그룹 $i$의 경우 샤드 $(j,i)$ 및 $(i,j)$의 트랜잭션만 다운로드하면되므로 총 $GxG$ 샤드 대신 $2G-1$ 샤드가 필요하며, 확장성에 이바지한다. 그룹 $i$에서 그룹 $j$로의 트랜잭션은 샤드 $(i,j)$에 직접 제출되며, 이는 2단계 커밋을 피하는 첫 번째 방법이다. 특정 데이터 구조 + 최종 알고리즘을 사용하여 모든 샤드에 대한 합의에 도달하여, 데이터 구조 덕분에 알고리즘은 1% 공격 대신 51% 공격을 받는다. 이 알고리즘 샤딩을 사용하는 비용은 샤드 종속성을 저장하는 새로운 데이터 구조를 위해 추가 스토리지가 필요하며 비용은 블록당 약 $100B-200B$이고, 수퍼 노드는 필요하지 않지만 풀 노드는 각 그룹당 하나의 $G$ 노드로 구성되어 완전한 원장을 구성한다. 또한 스마트 계약 확장을 위한 혁신적인 기능으로, 현명한 계약을 토큰 부분과 데이터 부분으로 분해한 다음 토큰 수준 프로그래밍을 위한 스크립팅 언어를 제공하면, 데이터 부분에 내장된 VM 언어를 원하지 않기 때문에 실질적인 절충안이다.

시스템에는 $GxG$ 샤드가 있으며 $G$는 주소 그룹의 수이고, 각 주소 그룹마다 $G$ 샤드가 있어, 이 설정에서 크로스 샤드 트랜잭션은 그룹 간 트랜잭션이 된다. 토큰 기반 접근 방식과 같은 상태 기반이 아닌 UTXOs + 데이터를 확장하는 것이 주정부 계약을 확장하기보다 훨씬 쉽다는 것을 알았으므로 처음에 결정적인 디자인 절충안이었다. 애플리케이션은 UTXO와 함께 데이터 블록을 사용하여 상태를 가질 수 있어, 일부 응용 프로그램은 기존 블록체인과 거의 동일한 샤드 $(i,i)$를 고수 할 수도 있고, 응용 프로그램의 일반성을 잃어버렸지만 훨씬 간단한 확장 가능한 솔루션이다. 종속성은 방향성 비순환 그래프를 형성하며, DAG는 각 샤드의 포크를 결정하는 데 사용되고, 예를 들어 최신 블록 $(3,5)$는 ​​최신 블록 $(3,4)$를 종속성으로 사용하고 최신 블록 $(3,4)$는 최신 블록 ${3,5}$를 종속성으로 사용한다. 이 두 개의 최신 블록 $(3,4)(3,5)$를 동시에 만들 수 있으나 최신 블록 $(3,1)$에 대한 종속성으로 함께 사용될 수 있다. 블록 시간은 다른 샤드에 대해 약간 무작위이므로 가능한 한 많은 블록을 포함하기 위해 다른 행의 최신 블록을 사용하고, 예를 들어, $G$개의 개별 노드에 분산된 전체 수퍼 체인에 대한 견해를 결정해, 종속성 구성은 뷰가 올바른지 확인한다.

종류

• 샤딩 알고리즘

클러스터의 서버 수가 일정한 경우 모든 서버에 균일하고 일관되게 트래픽을 분산시키는 것은 어렵지 않으나 실제 환경에서는 유지 관리를 위해 항상 서버를 사용하지 않아야 하며, 좋은 샤딩 알고리즘의 과제는 요청의 완전한 재배포를 피하는 것이다. 아래 표는 간단한 모듈식 알고리즘을 사용하며, 서비스 중인 서버 수로 나누고 키를 나누어, 나머지는 요청을 받는 서버이다.

키	396562	673665	115181	650428	804339	394035	280572	108093	938266	125314
5 노드	2	0	1	3	4	0	2	3	1	4
4 노드	2	1	1	0	3	3	0	1	2	2

5개의 서버 (0-4) 클러스터를 가지고 있고 서버 4를 서비스에서 제외시키는 경우를 알 수 있으며, 요청은 나머지 4대의 서버로 완전히 재분배되고, 노드 변경 시 일관성을 제공하는 두 가지 알고리즘이다.

• 조회 링 알고리즘

서버 노드 수보다 훨씬 많은 양의 요소가 있는 배열을 사용하여 링을 형성한다. 설명을 위해 5개의 노드에 25개의 슬롯을 사용하지만, 실제 비율은 훨씬 높아야 하고, 정확한 수는 시뮬레이션을 실행하여 확인할 수 있다. 그런 다음 서버 노드 번호들이 배열에 무작위로 배치하여, 정상 모드에서 로드를 균등하게 분배하려면 링을 채우는 알고리즘이 모든 노드가 슬롯의 동일한 점유율을 갖도록 해야 한다.

0	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23	24
3	1	4	2	0	3	0	2	4	1	2	3	4	0	1	3	2	1	0	4	3	1	4	0	2

어떤 노드가 어떤 요청을 얻는지 결정하기 위해 키(650428)를 슬롯 수(25)로 나누고 나머지(3)를 가져온다. 나머지 배열을 인덱스로 사용하여 위의 배열에서 서버 노드 번호(2)를 얻고, 해당 서버(2)는 요청을 처리하도록 지정되어 있어, 지정된 서버 노드가 서비스 불가능(OOS)인 경우 어레이의 다음 슬롯 (4) 에 의해 지정된 서버 노드 (0) 를 사용한다. 서비스 중인 서버를 찾을 때까지 프로세스가 계속된다. 아래 표는 일련의 테스트 키 요청을 처리하도록 선택된 서버 노드를 보여줌으로써 프로세스를 보여준다. 마지막 행에서 노드 2가 작동하지 않을 때 로드가 노드 0, 1 및 3 사이에 분배됨을 알 수 있고, 다른 상황은 정상적인 상황에서 동일한 서버 노드에 의해 계속 제공되어, 캐시를 완전히 재배포할 필요가 없다.

키		396562	673665	115181	650428	804339	394035	280572	108093	938266	125314
MOD 25		12	15	6	3	14	10	22	18	16	14
노드 선택	표준	4	3	0	2	1	2	4	0	2	1
	노드 2 OOS	4	3	0	0	1	3	4	0	1	1

이 알고리즘을 사용하면 얻을 수있는 서버 노드 수에 관계없이 조회 속도가 빠르고 일관성이 있다는 장점있고, 단점은 특히 새 노드가 클러스터에 추가 될 때 조회 링을 유지해야한다는 것이다.

• 키 + 노드해시 알고리즘

일반적으로 MD5 또는 SHA-1과 같은 우수한 해시 알고리즘을 사용한다. 각 요청에 대해 각 활성 노드의 값을 계산한다. 값은 키와 노드, 노드 번호, 노드 이름 또는 노드를 고유하게 식별하는 것으로 구성된 문자열의 해시이다. 서버에서 요청한 최대 해시값을 산출했으며, 아래 표는 일련의 테스트 키에 대한 노드 선택 프로세스를 보여준다. 여기에 사용된 해시 알고리즘은 설명 목적으로만 사용되어 MD5도 SHA-1도 아니며, 마지막 행에서 노드 2의 서비스가 중단되면 로드가 노드 0, 1 및 4 사이에 분배된다는 것을 알 수 있다. 그동안 정상적인 상황에서 다른 요청이 동일한 서버 노드에 의해 계속 제공되고, 따라서 캐시를 완전히 재배포할 필요가 없다.

노드 / 키		396562	673665	115181	650428	804339	694035	280572	108093	938266	125314
키 연결 노드의 해시	노드 0	81526	40031	29723	53735	23911	34931	96088	43852	56076	38777
	노드 1	5425	19393	93416	53022	51364	84920	51352	70016	26255	30336
	노드 2	93129	26422	83633	65930	81901	87666	50754	32221	29866	7363
	노드3	40372	44005	22422	32105	80448	39727	33887	31331	82034	93235
	노드 4	4337	89463	87164	65973	90511	14499	88153	11442	63305	29493
노드 선택	표준	2	4	1	2	4	2	0	1	3	3
	노드 2 OOS	0	4	1	4	4	1	0	1	3	3

이 알고리즘의 장점은 간단하고 유지 보수가 적으며, 클러스터에 노드를 쉽게 추가하고 제거 할 수 있다. 단점은 각 요청에 대한 해시 값을 계산하기위한 오버 헤드로, 클러스터의 노드 수가 증가하면 오버 헤드가 증가한다.

참고자료

• DevBlog, 〈(Databases) Database Sharding(샤딩)이란?〉, 《티스토리》, 2019-01-29
• 청왕, 〈BlockFlow : 단일 단계 크로스 샤드 트랜잭션으로 새로운 샤딩 알고리즘 소개〉, 《EthResearch》, 2019-02-18
• 김재영, 〈샤딩 작동 방식〉, 《미디엄》, 2014-12-06
• Kenneth Xu, 〈프로그램〉, 《개인 블로그》, 2012-11-17

같이 보기

• 샤드
• 샤딩

이 알고리즘 샤딩 문서는 블록체인 기술에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

블록체인 : 블록체인 기술 □■⊕, 합의 알고리즘, 암호 알고리즘, 알고리즘, 블록체인 플랫폼, 블록체인 솔루션, 블록체인 서비스 블록체인 기술 Bech32 • BTP • DRC-20 • EIP • IPFS • KRC-20 • NFT 마켓플레이스 • P2P • P2PKH • P2SH • PFP • PUF • SPV • TPS • TRC-20 • UTXO • 가나슈 • 가명성 • 가스 • 가십 • 가십 프로토콜 • 개념증명(PoC) • 검증가능지연함수(VDF) • 게스 • 고스트 프로토콜 • 공공예산 • 대체가능토큰 • 대체불가토큰(NFT) • 도지더리움 브릿지 • 디지털 자산 • 디지털 희소성 • 라운드 • 라운드 로빈 • 라이트하우스 • 랜덤 • 레그테크 • 레이든 • 리카르디안 계약 • 린스타트업 • 마스터키 • 마스트 • 메인넷 • 멜팅 • 믹싱 • 민팅 • 밈블윔블 • 반감기 • 베타넷 • 변경불가성 • 브릿지 • 블록체인 생태계 • 블록체인인공지능 • 블록체인 클라우드 서비스(BaaS) • 블룸필터 • 비블록체인 • 비앱 • 비콘체인 • 비트코인코어 • 빤통경제 • 수정 고스트 프로토콜 • 스냅샷 • 스마트 계약 • 스마트 브리지 • 스웜프로토콜 • 스크립트퍼브키 • 스테이킹 • 스텔스 주소 • 스핀오프코인 • 슬래싱 • 시크릿 컨트랙트 • 심플 컨트랙트 • 아토믹스왑 • 암호경제(크립토 이코노미) • 앵커링 • 언스테이킹 • 에어드랍 • 에폭 • 오프체인 오더락 • 오피리턴 • 옵코드 • 원토큰 문제 • 웨이 • 위스퍼 프로토콜 • 위임 • 유니스왑 • 유동성 • 이더리움 가상머신(EVM) • 이더리움 클라이언트 • 이중지불 • 익명성 • 인증된 익명 아이디 • 인터레저 프로토콜(ILP) • 자산화 • 잠금 스크립트 • 최소기능제품(MVP) • 컨소시엄 블록체인 • 컬러드코인 • 코인셔플 • 코인소각 • 코인에이지 • 코인조인 • 코인토싱 • 크립토노트 • 키스토어 • 타임락 • 테스트넷 • 토다 • 토큰 이코노미 • 토큰화 • 튜링완전 • 튜링불완전 • 트랜잭션 아이디(TxID) • 트러스트 컨트랙트 • 트루빗 • 트릴레마 • 파워 • 파티셔닝 • 퍼블릭 블록체인 • 페널티 • 프라이버시 • 프라이빗 블록체인 • 플랫폼 • 플러딩 • 피어 • 피투피(P2P) • 하이브리드 블록체인 • 합의 • 해시락 • 해시타임락(HTLC) • 해제 스크립트 • 확장성 해시 레인보우 테이블 • 매핑 • 머클경로 • 머클루트 • 머클트리 • 분산해시테이블(DHT) • 블록해시 • 스큐드 머클트리 • 온라인툴즈 • 이전블록해시 • 카뎀리아 • 해시 • 해시레이트 • 해시맵 • 해시충돌 • 해시테이블 • 해시파워 • 해시함수 • 해싱 블록 고아블록 • 그래핀 • 논스 • 마이크로블록 • 베이킹 • 북키퍼 • 브랜치블록 • 브로드캐스팅 • 블록 • 블록높이 • 블록바디 • 블록생성자 • 블록정보 • 블록타임 • 블록헤더 • 비츠 • 세그윗 • 엉클블록 • 완결성 • 제네시스블록 • 타임스탬프 • 프룻 • 프룻체인 체인 더블체인 • 라이트닝 네트워크 • 라이트닝 루프 • 루트체인 • 루프체인 • 메인체인 • 방향성 비순환 그래프(DAG) • 베리파이어블 프루닝 • 블록격자 • 블록체인 • 사용자 활성화 소프트포크(UASF) • 사용자 활성화 하드포크(UAHF) • 사이드체인 • 서브체인 • 소프트포크 • 오페라체인 • 오프체인 • 온체인 • 인터체인 • 차일드체인 • 체인 • 탱글 • 테스트체인 • 토카막 네트워크 • 포크 • 포크체인 • 퓨어체인 • 프로덕트체인 • 프루닝 • 프리포크 • 플라즈마 알고리즘 • 플라즈마캐시 • 플래시 계층 • 하드포크 • 해시그래프 • 홀로체인 노드 검증인(밸리데이터) • 기본노드 • 노드 • 라이트노드 • 랜덤노드 • 마스터노드 • 베이킹노드 • 보조노드 • 보증노드 • 슈퍼노드(슈퍼대표, 대표노드) • 슬롯 • 슬롯리더 • 엔드포인트노드(레인저노드) • 의회 네트워크 • 작업노드 • 종단노드 • 종자노드(시드노드) • 중계노드 • 지갑노드 • 채굴노드(마이닝노드) • 쿼럼 • 풀노드 • 합의노드 샤딩 네트워크 샤딩 • 데이터베이스 샤딩 • 동적샤딩 • 샤드 • 샤딩 • 스테이트 샤딩 • 알고리즘 샤딩 • 적응형 상태 샤딩 • 체인샤딩 • 트랜잭션 샤딩 채굴 병합채굴 • 사전채굴 • 에이식(ASIC) • 에이식부스트 • 에이식 저항 • 일드파밍 • 채굴 • 채굴 난이도 • 채굴량 • 탄소감축채굴 • 페어런치 탈중앙화 TVL • 거버넌스 • 다오(DAO) • 다이코(DAICO) • 닥(DAC) • 닥스(DAX) • 덱스(DEX) • 디앱(DApp) • 디지오(DGO) • 디튜브 • 디파이(DeFi) • 분산경제 • 분산원장(DLT) • 분산 클라우드 • 씨파이(C-Fi) • 오프체인 거버넌스 • 온체인 거버넌스 • 원장 • 준중앙화 • 중앙화 • 탈중앙화 • 탈중앙화 TPS • 탈중앙화 조직(DO) • 탈중앙화 지수(DQ) 분산아이디 DIDs • IETF • ToIP • 검증가능한 자격증명 • 검증인 • 디지털아이덴티티재단 • 발급자 • 보유자 • 분산아이디(DID) • 분산아이디 기관 • 분산아이디 인증(DID Auth) • 아이온 • 자기주권 • 자기주권신원 • 최소화된 자격증명 데이터 • 탈중앙화 키관리시스템 • 통합해석기 오라클 상호인증 블록체인 • 오라클 • 오라클 머신 • 오라클 문제 • 오라클 서비스 • 중간자 BIP BIP • BIP9 • BIP16 • BIP32 • BIP39 • BIP43 • BIP44 • BIP47 • BIP49 • BIP63 • BIP70 • BIP84 • BIP141 • BIP148 ERC ERC • ERC-20 • ERC-165 • ERC-223 • ERC-621 • ERC-721 • ERC-777 • ERC-827 • ERC-884 • ERC-998 • ERC-1155 • ERC-1404 위키 : 자동차, 교통, 지역, 산업, 기업, 단체, 업무, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반