해시넷
하이퍼테이블 편집하기
편집을 되돌릴 수 있습니다.
이 편집을 되돌리려면 아래의 바뀐 내용을 확인한 후 저장해주세요.
| 최신판 | 당신의 편집 | ||
| 17번째 줄: | 17번째 줄: | ||
* '''체크포인트''' : 테이블 데이터를 임의의 순서대로 출력하여 하이퍼테이블에 백업시키고, 하이퍼테이블은 항상 체크포인트에서 일관되고 작동 가능한 상태로 되돌아올 수 있다.<ref name='나'> 〈[https://dbdb.io/db/hypertable 하이퍼 테이블]〉, 《데이터베이스 데이터베이스》</ref> | * '''체크포인트''' : 테이블 데이터를 임의의 순서대로 출력하여 하이퍼테이블에 백업시키고, 하이퍼테이블은 항상 체크포인트에서 일관되고 작동 가능한 상태로 되돌아올 수 있다.<ref name='나'> 〈[https://dbdb.io/db/hypertable 하이퍼 테이블]〉, 《데이터베이스 데이터베이스》</ref> | ||
| − | * '''동시성 제어''' : 다중 버전 동시성 제어(MVCC: Multi Version Concurrency Control)란 하이퍼테이블이 가지고 있는 기능 중 하나로 수정된 번호로 자동으로 할당된 타임 스탬프를 사용한다.<ref name= | + | * '''동시성 제어''' : 다중 버전 동시성 제어(MVCC: Multi Version Concurrency Control)란 하이퍼테이블이 가지고 있는 기능 중 하나로 수정된 번호로 자동으로 할당된 타임 스탬프를 사용한다.<ref name='나'> 〈[https://dbdb.io/db/hypertable 하이퍼 테이블]〉, 《데이터베이스 데이터베이스》</ref> |
| − | * '''데이터 모델''' : 하이퍼테이블은 일련의 관련 열을 사용한다.<ref name= | + | * '''데이터 모델''' : 하이퍼테이블은 일련의 관련 열을 사용한다.<ref name='나'> 〈[https://dbdb.io/db/hypertable 하이퍼 테이블]〉, 《데이터베이스 데이터베이스》</ref> |
| − | * '''쿼리 인터페이스''' : 하이퍼테이블은 테이블을 생성하고 수정 및 쿼리하기 위한 HQL(Hypertable Query Language)을 제공한다. 이것을 사용해서 관리 명령을 호출할 수도 있다. HQL은 하이퍼테이블 명령 줄 인터페이스(htshell), Thrift API 메소드 및 하이퍼테이블로 해석할 수 있다.<ref name= | + | * '''쿼리 인터페이스''' : 하이퍼테이블은 테이블을 생성하고 수정 및 쿼리하기 위한 HQL(Hypertable Query Language)을 제공한다. 이것을 사용해서 관리 명령을 호출할 수도 있다. HQL은 하이퍼테이블 명령 줄 인터페이스(htshell), Thrift API 메소드 및 하이퍼테이블로 해석할 수 있다.<ref name='나'> 〈[https://dbdb.io/db/hypertable 하이퍼 테이블]〉, 《데이터베이스 데이터베이스》</ref> |
| − | * '''스토리지 아키텍처''' : 디스크 지향으로 하이퍼테이블은 어떠한 파일 시스템에서도 실행할 수 있다. 파일 시스템(FS) 브로커는 모든 파일 시스템 요청을 처리한다. FS 브로커들은 현재 HDFS, MapR, Ceph, KFS 및 현지인을 지원한다.<ref name= | + | * '''스토리지 아키텍처''' : 디스크 지향으로 하이퍼테이블은 어떠한 파일 시스템에서도 실행할 수 있다. 파일 시스템(FS) 브로커는 모든 파일 시스템 요청을 처리한다. FS 브로커들은 현재 HDFS, MapR, Ceph, KFS 및 현지인을 지원한다.<ref name='나'> 〈[https://dbdb.io/db/hypertable 하이퍼 테이블]〉, 《데이터베이스 데이터베이스》</ref> |
;확장성 | ;확장성 | ||
| 29번째 줄: | 29번째 줄: | ||
;바용 절감 | ;바용 절감 | ||
| − | 하이퍼테이블(Hypertable)은 최대의 효율성과 최적의 성능을 위해 설계 및 구현되었다. 가비지 수집 및 런타임 해석의 성능 및 안정성 비용을 발생시키지 않는 컴파일 된 언어로 구현하도록 선택함으로써 Hypertable은 일부 하드웨어에서 동등한 데이터베이스 용량을 제공 할 수 있다. 이는 더 적은 장비, 더 적은 전력 소비 및 더 적은 데이터 센터 공간을 의미한다.<ref name= | + | 하이퍼테이블(Hypertable)은 최대의 효율성과 최적의 성능을 위해 설계 및 구현되었다. 가비지 수집 및 런타임 해석의 성능 및 안정성 비용을 발생시키지 않는 컴파일 된 언어로 구현하도록 선택함으로써 Hypertable은 일부 하드웨어에서 동등한 데이터베이스 용량을 제공 할 수 있다. 이는 더 적은 장비, 더 적은 전력 소비 및 더 적은 데이터 센터 공간을 의미한다.<ref name='다'>하이퍼테이블 공식홈페이지 - https://hypertable.com/why_hypertable/</ref> |
;공연 | ;공연 | ||
| − | 하이퍼테이블(Hypertable)의 고효율 설계 및 구현의 또 다른 이점은 더 나은 성능에서 얻을 수 있는 모든 이점을 제공한다는 것이다. 라이브 애플리케이션의 경우 Hypertable은 전체 요청 지연 시간을 줄여 훨씬 더 응답 성이 뛰어난 사용자 경험을 제공하는 데 도움이 될 수 있다. 오프라인 애플리케이션의 경우 더 높은 처리량이 달성되어 주어진 시간 동안 더 많은 작업을 수행 할 수 있다.<ref name= | + | 하이퍼테이블(Hypertable)의 고효율 설계 및 구현의 또 다른 이점은 더 나은 성능에서 얻을 수 있는 모든 이점을 제공한다는 것이다. 라이브 애플리케이션의 경우 Hypertable은 전체 요청 지연 시간을 줄여 훨씬 더 응답 성이 뛰어난 사용자 경험을 제공하는 데 도움이 될 수 있다. 오프라인 애플리케이션의 경우 더 높은 처리량이 달성되어 주어진 시간 동안 더 많은 작업을 수행 할 수 있다.<ref name='다'>하이퍼테이블 공식홈페이지 - https://hypertable.com/why_hypertable/</ref> |
;깨끗한 의미 | ;깨끗한 의미 | ||
| − | 하이퍼테이블(Hypertable)은 일관된 데이터베이스(Database)이다. 확장 가능한 대부분의 노에스큐엘(NoSQL) 데이터베이스 제품은 최종 일관성 의 개념을 중심으로 설계되어 데이터베이스를 추론하기가 더 어렵다. 궁극적으로 일관된 데이터베이스에는 복잡한 구문 또는 의미 조정자가 필요하며 일부 상황에서는 데이터가 손실 될 수도 있다. 응용 프로그램이 Hypertable에 데이터를 쓰고 성공 응답을 받으면 수정 사항이 지속되고 항상 후속 작업에 반영된다.<ref name= | + | 하이퍼테이블(Hypertable)은 일관된 데이터베이스(Database)이다. 확장 가능한 대부분의 노에스큐엘(NoSQL) 데이터베이스 제품은 최종 일관성 의 개념을 중심으로 설계되어 데이터베이스를 추론하기가 더 어렵다. 궁극적으로 일관된 데이터베이스에는 복잡한 구문 또는 의미 조정자가 필요하며 일부 상황에서는 데이터가 손실 될 수도 있다. 응용 프로그램이 Hypertable에 데이터를 쓰고 성공 응답을 받으면 수정 사항이 지속되고 항상 후속 작업에 반영된다.<ref name='다'>하이퍼테이블 공식홈페이지 - https://hypertable.com/why_hypertable/</ref> |
=== 시스템 구성 요소 === | === 시스템 구성 요소 === | ||
| 44번째 줄: | 44번째 줄: | ||
;범위 서버 | ;범위 서버 | ||
| − | 테이블(Table)은 연속된 행 범위 세트로 구분되며 각 범위는 범위 서버에 의해 관리된다. 처음에 각 테이블은 전체 행 키 공간에 걸쳐있는 단일 범위로 구성된다. 테이블이 데이터로 채워지면 범위는 결국 크기 임계 값 (기본값은 200MB)을 초과하고 중간 행 키를 분할 지점으로 사용하여 두 범위로 분할된다. 범위 중 하나는 원래 범위를 보유한 동일한 범위 서버에 유지되고 다른 범위는 마스터에 의해 다른 범위 서버에 재 할당된다. 이 분할 프로세스는 계속 증가함에 따라 모든 범위에 대해 계속된다. 각 범위 서버는 자신이 담당하는 범위에 대한 테이블 데이터의 모든 읽기 및 쓰기를 처리한다. 범위 서버는 메모리에 업데이트를 저장한 후 셀카체(CellCache)라고합니다. 주기적으로 CellCache는 셀스토어(CellStore)라고하는 특별히 포맷 된 파일의 디스크로 플러시된다. 액세스 그룹의 데이터를 스캔하려면 범위 서버가 액세스 그룹에 대한 CellCache 및 모든 CellStore의 병합을 수행해야한다.<ref name= | + | 테이블(Table)은 연속된 행 범위 세트로 구분되며 각 범위는 범위 서버에 의해 관리된다. 처음에 각 테이블은 전체 행 키 공간에 걸쳐있는 단일 범위로 구성된다. 테이블이 데이터로 채워지면 범위는 결국 크기 임계 값 (기본값은 200MB)을 초과하고 중간 행 키를 분할 지점으로 사용하여 두 범위로 분할된다. 범위 중 하나는 원래 범위를 보유한 동일한 범위 서버에 유지되고 다른 범위는 마스터에 의해 다른 범위 서버에 재 할당된다. 이 분할 프로세스는 계속 증가함에 따라 모든 범위에 대해 계속된다. 각 범위 서버는 자신이 담당하는 범위에 대한 테이블 데이터의 모든 읽기 및 쓰기를 처리한다. 범위 서버는 메모리에 업데이트를 저장한 후 셀카체(CellCache)라고합니다. 주기적으로 CellCache는 셀스토어(CellStore)라고하는 특별히 포맷 된 파일의 디스크로 플러시된다. 액세스 그룹의 데이터를 스캔하려면 범위 서버가 액세스 그룹에 대한 CellCache 및 모든 CellStore의 병합을 수행해야한다.<ref name='가'> 〈[https://www.toptechbox.com/p/hypertable-tutorials.html HyperTable이란 무엇입니까?]〉, 《탑텍박스》</ref> |
;석사 | ;석사 | ||
| − | 마스터는 테이블 생성 및 삭제와 같은 모든 메타 작업을 처리한다. 클라이언트 데이터는 마스터를 통해 이동하지 않으므로 클라이언트가 인식하지 못하는 동안 마스터가 잠시 중단될 수 있다. 또한 마스터는 범위 서버 오류를 감지하고 필요한 경우 범위를 재할당한다. 마스터는 범위 서버 부하 분산도 담당한다. 현재 마스터 프로세스는 하나뿐이지만 시스템은 상시 대기 마스터를 허용하는 방식으로 설계되었다. <ref name= | + | 마스터는 테이블 생성 및 삭제와 같은 모든 메타 작업을 처리한다. 클라이언트 데이터는 마스터를 통해 이동하지 않으므로 클라이언트가 인식하지 못하는 동안 마스터가 잠시 중단될 수 있다. 또한 마스터는 범위 서버 오류를 감지하고 필요한 경우 범위를 재할당한다. 마스터는 범위 서버 부하 분산도 담당한다. 현재 마스터 프로세스는 하나뿐이지만 시스템은 상시 대기 마스터를 허용하는 방식으로 설계되었다. <ref name='가'> 〈[https://www.toptechbox.com/p/hypertable-tutorials.html HyperTable이란 무엇입니까?]〉, 《탑텍박스》</ref> |
;DFS 브로커 | ;DFS 브로커 | ||
| − | Hypertable은 모든 파일 시스템에서 실행되도록 설계되었다. 이를 위해 시스템은 DFS 브로커라고하는 것을 통해 파일 시스템에 대한 인터페이스를 추상화했다. DFS 브로커는 표준화 된 파일 시스템 프로토콜 메시지를 특정 파일 시스템에 고유 한 시스템 호출로 변환하는 프로세스이다. DFS 브로커는 HDFS (hadoop), KFS 로컬용으로 개발되었다.<ref name= | + | Hypertable은 모든 파일 시스템에서 실행되도록 설계되었다. 이를 위해 시스템은 DFS 브로커라고하는 것을 통해 파일 시스템에 대한 인터페이스를 추상화했다. DFS 브로커는 표준화 된 파일 시스템 프로토콜 메시지를 특정 파일 시스템에 고유 한 시스템 호출로 변환하는 프로세스이다. DFS 브로커는 HDFS (hadoop), KFS 로컬용으로 개발되었다.<ref name='가'> 〈[https://www.toptechbox.com/p/hypertable-tutorials.html HyperTable이란 무엇입니까?]〉, 《탑텍박스》</ref> |
===노에스큐엘(NoSQL)=== | ===노에스큐엘(NoSQL)=== | ||
| 58번째 줄: | 58번째 줄: | ||
*'''메타데이터''' : 데이터의 배치 정보가 중앙 집중적인 데이터 서버나 마스터 서버에 저장되어 있으며, 클라이언트는 데이터 연산을 위해 중앙(마스터) 서버를 경유해 실제 데이터를 처리할 서버로 접속하는 방식이다. 데이터 정보를 중앙에서 관리하기 때문에 관리가 편하며 맵리듀스와 결합하기도 용이하다. 단점으로는 중앙(마스터) 서버가 문제가 생기거나 데이터 관리 테이블에 문제가 발생하면 전체 데이터에 접근할 수가 없다. 대표적으로 빅테이블, 몽고DB 등이 이 방식을 사용한다.<ref name='바'> 〈[https://sungwookkang.com/1440 NoSQL 특징및 분류]〉, 《데이터 사이언스》, 2020-06-09</ref> | *'''메타데이터''' : 데이터의 배치 정보가 중앙 집중적인 데이터 서버나 마스터 서버에 저장되어 있으며, 클라이언트는 데이터 연산을 위해 중앙(마스터) 서버를 경유해 실제 데이터를 처리할 서버로 접속하는 방식이다. 데이터 정보를 중앙에서 관리하기 때문에 관리가 편하며 맵리듀스와 결합하기도 용이하다. 단점으로는 중앙(마스터) 서버가 문제가 생기거나 데이터 관리 테이블에 문제가 발생하면 전체 데이터에 접근할 수가 없다. 대표적으로 빅테이블, 몽고DB 등이 이 방식을 사용한다.<ref name='바'> 〈[https://sungwookkang.com/1440 NoSQL 특징및 분류]〉, 《데이터 사이언스》, 2020-06-09</ref> | ||
| − | *'''피투피'''(P2P) : 별도의 메타 정보가 없으며 해시 함수를 이용해 특정 키를 서비스하는 서버를 찾는 방식. 메타 정보를 관리하는 서버가 없기 때문에 장애범위가 지역적이다. 하지만 저장된 데이터를 이용해 분석 작업을 하는 경우 메타데이터 방석보다 어렵다.<ref name= | + | *'''피투피'''(P2P) : 별도의 메타 정보가 없으며 해시 함수를 이용해 특정 키를 서비스하는 서버를 찾는 방식. 메타 정보를 관리하는 서버가 없기 때문에 장애범위가 지역적이다. 하지만 저장된 데이터를 이용해 분석 작업을 하는 경우 메타데이터 방석보다 어렵다.<ref name='바'> 〈[https://sungwookkang.com/1440 NoSQL 특징및 분류]〉, 《데이터 사이언스》, 2020-06-09</ref> |
;파일 저장 방식 | ;파일 저장 방식 | ||
데이터 파일은 분산 파일 시스템에 저장하고, 데이터 관리 시스템에서는 논리적인 관리만 담당하는 방식은 데이터의 복제, 장애 발생 시 복제본의 재생성 등은 분산 파일 시스템에서 제공하는 기능을 이용한다. 빅테이블, 클라우데이터, HBase 등이 있다. | 데이터 파일은 분산 파일 시스템에 저장하고, 데이터 관리 시스템에서는 논리적인 관리만 담당하는 방식은 데이터의 복제, 장애 발생 시 복제본의 재생성 등은 분산 파일 시스템에서 제공하는 기능을 이용한다. 빅테이블, 클라우데이터, HBase 등이 있다. | ||
| − | 데이터 관리 시스템 자체적으로 데이터 파이을 저장하는 방식은 데이터 관리 시스템 자체적으로 복제, 장애 시 복구 등에 대한 기능을 담당한다. 대부분의 NoSQL 솔루션들이 이 방식을 사용한다.<ref name= | + | 데이터 관리 시스템 자체적으로 데이터 파이을 저장하는 방식은 데이터 관리 시스템 자체적으로 복제, 장애 시 복구 등에 대한 기능을 담당한다. 대부분의 NoSQL 솔루션들이 이 방식을 사용한다.<ref name='바'> 〈[https://sungwookkang.com/1440 NoSQL 특징및 분류]〉, 《데이터 사이언스》, 2020-06-09</ref> |
=== 관련 용어 === | === 관련 용어 === | ||
| − | *'''Google 파일 시스템'''(GFS) : Google 확장 가능 컴퓨팅 스택의 최하위 계층이다. 다른 파일 시스템과 매우 유사하며 파일 및 디렉토리 생성을 허용한다. 구글(Google) 파일 시스템의 주요 혁신은 확장성이 뛰어나고 가용성이 높다는 것이다. 3개의 물리적 머신에 파일 데이터를 복제하여 고가용성을 달성한다. 즉, 복제본을 보유한 머신 중 최대 2개가 손실 될 수 있으며 데이터는 계속 사용할 수 있다. 하둡(Hadoop) 은 HDFS(Hadoop Distributed File System)라는 GFS(Government Finance Statistics)의 오픈 소스 구현을 제공한다.<ref name='라'> 하이퍼테이블 공식홈페이지 - https://hypertable.com/documentation/architecture/</ref> | + | *'''Google 파일 시스템'''(GFS) : Google 확장 가능 컴퓨팅 스택의 최하위 계층이다. 다른 파일 시스템과 매우 유사하며 파일 및 디렉토리 생성을 허용한다. 구글(Google) 파일 시스템의 주요 혁신은 확장성이 뛰어나고 가용성이 높다는 것이다. 3개의 물리적 머신에 파일 데이터를 복제하여 고가용성을 달성한다. 즉, 복제본을 보유한 머신 중 최대 2개가 손실 될 수 있으며 데이터는 계속 사용할 수 있다. 하둡(Hadoop) 은 HDFS(Hadoop Distributed File System)라는 GFS(Government Finance Statistics)의 오픈 소스 구현을 제공한다.<ref name='라'>하이퍼테이블 공식홈페이지 - https://hypertable.com/documentation/architecture/</ref> |
| − | *'''맵리듀스'''(MapReduce) : GFS(Government Finance Statistics)에서 데이터를 효율적으로 처리하도록 설계된 병렬 계산 프레임 워크이다. 데이터가있는 시스템으로 코드를 푸시하여 코드 조각을 통해 병렬로 대량의 데이터를 실행할 수 있는 방법을 제공한다. 또한 임의의 필드를 기반으로 데이터를 재정렬하는 방법을 제공하는 최종 집계 단계도 포함된다. 하둡(Hadoop)은 맵리듀스(MapReduce)의 오픈 소스 구현을 제공한다.<ref name= | + | *'''맵리듀스'''(MapReduce) : GFS(Government Finance Statistics)에서 데이터를 효율적으로 처리하도록 설계된 병렬 계산 프레임 워크이다. 데이터가있는 시스템으로 코드를 푸시하여 코드 조각을 통해 병렬로 대량의 데이터를 실행할 수 있는 방법을 제공한다. 또한 임의의 필드를 기반으로 데이터를 재정렬하는 방법을 제공하는 최종 집계 단계도 포함된다. 하둡(Hadoop)은 맵리듀스(MapReduce)의 오픈 소스 구현을 제공한다.<ref name='라'>하이퍼테이블 공식홈페이지 - https://hypertable.com/documentation/architecture/</ref> |
| − | *'''빅테이블'''(Bigtable) : 구글(Google)의 확장 가능한 데이터베이스이다. 기본 키로 인덱싱 된 방대한 정보 테이블을 생성하는 방법을 제공한다. 이 글을 쓰는 시점에서 Google 웹 서비스의 90 % 이상이 검색, Google 어스, Google 애널리틱스, Google지도, 지메일(Gmail), 오르컷(orkut), 유튜브(YouTube) 등을 포함하여 Bigtable을 기반으로 구축되었다. 하이퍼테이블(Hypertable)은 Bigtable의 고성능 오픈 소스 구현이다.<ref name= | + | *'''빅테이블'''(Bigtable) : 구글(Google)의 확장 가능한 데이터베이스이다. 기본 키로 인덱싱 된 방대한 정보 테이블을 생성하는 방법을 제공한다. 이 글을 쓰는 시점에서 Google 웹 서비스의 90 % 이상이 검색, Google 어스, Google 애널리틱스, Google지도, 지메일(Gmail), 오르컷(orkut), 유튜브(YouTube) 등을 포함하여 Bigtable을 기반으로 구축되었다. 하이퍼테이블(Hypertable)은 Bigtable의 고성능 오픈 소스 구현이다.<ref name='라'>하이퍼테이블 공식홈페이지 - https://hypertable.com/documentation/architecture/</ref> |
| − | *'''쏘살'''(Sawzall) : 전체 스택의 맨 위에있는 런타임 스크립팅 언어로, 대규모 데이터 세트에 대해 쉽게 표현 가능한 방식으로 통계 분석을 수행 할 수 있는 기능을 제공한다. 하이브(Hive) 및 피그(Pig)와 같은 오픈 소스 프로젝트는 유사한 기능을 제공한다.<ref name= | + | *'''쏘살'''(Sawzall) : 전체 스택의 맨 위에있는 런타임 스크립팅 언어로, 대규모 데이터 세트에 대해 쉽게 표현 가능한 방식으로 통계 분석을 수행 할 수 있는 기능을 제공한다. 하이브(Hive) 및 피그(Pig)와 같은 오픈 소스 프로젝트는 유사한 기능을 제공한다.<ref name='라'>하이퍼테이블 공식홈페이지 - https://hypertable.com/documentation/architecture/</ref> |
| − | *'''하이퍼스페이스'''(Hyperspace) : 구글(Google)의 츄비(Chubby) 서비스에 해당하는 하이퍼테이블(Hypertable) 아다. Hyperspace는 고 가용성 잠금 관리자이며 소량의 메타 데이터를 저장하기 위한 파일 시스템을 제공한다. 생성 된 파일이나 디렉토리에서 배타적 또는 공유 잠금을 얻을 수 있다. 고가용성은 서로 다른 물리적 시스템에서 실행되는 복제본이있는 분산 구성에서 실행함으로써 달성된다. 일관성은 분산 된 합의 프로토콜을 통해 달성된다. Google은 Chubby를 "모든 분산 데이터 구조의 뿌리"라고 부르며 이 시스템을 생각하는 좋은 방법이다.<ref name= | + | *'''하이퍼스페이스'''(Hyperspace) : 구글(Google)의 츄비(Chubby) 서비스에 해당하는 하이퍼테이블(Hypertable) 아다. Hyperspace는 고 가용성 잠금 관리자이며 소량의 메타 데이터를 저장하기 위한 파일 시스템을 제공한다. 생성 된 파일이나 디렉토리에서 배타적 또는 공유 잠금을 얻을 수 있다. 고가용성은 서로 다른 물리적 시스템에서 실행되는 복제본이있는 분산 구성에서 실행함으로써 달성된다. 일관성은 분산 된 합의 프로토콜을 통해 달성된다. Google은 Chubby를 "모든 분산 데이터 구조의 뿌리"라고 부르며 이 시스템을 생각하는 좋은 방법이다.<ref name='라'>하이퍼테이블 공식홈페이지 - https://hypertable.com/documentation/architecture/</ref> |
| − | *'''마스터''' : 마스터는 테이블 생성 및 삭제와 같은 모든 메타 작업을 처리한다. 클라이언트 데이터는 마스터를 통해 이동하지 않으므로 클라이언트가 인식하지 못하는 동안 마스터가 잠시 중단 될 수 있다. 마스터는 또한 범위 서버 오류를 감지하고 필요한 경우 범위를 다시 할당한다. 마스터는 범위 서버 부하 분산도 담당한다. 단일 마스터 프로세스가 있지만 상시 대기를 통해 고가용성이 달성된다.<ref name= | + | *'''마스터''' : 마스터는 테이블 생성 및 삭제와 같은 모든 메타 작업을 처리한다. 클라이언트 데이터는 마스터를 통해 이동하지 않으므로 클라이언트가 인식하지 못하는 동안 마스터가 잠시 중단 될 수 있다. 마스터는 또한 범위 서버 오류를 감지하고 필요한 경우 범위를 다시 할당한다. 마스터는 범위 서버 부하 분산도 담당한다. 단일 마스터 프로세스가 있지만 상시 대기를 통해 고가용성이 달성된다.<ref name='라'>하이퍼테이블 공식홈페이지 - https://hypertable.com/documentation/architecture/</ref> |
| − | *'''범위 서버''' : 범위 서버는 테이블 데이터 범위를 관리하고 모든 데이터 읽기 및 쓰기를 처리한다. 잠재적으로 수천 개의 범위를 관리 할 수 있으며 자신이 관리하는 범위 집합이나 자신이 속한 테이블에 구애받지 않는다. 범위는 한 범위 서버에서 다른 범위 서버로 자유롭게 이동할 수 있으며, 이는 대부분 마스터에 의해 조정된다.<ref name= | + | *'''범위 서버''' : 범위 서버는 테이블 데이터 범위를 관리하고 모든 데이터 읽기 및 쓰기를 처리한다. 잠재적으로 수천 개의 범위를 관리 할 수 있으며 자신이 관리하는 범위 집합이나 자신이 속한 테이블에 구애받지 않는다. 범위는 한 범위 서버에서 다른 범위 서버로 자유롭게 이동할 수 있으며, 이는 대부분 마스터에 의해 조정된다.<ref name='라'>하이퍼테이블 공식홈페이지 - https://hypertable.com/documentation/architecture/</ref> |
| − | *'''에프에스 브로커'''(FS Broker) : 하이퍼테이블(Hypertable)은 모든 파일 시스템에서 실행할 수 있다. 이를 위해 시스템은 파일 시스템 (FS) 브로커 프로세스를 통해 모든 파일 시스템 요청을 전송하여 파일 시스템에 대한 인터페이스를 추상화했다. FS(FileSystem) 브로커는 정규화 된 파일 시스템 인터페이스를 제공하고 정규화 된 파일 시스템 요청을 원시 파일 시스템 요청으로 또는 그 반대로 변환한다. FS 브로커는 HDFS(Hadoop Distributed File System)용으로 개발되었다.<ref name= | + | *'''에프에스 브로커'''(FS Broker) : 하이퍼테이블(Hypertable)은 모든 파일 시스템에서 실행할 수 있다. 이를 위해 시스템은 파일 시스템 (FS) 브로커 프로세스를 통해 모든 파일 시스템 요청을 전송하여 파일 시스템에 대한 인터페이스를 추상화했다. FS(FileSystem) 브로커는 정규화 된 파일 시스템 인터페이스를 제공하고 정규화 된 파일 시스템 요청을 원시 파일 시스템 요청으로 또는 그 반대로 변환한다. FS 브로커는 HDFS(Hadoop Distributed File System)용으로 개발되었다.<ref name='라'>하이퍼테이블 공식홈페이지 - https://hypertable.com/documentation/architecture/</ref> |
| − | *'''절약 브로커'''(ThriftBroker) : 하이퍼테이블(Hypertable)과 통신하기 위해 고급 언어로 작성된 애플리케이션에 대한 인터페이스를 제공한다. ThriftBroker는 아파치 절약(Apache Thrift)로 구현되며 자바(Java), 피에이치피(PHP), 루비(Ruby), 파이썬(Python0, 퍼릴(Perl) 및 씨플플(C ++)로 작성된 애플리케이션에 대한 바인딩을 제공한다.<ref name= | + | *'''절약 브로커'''(ThriftBroker) : 하이퍼테이블(Hypertable)과 통신하기 위해 고급 언어로 작성된 애플리케이션에 대한 인터페이스를 제공한다. ThriftBroker는 아파치 절약(Apache Thrift)로 구현되며 자바(Java), 피에이치피(PHP), 루비(Ruby), 파이썬(Python0, 퍼릴(Perl) 및 씨플플(C ++)로 작성된 애플리케이션에 대한 바인딩을 제공한다.<ref name='라'>하이퍼테이블 공식홈페이지 - https://hypertable.com/documentation/architecture/</ref> |
*'''하둡'''(Hadoop) : 대용량 데이터를 분산 처리할 수 있는 자바기반의 오픈소스 프레임워크이다. 구글이 나오면서 굉장히 많은 데이터를 가져온 사례가 있었다. 구글에서의 데이터들이 빅데이터가 되었으나, 빅데이터를 분석하고 처리하는 프레임워크가 존재하지 않았다. 그래서 구글이 생각한게 데이터를 모아서 처리할 수 있는 프레임워크가 필요하다고 생각했고, 실제 빅데이터를 처리할 수 있는 프레임워크를 만들었으나, 구글은 그 소스를 오픈하지 않았다. 반면, 아파치는 전세계 공개 소프트웨어를 생산하는 비영리 조직이고 구글의 방식을 따라 아파치 그룹에서 제공한 오픈소스 프로젝트이다.<ref name='마'>JEM, 〈[http://www.incodom.kr/%ED%95%98%EB%91%A1 하둡]〉, 《인코덤》, 2017-11-30</ref> | *'''하둡'''(Hadoop) : 대용량 데이터를 분산 처리할 수 있는 자바기반의 오픈소스 프레임워크이다. 구글이 나오면서 굉장히 많은 데이터를 가져온 사례가 있었다. 구글에서의 데이터들이 빅데이터가 되었으나, 빅데이터를 분석하고 처리하는 프레임워크가 존재하지 않았다. 그래서 구글이 생각한게 데이터를 모아서 처리할 수 있는 프레임워크가 필요하다고 생각했고, 실제 빅데이터를 처리할 수 있는 프레임워크를 만들었으나, 구글은 그 소스를 오픈하지 않았다. 반면, 아파치는 전세계 공개 소프트웨어를 생산하는 비영리 조직이고 구글의 방식을 따라 아파치 그룹에서 제공한 오픈소스 프로젝트이다.<ref name='마'>JEM, 〈[http://www.incodom.kr/%ED%95%98%EB%91%A1 하둡]〉, 《인코덤》, 2017-11-30</ref> | ||
| − | + | *'''HDFS'''(Hadoop Distributed File System) : 수십 테라바이트 또는 페타바이트 이상의 대용량 파일을 분산된 서버에 저장하고, 그 저장된 데이터를 빠르게 처리할 수 있게 하는 파일 시스템이다. 또한, 저사양의 서버를 이용해서 스토리지를 구성할 수 있어 기존의 대용량 파일시스템(NAS, DAS, SAN 등)에 비해 장점을 가진다. HDFS는 블록 구조의 파일 시스템이다. 파일을 특정크기의 블록으로 나누어 분산된 서버에 저장된다. 블록크기는 64MB에서 하둡 2.0부터는 128M로 증가되었다.<ref name='마'>JEM, 〈[http://www.incodom.kr/%ED%95%98%EB%91%A1 하둡]〉, 《인코덤》, 2017-11-30</ref> | |
| − | *'''HDFS'''(Hadoop Distributed File System) : 수십 테라바이트 또는 페타바이트 이상의 대용량 파일을 분산된 서버에 저장하고, 그 저장된 데이터를 빠르게 처리할 수 있게 하는 파일 시스템이다. 또한, 저사양의 서버를 이용해서 스토리지를 구성할 수 있어 기존의 대용량 파일시스템(NAS, DAS, SAN 등)에 비해 장점을 가진다. HDFS는 블록 구조의 파일 시스템이다. 파일을 특정크기의 블록으로 나누어 분산된 서버에 저장된다. 블록크기는 64MB에서 하둡 2.0부터는 128M로 증가되었다.<ref name= | ||
=== 지원 === | === 지원 === | ||
