검수요청.png검수요청.png

티비마이그레이터

위키원
이동: 둘러보기, 검색
티베로(Tibero)

티비마이그레이터(tbMigrator)는 오라클(Oracle) 등 다른 DBMS로 작성된 데이터베이스를 티베로(Tibero) DBMS로 마이그레이션하는 툴이다. tb마이그레이터라고도 쓴다.

개요

티비마이그레이터는 이름에서 유추할 수 있듯, 데이터베이스 테이블(tb prefix) 간의 마이그레이션(Migration)을 지원하는 자동화 도구 또는 스크립트이다. 보통 다음과 같은 시나리오에서 사용된다:

  • 데이터베이스 스키마 변경에 따른 기존 데이터 이전
  • 운영 환경 간 데이터 이전 (ex. dev → prod)
  • 이기종 데이터베이스 간 마이그레이션 (ex. MySQL → PostgreSQL)
  • 시계열 데이터, 로그 데이터 등의 정기적 백업 및 이동

주요 기능

다중 DBMS 지원
  • MySQL ↔ Oracle, PostgreSQL ↔ SQL Server 등 이기종 DB 호환
증분 마이그레이션
  • CDC(Change Data Capture) 기반 실시간 동기화
테이블 구조 추출 및 생성
  • 기존 테이블의 DDL(데이터 정의 언어) 을 추출하여 타깃 시스템에 적용
  • 인덱스, 제약 조건, 외래 키 등을 유지
데이터 추출 및 적재
  • SELECT * FROM source_table 형태의 데이터 덤프
  • 대량의 데이터를 효율적으로 전송 (배치 처리, 청크 기반 처리 등)
데이터 변환(Transform)
  • 컬럼 이름 변경, 타입 변환 (ex. INT → BIGINT)
  • 날짜 형식 표준화
  • enum 또는 코드 매핑
데이터 검증(Validation)
  • 레코드 수 비교
  • 샘플 해시 비교
  • 외래 키/제약 조건 일관성 체크
에러 로깅 및 롤백 처리
  • 실패 시 재시도 또는 롤백 로직 내장
  • 마이그레이션 로그 생성 및 저장
스키마 변환
  • 자동 데이터 타입 매핑 (예: VARCHAR → TEXT)
병렬 처리
  • 멀티스레드로 대용량 데이터 빠르게 처리

사용 방식 예시

bash

tbMigrator --source-db mysql://user:pass@localhost/db1 \
           --target-db postgres://user:pass@localhost/db2 \
           --tables users,orders,products \
           --mode transform-and-load \
           --log-level info

위와 같이 CLI 형태로 사용될 수 있으며, .yaml, .json, .toml 등 설정 파일 기반으로도 동작할 수 있다.

아키텍처 구성 예시

plaintext

[Source DB]
   ↓
[Extract Layer]
   ↓
[Transform Layer]
   ↓
[Validation Layer]
   ↓
[Target DB]
모듈 구성 예시
  • SourceConnector : MySQL, MSSQL, Oracle 등에서 데이터 추출
  • Transformer : 컬럼 매핑, 데이터 정제
  • TargetWriter : PostgreSQL, BigQuery 등 타깃에 쓰기 수행
  • Logger : 이력 저장, 에러 추적
  • CLI Runner : 파라미터 처리 및 전체 실행 흐름 제어

설치 및 사용법

환경 요구사항
  • Java 11+ 또는 Python 3.8+
  • 소스/타겟 DB 드라이버
기본 명령어
bash
# 설정 파일 기반 실행
python tbmigrator.py --config config.yaml

# 직접 파라미터 지정
tbmigrator \
  --source jdbc:mysql://localhost:3306/source_db \
  --target jdbc:postgresql://target_host:5432/target_db \
  --table employees

설정 파일 예시 (YAML)

yaml
source:
  type: mysql
  url: jdbc:mysql://src_host:3306/hr
  username: admin
  password: secure123

target:
  type: postgresql
  url: jdbc:postgresql://tgt_host:5432/hr_archive
  schema: public

tables:
  - name: employees
    chunk_size: 10000  # 배치 단위
    columns:
      emp_id: INT → BIGINT  # 타입 재정의
  - name: departments
    skip_errors: true  # 오류 무시 옵션

성능 최적화 전략

  1. 인덱스 일시 제거: 타겟 DB에서 로드 전 인덱스 비활성화
  2. 배치 크기 조정: 메모리 오버헤드 방지를 위해 chunk_size 조절
  3. 네트워크 압축: 대역폭 제약 시 SSL/TLS 압축 활성화

주요 사용 사례

Case 1
클라우드 DB 이전
온프레미스 Oracle → AWS RDS(PostgreSQL) 마이그레이션
  • 특징: 2TB 데이터, 99.9% 데이터 무결성 유지
Case 2
데이터 웨어하우스 구축
운영 DB(MySQL) → 분석용 Redshift 이관
  • 주기: 매일 새벽 2시 증분 동기화

한계 및 주의사항

  • LOB 데이터: BLOB/CLOB은 별도 처리 필요
  • 트리거/제약조건: 마이그레이션 중 일시 해제 권장
  • 버전 호환성: 일부 구형 DBMS 미지원

대안 도구 비교

도구 장점 단점
tbMigrator 경량화, 실시간 동기화 GUI 부재
AWS DMS 완전관리형 서비스 비용 발생
Talend 시각적 ETL 디자인 리소스 소모 큼


같이 보기


  질문.png 이 문서는 로고 수정이 필요합니다.  

  검수요청.png검수요청.png 이 티비마이그레이터 문서는 데이터에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.  

개발 : 프로그래밍, 소프트웨어, 데이터 □■⊕, 솔루션, 보안, 하드웨어, 컴퓨터, 사무자동화, 인터넷, 모바일, 사물인터넷, 게임, 메타버스, 디자인
데이터 ACID • CRUD • CSV • DAO • DB • DBMS • DB 명령어 • DCL • DDL • DML • DTO • ERD • ETL • JDBC • JPA • LOD • MDM • ODBC • ORM • RDBMS • RDF • SQL • 가상 데이터베이스 • 관계형 데이터베이스 • 그래프 • 기본키(PK) • 내부조인 • 널 • 노드 • 다이어그램 • 대리키 • 대체키 • 데이터 • 데이터댐 • 데이터 레이크 • 데이터마트 • 데이터 모델링 • 데이터뱅크 • 데이터베이스(DB) • 데이터베이스 언어 • 데이터 사이언스 • 데이터 사전 • 데이터 웨어하우스 • 데이터 정의어(DDL) • 데이터 제어어(DCL) • 데이터 조작어(DML) • 데이터 클러스터 • 데이터 토큰 (문자열) • 데이터 통합 • 덱 • 디비서버 • 라이트조인 • 락 • 레코드 • 레프트조인 • 로그 • 로그파일 • 로깅 • 롤백 • 리두로그 • 릴레이션 • 마스터데이터 • 마스터데이터관리(MDM) • 마이그레이션 • 메타데이터 • 배열 • 뷰 • 빅데이터 • 서브쿼리 • 수퍼키 • 순차리스트 • 스키마 • 스택 • 슬로우쿼리 • 엔티티 • 역정규화 • 연결리스트 • 외래키(FK) • 외부조인 • 인덱스 • 인덱싱 • 인젝션 • 자료구조 • 정규화 • 정보 • 조인 • 커밋 • 쿼리 • 큐 • 키 • 타깃 • 테이블 • 튜플 • 트랜잭션 • 트리 • 트리거 • 티비마이그레이터 • 풀조인 • 프로시저 • 필드 • 해시 • 해시맵 • 해시태그 • 해시테이블 • 해시함수 • 해싱 • 후보키
데이터베이스
관리 시스템
(DBMS) 		관계형 데이터베이스 관리 시스템(RDBMS) • 노에스큐엘(NoSQL) • 데이터베이스 관리 시스템(DBMS) • 더비 • 디비투(DB2) • 레디스 • 마리아디비(MariaDB) • 마이에스큐엘(MySQL) • 몽고디비 • 빅테이블 • 사이베이스 • 선디비 • 알티베이스 • 액세스 • 에스큐엘(SQL) • 에스큐엘라이트(SQLite) • 에이치베이스 • 엠에스에스큐엘(MS-SQL) • 오라클(Oracle) • 인터베이스 • 인포믹스 • 카산드라 • 카우치디비 • 큐브리드 • 티베로 • 파이어버드 • 포스트그레스큐엘(PostgreSQL) • 하이퍼테이블
DB 명령어 alter • array • create • delete • drop • from • full join • grant • group by • having • inner join • insert • join • left join • null • order by • outer join • rename • revoke • right join • select • truncate • update • where
시스템 연계 API • CGI • EAI • ESB • JPA • RSS • SOA • SOAP • SSL • SSO • web3.js • XML • 디비투디비(DB-to-DB) • 레스트풀(RESTful) • 상호운용성 • 시스템 인터페이스 • 신디케이션 API • 오픈 API • 웹 API • 웹개방성 • 윈도우 API • 자바 API • 크롤링 • 프라이빗 API
위키 : 인공지능, 개발, 자동차, 교통, 아시아, 세계, 산업, 기업, 단체, 업무, 생활, 지도, 블록체인, 암호화폐, 인물, 행사, 일반
원본 주소 "http://wiki1.kr/index.php?title=티비마이그레이터&oldid=842764"