해시넷
테라스트림
테라스트림(TeraStream)은 대량의 데이터를 추출하고 변환하여 적재하는 GUI 기반의 고성능 기업 데이터 통합 솔루션이다.
목차
개요[편집]
테라스트림은 여러 서버환경끼리 데이터베이스를 연계해 소스 데이터를 빠르게 가공하고 처리하는 데이터 추출, 변환, 연계, 배치, 실시간 데이터 처리 연계 및 전환 업무 통합 솔루션이다. 파일 및 데이터베이스 형태를 필요에 따라 빠르고 편리하게 변환, 정제, 검증, 관리할 수 있다. 따라서 ETL 또는 기업 애플리케이션 통합 등 여러 데이터 통합 과정을 원활하게 수행할 수 있고 대용량 데이터를 빠르게 처리할 수 있으며, 시스템 자원을 효율적으로 사용해 데이터 통합 과정을 더 빠르고 편리하게 개발하고 관리할 수 있다. 이 밖에도 테라스트림은 델타스트림, 메타스트림, 퀄리티스트림, 임팩트스트림, 마스터스트림도 함께 선보였다. 델타스트림은 데이터베이스 관리 시스템의 변경 정보를 자동 파악해 다른 시스템에 전송하는 체인지 데이터 캡처 방식의 실시간 데이터 처리 솔루션이다. 메타스트림은 메타데이터 추출 및 표준화 관리, 메타데이터와 모델 통합 관리, 표준화 감시 및 통계 제공 등 메타데이터의 라이프사이클을 관리하는 솔루션이다.[1]
서비스[편집]
빅데이터 패브릭[편집]
빅데이터 시장이 성숙함에 따라 데이터의 품질 관리가 중요한 이슈가 되고 있으며, 일관된 데이터 관리 체계 하에 양질의 데이터를 이기종 데이터 소스에 상관없이 분석 및 활용할 수 있는 빅데이터 패브릭 서비스가 각광받고 있다. 테라스트림 테라원 패브릭(TeraONE Fabric) 서비스는 하둡 기반의 데이터 레이크를 구축하더라도 기존의 데이터웨어하우스의 가치를 유지하면서 효율적인 플랫폼 구축이 가능하며 RDB, 하둡에 상관없이 가상화 기술을 통해 하나의 쿼리(Query)로 원하는 데이터를 조회 및 분석할 수 있다. 테라원 패브릭 서비스는 기업이 데이터를 자유롭게 관리하고 활용해, 현재와 미래의 비즈니스에 가장 가치 있는 IT 환경을 제공하고 데이터 저장 인프라를 보다 유연하고 효율적으로 운영해 비즈니스의 민첩성을 향상시킬 수 있으며 기업 및 기관 내 서로 상호 호환성이 없는 다양한 인프라 구조의 한계를 뛰어넘어 긴밀히 연계하고, 데이터를 통합적으로 관리할 수 있도록 기술과 솔루션을 제공한다. 또한 하이브리드 클라우드의 유연성, 탄력성 및 편재성을 유지하면서도 솔루션 프로바이더에 대한 종속성을 탈피할 수 있는 제어환경을 제공한다.[2]
클라우드[편집]
클라우드 데이터 통합은 기존의 통합 방식에 큰 변화를 일으켰는데 테라스트림은 유연성 및 확장성이 좋은 클라우드 서비스를 제공하여 클라우드 및 on-premises 시스템에 있는 모든 데이터를 하나로 통합할 수 있도록 지원한다. 이를 통해 운영 효율성이 개선되며 경제력, 유연성 및 확장성이 향상되고 운영 비용이 절감되며 수익이 확대되고 접근이 용이해진다. 또한 TeraStream for AWS를 통해 최소의 도입 비용으로 클라우드에서 데이터를 한층 쉽고 빠르게 통합할 수 있으며 AWS 웹서비스를 통해 다양한 데이터 처리 업무를 쉽게 이용할 수 있다. 따라서 별도의 인프라 없이 데이터를 통합 및 관리할 수 있고 언제 어디서나 데이터 통합 환경을 구축하여 다양한 데이터 소스로부터 데이터를 빠르고 쉽게 추출 및 정제하고 적재할 수 있도록 지원한다. 또한 테라스트림 라이선스를 시간 단위로 받아 데이터의 통합, 변환, 이관 작업을 진행할 수 있어 클라우드 상에서 언제든 당사의 컴퓨팅 리소스 및 서비스를 이용하고 사용한 만큼만 비용을 지불할 수 있다. 또 사용자의 모든 데이터를 쉽고 빠르게 클라우드로 저장하므로 데이터 통합 작업을 한층 신속하고 유연하게 진행할 수 있다. 테라스트림 엔진을 적용하여 수작업으로 이뤄지던 데이터 이관(추출/다양한 소스에서 통합된 데이터를 다시 적재)과정을 자동화할 수 있다. 마이크로소프트 다이나믹스 365와 테라스트림의 연동을 통해 사용자들은 ERP 및 CRM 등 모든 비즈니스 데이터를 처리 및 통합하여 업무 자동화 및 다양한 분석 서비스를 지원할 수 있다. 이를 통해 별도의 코딩 없이 간편하게 데이터를 통합할 수 있고 직관적이며 사용하기 편한 UI를 제공한다. 또 다양한 데이터 변화/정제 기능을 통해 높은 생산성을 확보할 수 있으며 마이크로소프트 다이나믹스 365와 다수의 데이터베이스 및 시스템과의 연결을 지원한다. 또 스케줄러 기능을 통하여 지속적인 데이터 통합 작업을 지정된 시간에 자동 실행이 가능하며 데이터 무결성을 유지하면서 자동화된 데이터를 적재할 수 있다.[2]
데이터 거버넌스[편집]
기업 내 데이터 관리 프로세스나 정책이 미흡할 경우, 내가 찾는 데이터가 어디에 있는지, 누가 소유하고 있는지 확인하기 어려운 것이 현실이며, 중복이나 불일치 데이터로 인해 의사결정에 혼란을 초래하기도 한다. MetaStream for Bizdata는 이러한 관점에서 기업 내 중요하게 다루고 있는 데이터를 누구나 쉽게 찾고, 잘 활용할 수 있도록 비즈니스 메타데이터 관리 체계 기반의 데이터 서비스 포털을 제공한다. 업무 용어와 IT 용어를 연결 지어, IT 담당자가 아니더라도 쉽게 IT 용어에 접근해 분석과 활용이 가능하도록 지원이 가능하다. 이를 통해 데이터가 어디에 있고, 어떤 의미를 가지는지 쉽게 파악이 가능하기 때문에 신속한 의사결정 체계를 확립할 수 있다. 또한 불필요한 데이터의 제거, 데이터 활용성 증대, 데이터의 가치 창출 등이 용이하다. 또 데이터의 정의와 작성자, 오너쉽, 작성 근거 등을 전사적으로 통합된 기준에 의거해 산출 근거, 산출식 등을 일관성 있게 반영함으로써 동일한 데이터 항목에 대해서는 항상 같은 결과값을 도출할 수 있으며 메타데이터 저장소와 연동해 모든 데이터의 통합관리와 모니터링, 품질관리가 용이하며, 업무 용어와 IT 용어를 연결 지어 IT 담당자가 아니더라도 쉽게 IT 용어에 접근해 분석과 활용이 가능하다. 또 데이터 관계 화면 구조를 시각화해 제공하기 때문에 조직이 크고, 서비스의 종류가 많더라도 데이터 간의 관계성 파악이 용이하다.
인하우스 개발에 비해 유연한 개발 기능을 지원하며 IT 메타 관리 시스템인 자사 메타스트림과 데이터 거버넌스 포털 IRUDA로의 확장 구성이 가능하기 때문에 비용 대비 높은 효율성으로 통합 서비스를 활용할 수 있다. 뿐만 아니라 전문적인 유지보수 및 기술지원 서비스를 통해 편리하게 이용이 가능하다. 또한 사용자의 요구 및 업무 변화, 비즈니스 조건에 따라 기능 및 환경, 메뉴 등의 콘텐츠를 자유롭게 구성할 수 있어 솔루션의 맞춤형 활용이 가능하다. 또한 지난 2018년 5월부터 EU에서는 개인정보보호 규정을 철저하게 실행하고 있다. 이처럼, 전 세계에서 개인정보보호 및 준수에 관한 규칙을 강화하고 있어 각 기업들은 곳곳에 산재되어 있는 모든 개인정보를 신속하게 식별해야 하며, 데이터 거버넌스 시스템 구축을 통해 개인정보보호 규정을 준수하고 대응이 필요한 리스크를 적시에 파악해야 한다. 테라스트림은 메타데이터 기반의 데이터 검색 기능을 제공하여 개인정보의 위키, 현재 상태 및 속성을 쉽게 파악할 수 있도록 지원하며 테라스트림의 통합 관리 및 상시 모니터링 기능으로 통해 사용자는 법적 규정을 준수하면서 보다 철저하게 사업 계획을 수립할 수 있다. 또한 테라스트림은 관리 규칙 및 절차 등을 통해 사용자 데이터의 일관성 및 정확성을 확보하고 데이터의 품질을 개선하며 유지하도록 지원한다. 또 데이터의 생명주기 기반으로 데이터의 생성부터 폐기까지 전 과정에 해당 데이터를 추적할 수 있도록 지원해 정보의 투명성과 이해도를 높여준다.[2]
빅데이터/IoT[편집]
- 빅데이터 마켓플레이스
오늘날 데이터는 그 어느 때 보다 중요하다. 현재 대부분의 주요 기업들은 데이터를 거래를 통해 수익을 창출할 수 있는 하나의 상품으로 취급하는데 이러한 데이터 거래를 활성화하기 위해 데이터 시장이 새롭게 부상하고 있다. 산업 전반에 걸쳐 이루어지고 있는 데이터 거래로 오픈 마켓이 활기를 찾고 있고, 시장에서는 데이터 경제 개념과 블록체인 기술에 기반하여 자유로운 데이터 거래를 지원하고 부정행위를 방지하는 플랫폼을 요구하고 있다. 일반적으로 데이터 마켓 플레이스에서는 각기 다른 마켓에 필요한 다양한 데이터를 판매한다. 통합 빅데이터 플랫폼인 테라원에 기반하여, 정형 및 비정형 데이터를 다양한 방식으로 수집 및 결합해 개별 고객들에게 특정 포맷의 데이터를 판매한다. 또한 데이터 거버넌스 프레임워크를 기반으로 모든 유형의 데이터를 처리 및 관리하는 엔드 투 엔드 빅데이터 솔루션을 제공한다. 데이터 상품 등록, 데이터 분석, 가치 평가 및 거래 서비스는 데이터 관리 계획에 따라 안전하게 제공한다. 또 블록체인을 통해 공급업체와 소비자 간에 서로 신뢰할 수 있는 데이터 거래가 가능하다. 블록체인 기술을 활용한 데이터 거래는 데이터 가치 평가 모델을 통해 암호화된 방식으로 검증되며, 전체 거래 일력은 각각의 생태계 내에서 공공 또는 민간 거래 원장에서 누구나 조회할 수 있다. 또 데이터의 구조 및 위치와 상관없이 사용자는 메타데이터에 기반한 데이터 검색 엔진을 이용하여 자신이 필요로 하는 데이터를 검색 및 발굴할 수 있다. 또한 데이터 맵과 같은 데이터 시각화 서비스를 통해 다양하고 풍부한 데이터 셋에서 필요한 데이터를 쉽고 효율적으로 찾을 수 있다.[2]
- 스마트시티
스마트시티 프로젝트의 주요 목적은 안전하고 편안한 도시 시스템을 구축하여 시민들의 삶의 질을 높이는 것이다. 이러한 목적을 달성하기 위해, 테라스트림은 다양한 유형의 IoT 센서로부터 데이터를 수집 및 저장해 도시에서 생성된 데이터를 쉽게 분석할 수 있도록 미래의 스마트시티를 위한 데이터 플랫폼을 설계하고 이를 통해 도시는 지속가능한 서비스와 경제적 성장을 실현할 뿐만 아니라, 시민들에게 고품질의 공공 서비스를 제공한다. 테라 스트림은 안정적인 빅데이터 플랫폼 기반의 데이터 저장(데이터 레이크) 솔루션을 제공하며 이를 통해 신뢰할 수 있는 다양한 분석이 가능하도록 지원한다. 또한 스마트시티에 필요한 플랫폼 또한 다양한 오픈 소스에 연결할 수 있으며 오픈 소스의 문제점들을 최소화할 수 있도록 기술지원 및 유지보수를 제공한다. 또 스마트시티 시스템에 대한 고객의 전반적인 이해를 높이고 정확한 분석을 수행할 수 있도록 교육 프로그램을 제공하며 전화 및 화상회의 등 원격 교육을 우선적으로 실시하고 있다.[2]
제품[편집]
데이터 통합[편집]
- 테라스트림
테라스트림은 대량의 데이터를 추출(준비)하고 변환(전환)하여 적재(배포)하는 GUI 기반의 고성능 기업 데이터 통합 솔루션이다. 테라스트림은 다양한 데이터베이스에 연결하여, 내장된 추출 엔진 및 소팅 엔진을 통해 짧은 시간으로 많은 데이터를 처리할 수 있어 비용과 자원을 절약할 수 있다. 또한 포맷 전환, 정렬, 분할, 병합 등 다양한 변환 기능을 지원하며 예약 실행, 버전 관리, 모니터링 및 통합 메타데이터 관리 기능을 제공하므로 사용성 및 편의성을 보장한다. 테라스트림은 대용량 데이터 셋을 분할하여 병렬 처리를 통해 고속 데이터 통합 및 처리를 지원하며 데이터 소스/타킷 및 추출 규칙을 구체적으로 명시하므로 코딩 작업이 필요하지 않다. 도한 여러 사용자의 동시 작업을 지원하며, 이와 관련한 버전 관리 및 사용자 권한 관리 기능을 제공한다. 또 ETL 처리 과정 및 파일에 대한 실시간 모니터링 기능을 제공하며, 솔루션 UI 또는 웹을 통해 작업 이력을 조회할 수 있도록 지원하고 그래픽 사용자 인터페이스에 기반하여 시스템 로직의 흐름을 시각적으로 보여주며, 사용자는 드래그 앤 드롭 방식을 통해 처리 중인 데이터 흐름을 볼 수 있다. 또한 예약 실행 기능을 이용하여 사용자가 즉시 특정 시간에 또는 정기적으로 ETL 프로젝트 실행을 선택할 수 있고 예약된 실행 프로젝트 수정, 삭제, 실행 또는 종료를 할 수 있다.[2] 이를 통해 DBMS의 특성에 따라 테이블에 대한 대용량 데이터 고속추출이 가능하며 다양한 SQL문을 통한 데이터 추출 및 DBMS의 옵션 사용, 파티션 테이블에 대한 추출 등 SQL문에 대한 제약 사항 없이 추출이 가능하다. 또한 Job중심의 작업컨트롤 방식으로 파일을 이용한 데이터 공유를 통한 데이터 접근성 강화로 데이터 허브를 이용한 처리가 가능하다. 또 대용량 데이터 처리에 필요한 서버 분산 처리 및 분산처리를 통한 작업 수행을 통한 병렬 처리를 지원함으로써 성능 향상을 좋아졌다.[3]
- 델타스트림
배치 작업 중심으로 실행하는 대신, 델타스트림은 소스 데이터베이스의 변경된 기록만 실시간으로 포착하여 타깃 데이터베이스로 전달하므로 ETL 처리에 필요한 시스템 자원 사용을 최소화할 수 있다. 또한 델타스트림은 핵심 트랜잭션 시스템에서 데이터를 포착해 실시간으로 통합할 수 있다. 델타스트림은 추출, 변환 및 전송 기능의 병행 처리를 지원하여 변경된 데이터를 실시간으로 추출하고 변경된 데이터를 실시간으로 타킷 데이터베이스에 적재할 수 있는 포맷으로 변환하여 업로드할 수 있다. 또한 사용자가 실시간으로 모니터링하고 오류를 해결할 수 있는 GUI 기반의 솔루션이며 DBMS의 트랜잭션 로그를 이용하여 데이터베이스 엔진과 시스템 자원의 사용을 최소화한다.[2]
- 테라TDS
테라TDS는 개발 또는 테스트 환경 구축 시 운영 데이터의 주요 정보를 테이블 간 연관성을 유지하면서 원본값을 가독 가능한 다른 값으로 변환하는 테스트 데이터 생성·변환·관리 솔루션이다. 테라TDS는 고속 ETL 솔루션인 테라스트림과 함께 구성할 수 있고, 대부분의 상용 DBMS를 지원한다. 테라TDS는 윈도우, 유닉스를 포함하는 다수의 운영체제를 지원하며 대부분의 상용 및 오픈소스를 지원한다. 또한 자체적인 고성능 데이터 추출 모듈과 대량 소팅엔진을 사용하므로 일반 SQL보다 5~10배 빠르게 데이터를 추출하고 변화한다. 또 데이터를 추출하는 시점에 이를 암호화하므로 이후의 단계에 복구되거나 해석되지 않도록 데이터를 보호하며 운영 시스템에 있는 데이블과 테스트 테이블 간의 스키마 정보를 비교 및 매칭해 암호화 처리 과정에도 데이터 호환성 및 테이블 간의 참조 무결성을 유지할 수 있다.[2]
데이터 레이크[편집]
테라스트림 하둡은 분산된 파일 시스템과 플랫폼을 제공하기 위해 테라스트림과 하둡 생태계를 결합하여 빅데이터 처리에 특화된 솔루션이다. 테라스트림 포 하둡은 다양한 오픈소스 분석 툴과 연동하여 빅데이터 분석을 할 수 있다. 또 사용자는 여러 노드에 대한 분산 모니터링에서 통합 모니터링으로 변경할 수 있으며 테라스트림과 하둡의 장점을 결합하여 사용자들이 빅데이터를 쉽고 편하게 처리할 수 있도록 지원한다. 또 사용자는 테라스트림과 하둡의 인터페이스를 통해 필요한 개발 인력을 줄일 수 있다.[2]
데이터 거버넌스[편집]
- IRUDA
IRUDA는 데이터 통합, 표준화, 품질 관리, 그리고 흐름 관리를 통합하는 데이터 거버넌스 플랫폼이다. 완전하게 통합된 솔루션으로, 사용자가 신뢰할 수 있는 기업 데이터를 만들어주며 사용자는 조직 전반에 걸쳐 정보의 품질과 일관성을 높일 수 있도록 데이터 생명주기를 중앙집중방식으로 관리할 수 있다. IRUDA는 GDPR 및 Basel II&III과 같은 개인정보보호 규정을 준수할 수 있도록 지원하며, 누가 데이터를 생성하고 오너쉽을 갖는지, 어떻게 활용되는지 등을 확인할 수 있도록 단일 관점에서 개인정보를 관리한다. 또한 업무, 기술, 운영 측면의 데이터 특성을 분류하여 향후 데이터 거버넌스 프로세스를 관리, 감독 및 측정하는 데 활용할 수 있다. 또 허가된 사용자만 정보에 접근할 수 있도록 시스템, 사업 주제, 테이블, 분야 등에 대한 접근을 통제하는 견고한 보안 프레임워크를 제공하며 사용자의 메타데이터를 검색할 수 있도록 사용자 중심의 프론트 엔드를 제공한다. 필터 및 검색 기능을 통해 회사의 기록 목록을 조건별로 조회할 수 있다. 또 비즈니스 유저와 IT 유저가 상호 협업할 수 있도록 기술 용어를 그의 특성에 맞는 비즈니스 용어와 맵핑하여 데이터를 비즈니스 용어로 표현하며 각 모듈에서 진행된 데이터 생성, 수정, 삭제 등 모든 변경 이력을 보관한다. 사용자는 누가 언제 무엇을 실행하였는지, 영향을 받은 개체는 무엇인지에 관한 기록을 쉽게 감사할 수 있다.[2] IRUDA는 데이터 검색의 정확성을 높이기 위해 데이터를 분류하고, 다양한 분석정보를 사용자가 원하는 형태로 제공한다. 솔루션의 주요 기능은 데이터 오류 발견·추적과 데이터 상황판 구축인데 IRUDA는 데이터 품질 측정 결과를 기반으로 의심이 가는 테이블과 칼럼을 찾고 위치를 링크해 이를 추적할 수 있도록 돕는다. 그동안 데이터 관리는 각 시스템에 분산되어 있어 원하는 데이터를 제때 활용하기 어렵고, 통합적인 분석에 많은 시간과 노력이 든다는 문제가 있었지만 이를 통해 기업이 보유한 데이터가 무엇이고, 필요한 데이터가 어디에 있는지 전체적인 구조를 한눈에 볼 수 있다.[4]
- 메타스트림
메타데이터 관리는 기업 데이터 거버넌스 구축을 위한 가장 기본이다. 메타스트림을 이용하여 기업 내 모든 사람들이 데이터의 정의와 내용에 대한 공통 견해를 공유하고, 데이터가 어디에 어떻게 저장되어 있는지, 그리고 데이터를 어떻게 사용할 것인지 이해할 수 있다. 메타데이터 리포지토리를 통해 사용자는 다양한 소스에서 메타데이터를 수집 및 저장하고, 모델링 툴에서 모델 정보를 확인하며, 메타데이터 관리 상태를 상시 모니터링할 수 있다. 또한 잘못된 이해로 데이터를 오용할 수 있는 위험을 줄이기 위해 DDL을 자동 생성하여 개발, 테스트 및 운영 리포지토리로 전달한다. 메타데이터 스트림은 다양한 내부 및 외부 메타데이터 소스를 식별 및 추출해 정보를 통합 관리하며, 표준화된 인터페이스를 통해 체계화된 정보를 공유한다. 또한 단어, 용어, 도메인 및 코드의 정의, 설명, 그리고 활용을 명시하는 데이터 사전을 만들 수 있으며 사업 개념과 기술 용어가 일치할 수 있도록 시루 데이터 자산과 비즈니스 용어의 매핑을 지원한다. 또 구글과 같은 단순한 검색 기능을 이용하여 메타데이터의 키워드 검색 및 브라우징 기능을 지원하며, 사용자는 검색 결과를 통해 데이터의 유형, 포맷, 오너쉽, 용도 그리고 다른 데이터와의 관계 등을 쉽게 확인할 수 있다. 또한 통합관리를 통해 데이터 및 모델의 표준 준수를 강화하고 지속적인 모니터링을 통하여 법적 규정 준수를 한층 용이하게 보장하고 사업 통찰력을 강화하며 다양한 모델링 툴과 연동하여 모델 정보 추출, 모델 관계 조회 및 관리, 변경 내용 분석, 인덱스 관리, DDL 생성 등 다양한 기능을 제공한다. 다양한 관계형 데이터베이스에서 카탈로그 정보를 추출할 수 있고 데이터베이스 대상 정보를 제공하고, 변경 이력을 관리하며 데이터베이스를 물리 모델과 비교하여 테이블 구조를 개선할 수 있다.[2]
- 마스터스트림
마스터스트림은 기업의 거래 및 분석 작업을 지원하는 핵심 비즈니스 정보인 마스터 데이터를 통합하고, 오류를 수정 및 정보를 보강하는 데 필요한 솔루션이다. 이를 통해 핵심 사업 정보를 360도 방향에서 확인이 가능하므로 사용자는 조직 관련 데이터를 충분히 활용하여 보다 나은 사업 결과를 도출할 수 있다. 마스터스트림을 통해 사용자들이 신뢰성 있는 단일 관점에서 데이터를 확인할 수 있으므로 조직 전반에 걸쳐 정보의 품질과 일관성을 높일 수 있으며 중복된 기록을 정화하게 제거하는 매칭 및 병합 알고리즘을 이용해 마스터 데이터를 한 곳으로 통합할 수 있다. 또한 각기 다른 데이터 소스에서 나온 데이터를 하나의 데이터 리포지토리에 모아 통합, 오류 수정 및 주소 확인 작업을 수행하고 사용자들은 통합 리포지토리를 통해 모든 유형의 데이터 소스를 전체적으로 모니터링하면서 중요한 데이터를 보호할 수 있어 개인정보 유출 위험이 줄어든다.[2]
- 퀄리티스트림
퀄리티스트림은 웹 기반의 사용자 친화적 인터페이스를 제공하므로 IT 및 일반 사용자 모두 비즈니스 규칙을 검증하고 데이터 품질을 개선하여 보다 빠르고 나은 의사 결정을 보장한다. 또한 사용자들이 일치하지 않는 데이터를 발견 및 속성을 이해할 수 잇도록 표준 통계 측정값과 비교를 통해 데이터를 검증하며 중복된 데이터 도는 비표준 데이터, 알 수 없는 데이터 유형을 표준화해 데이터 셋으로부터 개선된 인사이트를 도출할 수 있도록 지원한다. 또한 거버넌스 규칙 및 절차를 통해 데이터의 일관성과 정확성을 확인하므로 데이터의 품질을 개선 및 유지할 수 있고 데이터의 품질을 지속적으로 모니터링하는 기능을 제공하여 해당 데이터가 사전에 정의된 비즈니스 규칙을 위반할 때 사용자에게 알람을 준다.[2] 또한 분석 대상 데이터에 접근해 품질 진단, 결과 도출 및 도출된 결과를 분석한다. 지속적인 데이터 품질 관리 유지 및 향상을 위한 솔루션인데 분석 대상 DB를 프로파일링해 사업 규칙을 관리하고 분석해 오류 데이터 검증을 실시, 분석을 통해 6시그마 기준 데이터, 통계 관리를 구현한다. 퀄리티스트림을 도입하면 데이터 품질 관리 프로세스 확립 및 핵심관리대상의 지속적 관리 효과를 거둘 수 있다.[5]
- Q-Track
Q-Track은 데이터의 소스 및 이동 경로를 포함하는 흐름 정보를 시각적으로 제공하기 때문에 데이터의 생성부터 폐기에 이르는 생명 주기를 추적 및 관리할 수 있다. 또한 데이터의 오류 발견 시, 오류가 발생하는 데이터 소스까지 간단하게 추적하고 변경 과정에 발생하는 버그를 제거하여 의사결정의 절차를 줄이고 데이터 손실 예방을 강화할 수 있다. 또 데이터의 생성부터 폐기까지 전체 생명주기 및 이와 관련한 모든 프로세스를 추적하여 정보의 투명성 및 이해도를 높여주며 데이터의 전체 흐름을 기록하여 데이터 무결성 및 투명성을 보장하고 이를 통해 사용자는 데이터의 흐름을 정확하게 확인하고 사업 내용이 법규 및 표준 범위를 벗어나지 않도록 보장한다. 또한 테이블/칼럼 레벨의 데이터 흐름을 시각화해 오류 사항이 어떤 하위 시스템 및 분석 내용에 영향을 줄 수 있는지 쉽게 파악할 수 있도록 지원하며 회사 전반에 걸쳐 데이터에 어떻게 접근 및 변환, 공유되는지 파악할 수 있으므로 어떤 보고 내용이 영향을 받았는지 확인할 수 있다.[2]
빅데이터/IoT[편집]
- 테라원
테라원은 전체 데이터 통합과 거버넌스 과정을 커버하는 빅데이터 플랫폼이며, 데이터를 추출하여 데이터 레이크 및 하둡으로 적재해 오류 수정 및 처리, 모니터링 등이 가능하도록 지원한다. 다양한 소스 시스템에 저장되어 있는 데이터를 클라우드 및 대규모 환경에 이관할 수 있으며, 규정 준수 및 성능 관리를 강화할 수 있도록 빅데이터 자원을 단일한 관점에서 모니터링한다. 또한 전체 빅데이터 소스에서 중복된 핵심 정보를 매칭 및 제거하고 고객에게 신뢰성 및 연관성이 있는 데이터를 제공하며 사용자가 데이터의 이동을 완전하게 추적할 수 있도록 엔드 투 엔드 데이터 흐름을 제공하고 연관된 테이블, 뷰, 도메인 및 보고서 내용을 신속하게 식별할 수 있도록 지원한다. 또 실시간 데이터 수집 및 처리가 가능해 IoT 및 스트리밍 데이터를 통합하여 데이터의 준비 시간을 절감하고 효율성을 높일 수 있고 조직 전반의 메타데이터 정보 및 이들의 관계 정보를 실시간으로 검색하여 찾을 수 있다. 또한 최종 사용자에게 사용 허가를 승인하고 동일한 작업을 수행하는 동안 중복 로그인을 방지하는 보안 기능을 제공하며 누가 어떤 시스템에서 작업하고 있는지를 추적할 수 있도록 사용자 활동 및 계정을 기록 및 모니터링한다.[2]
- 테라스트림 BASS
테라스트림 BASS는 기기, 기계 또는 장비와 연결하여 IoT 데이터를 실시간으로 수집 및 변환하여 이를 분석에 필요한 하둡 또는 타깃 RDBMS로 전달하며, 비정형 IoT 데이터를 정형 데이터로 전환한다. 사용자가 어떤 IoT 애플리케이션을 구축하든 서비스를 제대로 이행하려면 정확한 데이터를 제때 받아야 하는데 테라스트림 BASS를 통해, 사용자는 모든 타깃 공장, 캠퍼스, 소매점과 연결되어 쉽게 관리하고 미작동 시간을 최대한 줄일 수 있는 스마트공장, 캠퍼스, 소매점을 구현할 수 있다. 또한 데이터로부터 최대한의 가치를 확보할 수 있도록 모든 유형의 기기, 기계 또는 장비에 연결해 언제 어디서나 IoT 데이터를 추출, 저장, 이동 및 분석할 수 있으며 IoT 데이터를 통계 분석하여 정보와 인사이트를 도출하며, 운영 절차를 최적화하고 사업 실적을 개선할 수 있다. 뿐만 아니라 불필요한 비용과 유지 부담까지 최소화할 수 있으며 업무 과정을 자동화 및 최적화하여 업무 결과를 개선하기 위해 기기를 모니터링할 수 있도록 실시간 모니터링 및 구성 가능한 사용자 알림 기능을 제공한다. 또 필요한 정보가 적재적소에 전달될 수 있도록 수집된 IoT 데이터에 기반하여 대시보드를 만들어 보고 내용을 배포한다.[2]
- 테라원 슈퍼 쿼리
테라원 슈퍼 쿼리는 다양한 데이터 소스 및 리포지토리에 있는 데이터를 통합하고 단일 액세스 채널을 통해 연관 데이터를 조회하는 가상화 통합 솔루션이다. 이를 통해 데이터의 유형, 구조 및 위치와 무관하게 사용자는 표준 SQL을 이용하여 액세스 채널을 통해 데이터를 추출하고 통합할 수 있다. 또한 사용자든 모든 데이터 소스의 메타데이터를 개별적으로 관리하는 메타스토어 매니저를 통해 신뢰할 수 있는 데이터를 활용할 수 있고 인메모리 오픈 소스 스파크 엔진을 적용하여 다양한 데이터 리포지토리에서 데이터에 빠르고 유연하게 접근할 수 있다. 또 사용자는 표준 데이터베이스 인터페이스를 사용, 메모리 자원을 관리해 기존 애플리케이션에 대한 변경을 최소화할 수 있다.[2] 또한 서로 다른 DBMS 데이터를 하나의 공통 데이버베이스 내에 있는 것처럼 가상화해 처리함으로써 물리적인 데이터 통합과정을 생략할 수 있으며 사용자가 실행한 SQL을 분석해 자동으로 데이터를 추출, 통합하는 기능을 제공한다. 또 인터페이스를 이용해 일반 웹프로그램 및 OLAP/BI 도구와 연계, SQL 쿼리 결과 화면을 즉시 구현할 수 있고 인메모리 분산 처리 기능으로 디스크 기반 대비 약 5배 빠른 고성능 SQL 쿼리 성능을 보장한다. 대용량 하둡 데이터를 통합할 수 있으며 쿼리 대상 소스 데이터에 대한 표준, 품질 수준을 사전에 측정해 쿼리 질의 결과에 대한 데이터 신뢰도 수준을 제공한다. 데이터의 유형, 구조, 위치와 상관없이 표준 SQL을 이용해 원하는 데이터를 쉽게 찾아 통합할 수 있다. 또한 고속 추출 엔진인 Fact와 고성능 분산 컴퓨팅 프레임워크인 아파치 스파크를 패킹해 각기 흩어져 있는 다양한 소스 데이터에 빠르고 유연하게 접근해 연산 처리가 가능하고 데이터 소스가 존재하는 물리적 저장소에 직접적으로 접근하지 않더라도 분석하고자 하는 데이터 소스에 대한 정보를 메타데이터를 참조해 조회가 가능하다. 각기 흩어져 있더라도 하나의 데이터베이스처럼 빠르게 접근해 분석에 활용할 수 있다. 또 데이터를 분산 복제해 장애에 의한 데이터 유실을 방지하고, 각 데이터에 대한 접근 권한을 관리해 보안을 강화할 수 있다.[6]
각주[편집]
- ↑ 김민주 기자, 〈(2012 KES) 데이터스트림즈, 데이터 통합 관리 솔루션 '테라스트림'선봬〉, 《IT동아》, 2012-10-11
- ↑ 2.00 2.01 2.02 2.03 2.04 2.05 2.06 2.07 2.08 2.09 2.10 2.11 2.12 2.13 2.14 2.15 2.16 테라스트림 공식 홈페이지 - http://www.datastreams.co.kr/kor/
- ↑ 관리자, 〈‘TeraStream’〉, 《컴퓨터월드》, 2011-03-03
- ↑ 엄보람 기자, 〈데이터스트림즈 `IRUDA`, 보이는 데이터관리 구현〉, 《디지털타임스》, 2017-11-23
- ↑ 권동준 기자, 〈(FDS특집)데이터스트림즈 `테라스트림·퀄리티스트림`〉, 《전자신문》, 2014-07-23
- ↑ 김호 기자, 〈(솔루션 리뷰) 데이터스트림즈 '테라원 슈퍼쿼리'〉, 《아이티데일리》, 2020-04-01
참고자료[편집]
- 김민주 기자, 〈(2012 KES) 데이터스트림즈, 데이터 통합 관리 솔루션 '테라스트림'선봬〉, 《IT동아》, 2012-10-11
- 테라스트림 공식 홈페이지 - http://www.datastreams.co.kr/kor/
- 관리자, 〈‘TeraStream’〉, 《컴퓨터월드》, 2011-03-03
- 엄보람 기자, 〈데이터스트림즈 `IRUDA`, 보이는 데이터관리 구현〉, 《디지털타임스》, 2017-11-23
- 권동준 기자, 〈(FDS특집)데이터스트림즈 `테라스트림·퀄리티스트림`〉, 《전자신문》, 2014-07-23
- 김호 기자, 〈(솔루션 리뷰) 데이터스트림즈 '테라원 슈퍼쿼리'〉, 《아이티데일리》, 2020-04-01
같이 보기[편집]
