더그 커팅

더그 커팅 (Doug Cutting)

아파치 소프트웨어 재단(Apache Software Foundation, ASF)

더그 커팅(Doug Cutting)은 아파치 소프트웨어 재단(Apache Software Foundation)의 회장이이다. 또한, 소프트웨어 디자이너이자 오픈소스 검색 기술의 옹호자이자 하둡(Hadppo)의 창안자이기도 하다. 루씬(Lucene)을 설립하고, 마이크 카파렐라(Mike Cafarella)와 같이 아파치 너치(Nutch) 등 오픈소스 검색 기술 프로젝트를 모두 설립했다.

생애

더그 커팅은 1981년에 스탠퍼드 대학교(Stanford University)에 입학했고, 1985년에 언어학 학사 학위를 받았다. 루씬(Lucene)을 개발하기 전에 더그 커팅은 팰로앨토 연구소(Xerox PARC)에서 검색 기술 직책을 맡아 수집/분석 알고리즘(Scatter/Gather algorithm) 및 계산 양식(computational stylistics) 대해 연구했다. 더그 커팅은 익사이트(Excite), 브이트윈(V-Twin)에서 검색 엔진의 수석 디자이너로 일했었고, 텍스트 검색 프레임워크의 주요 저자였던 애플(Apple)에서도 일했다. 현재 하둡의 상용 버전을 판매하고 지원하는 크라우데라의 아키텍츠로 재작중이며, 오픈 소스 소프트웨어 연구센터(CROSS)의 조언자, 웰컴 트러스트의 조언자, 카머스 에너지의 조언자로 재직 중이다.

약력

• 1985년 : 스탠퍼드 대학교 언어학 학사 학위 취득
• 1986년 : 스코틀랜드 에든버러의 음성 기술 연구 센서에서 연구 조교
• 1987년 : 팰로앨토 연구소(Xerox PARC)에서 연구원 취직
• 1992년 : 애플(Apple)에서 첨단 기술 그룹 수석 기술자
• 1996년 : 익사이트(Excite)에서 수석 엔지니어
• 2000년 : 인프라 서치(InfraSearch)에서 수석 엔지니어
• 2001년 : 그랜드 센트럴에서 수석 엔지니어
• 2001년 : 아파치 소프트웨어 재단 커미터(Committer)
• 2005년 : 인터넷 아카이브에서 검색 부분의 이사를 담당
• 2006년 : 야후의 기술 담당
• 2009년 : 아파치 소프트웨어 재단의 디렉터(Director), 이사회에 선출
• 2009년 : 클라우데라(Cloudera) 수석 설계사
• 2016년 : 오픈 소스 소프트웨어 연구 센터(CROSS)의 조언자
• 2010년 : 아파치 소프트웨어 재단의 회장으로 선출
• 2019년 : 웰컴 트러스트(Wellcome Data Labs)의 조언자, 자문 그룹 회원
• 2020년 : 카머스 에너지의 오픈 소스 전략에 대한 자문에 대한 조언자

수상

• 2015년 : 구글 오'리얼리 오픈 소스 어워드(Google O'Reilly Open Source Award) 수상

주요 활동

오픈 소스 프로젝트

검색 인덱서인 루씬(Lucene)과 스파이더 또는 크롤러인 아파치 너치(Nutch)는 오픈 소스 일반 검색 플랫폼의 두 가지 핵심 구성 요소로, 먼저 웹에서 콘텐츠를 탐색한 다음 검색 기능을 한 인덱스로 구조화한다. 이러한 두 프로젝트는 리눅스, MySQL 등 일반적인 오픈 소스 소프트웨어 프로젝트의 리더가 되어 이러한 오픈 소스 소프트웨어 프로젝트의 개념과 기능을 검색의 영역까지 수직으로 확장시켰다. 사이버 보안을 수행하는 오픈 소스 빅 데이터 스타일인 아파치 스팟(Apache Spot) 프로젝트를 통해 클라우델라을 돕고 있다. 이 프로젝트는 이전에 공격적인 측면으로 누군가 수동 코딩한 특정 유형의 동작을 스캔하는 필터를 사용하여 검열하는 기존의 접근 방식이 아니다. 이러한 새로운 공격을 포착하는 것은 어렵지만 일반적인 동작을 정의하는 모델의 구축하여 다른 이상 동작을 할 때 포착이 가능하도록 시스템을 구축했다. 이러한 아파치 스폿은 확장이 가능한 오픈 소스 프로젝트로 모든 IT 원격 측정 데이터에 고급 분석을 제공하기 위하여 구축된 커뮤니티 기반 사이버 보안 프로젝트이다. 스폿은 머신 러닝을 통해 위협을 감지하고 조사 및 치료를 신속하게 처리한다. 모든 엔터프라이즈 보안 데이터를 개방형 데이터 모델을 기반으로 하는 포괄적인 IT 측정 허브로 통합하고 관리한다. 이러한 스폿의 확장성 및 기계 학습 기능은 하나로 공유되고 또한 이러한 경험으로 모인 풍부한 데이터 세트는 동시에 실행될 수 있는 ML 기반 애플리케이션 에코 시스템을 지원하여 최대의 분석 유연성을 제공한다.

하둡 개발

더크 커팅은 오픈소스 프로젝트의 최대 성공작 중 하나인 하둡(Hadoop)을 창시했다. 2006년, 대학원생 마이크 카파렐라(Michael Cafarella)와 오픈소스 검색엔진의 하부 프로젝트인 하둡을 시작할 때는 오늘날의 하둡과 같이 대규모로 커질 줄은 몰랐다. 소프트웨어에는 두 가지 흐름이 있는데 더그 커팅 자신은 해커 소프트웨어 흐름 속에 속해있다고 생각했다. 해커 소프트웨어는 일찍이 프리소프트웨어 운동을 전개한 리차드 스톨만(Richard Stallman), 인터넷 혁명을 가져온 월드 와이드 웹(WWW)의 창시자 팀 버너스리(Tim Bernersr-Lee), 리눅스를 만들어 소스를 공개한 리누스 토르발스(Linus Torvalds), 위키피디아를 무료로 운영하고 있는 지미 웨일스(Jimmy Wales) 등의 흐름을 의미한다. 더그 커팅은 스탠포드에서 언어학을 전공하고 애플, 제록스 팔로알토 연구소 등에서 개발자로 근무했다. 그는 C++ 언어를 가장 좋아하며 평소에는 자전거타기를 즐기고 아이들과 놀아주기를 좋아하는 실리콘밸리의 개발자였다. 그런데 자바 언어를 배우면서 2000년 이후에 오픈소스 검색엔진 루씬(Lucene)과 너치(Nutch)를 마이크 카파렐라와 함께 만들어 인터넷에 소스를 공개했고, 아파치재단은 이를 최고 레벨 프로젝트로 승격시킨다. 이어서 2004년에는 본인이 검색엔진의 효율적인 분산처리를 위해 당시 구글에서 논문으로 발표한 분산파일 시스템 NDFS(Nutch Distributed File System)을 시작한다. 2005년 12월 NDFS는 새로운 프레임워크인 하둡으로 포팅되고, 하둡은 20개의 노드에서 안정적으로 실행되었다. 당시 야후에서는 구글과 같은 분산파일시스템을 고안하던 중 하둡에 관심을 두게 되었고, 2006년에 더크 커팅을 합류시켜 본격적으로 하둡을 발전시키게 한다. 2007년에는 페이스북, 트위터, 링크드인과 같은 SNS에서 하둡을 적용하면서 새로운 시대를 열어가는 게임체인저로서 본격적으로 등장하게 된다. 그리고 지금은 빅데이터 시대를 대표하는 오픈소스로 자리매김하게 된다. 더그 커팅은 기존에 없어던 것을 만든 것도 아니며, 다른 사람들이 절대로 따라올 수 없는 초절정의 개발을 해낸 것도 아니었지만 오픈소스라는 시대의 과제에 적극 부응함으로써 새로운 시대를 열었다. 더그 커팅은 하둡 10주년 인터뷰에서 하둡이라는 이름은 아들이 가지고 놀던 노란 코끼리 인형의 이름에서 따왔다고 밝힌 바 있다. 하둡이라는 노란 코끼리 이름의 영향으로 이후 추가된 하둡 생태계의 소프트웨어 이름은 동물과 관계된 이름으로 주로 지어지게 된다. 스크립팅의 언어인 돼지 피그(PIG), 에스큐엘 쿼리를 가능하게 하는 벌떼 하이브(HIVE), 로그를 수집하는 거북이 척와(CHUKWA), 생태계를 조율하는 동물원 사육사 주키퍼(Zookeeper) 등이 대표적인 예이다.

참고자료

• Wikipedia, 〈Doug Cutting〉, 《Wikipedia》
• ITWORLD, 〈인터뷰 | 하둡 창안자 더크 커팅 “폭발적인 관심 지속될 것”〉, 《ITWORLD》, 2011-11-09
• linkedin, 〈Doug Cutting〉, 《linkedin》
• Brian McKenna, 〈Doug Cutting, ‘father’ of Hadoop, talks about big data tech evolution〉, 《ComputerWeekly.com》, 2017-06-02
• Apache Spot, 〈Apache Spot (Incubating)〉, 《Apache Spot》
• 루나, 〈빅데이터 시대를 열다, 하둡을 창시한 더그 커팅〉, 《브런치》, 2020-04-16

같이 보기

• 하둡
• 아파치 소프트웨어 재단
• 아파치 너치
• 루씬

이 더그 커팅 문서는 프로그래밍에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

개발 : 프로그래밍 □■⊕, 소프트웨어, 데이터, 솔루션, 보안, 하드웨어, 컴퓨터, 사무자동화, 인터넷, 모바일, 사물인터넷, 게임, 메타버스, 디자인 프로그래밍 언어 ASP • C 언어 • C++ • C# • CSS • D 언어 • HTML • HTML5 • JSP • PHP • R • XHTML • XML • XSLT • 고(Go) • 고급언어 • 기계어 • 델파이 • 러스트 • 루비 • 루아 • 리액트 • 리퀴디티 • 무브 • 미켈슨 • 베이직 • 브이비스크립트 • 비주얼 C++ • 비주얼베이직(VB) • 비주얼베이직닷넷(VB.NET) • 솔리디티 • 스몰토크 • 스위프트 언어 • 스칼라 • 스크립트 언어 • 알골 • 어셈블리 • 언리얼스크립트 • 얼랭 • 에이잭스(Ajax) • 엠에프씨(MFC) • 오브젝티브-C • 오브젝트 파스칼 • 오카멜 • 웹어셈블리(WASM) • 이와즘(eWASM) • 자바 • 자바스크립트 • 저급언어 • 제이슨(JSON) • 제이쿼리(jQuery) • 카멜 • 코볼 • 코틀린 • 콜드퓨전 • 타입스크립트 • 파스칼 • 파워스크립트 • 파이썬 • 펄(Perl) • 포트란 • 프로씨(Pro-C) • 피엘에스큐엘(PL/SQL) • 피엘원(PL/I) • 하스켈 개발방법론 CBD 개발방법론 • EA • 구조적 개발방법론 • 객체지향 개발방법론 • 라이브러리 • 람다 아키텍처 • 모듈 • 모듈화 • 벤치마킹 • 소프트웨어 개발방법론 • 스크럼 • 스프린트 • 아키텍처 • 아키텍트 • 애자일 • 웹개발방법론 • 정보공학 개발방법론 • 컴포넌트 • 테일러링 • 템플릿 • 폭포수 모델 • 프로젝트 • 프로토타입 • 피드백 코딩 EUC-KR • UTF-8 • 값 • 글루웨어 • 디버깅 • 디코딩 • 마크업 • 버그 • 부트스트랩 • 세이브포인트 • 소스코드 • 시큐어코딩 • 아스키 • 액티브엑스 • 오픈소스 • 유니코드 • 인코딩 • 재컴파일 • 주석 • 컴파일 • 컴퓨터 프로그램 • 코드 • 코딩 • 태그 • 테스트 • 테이블 • 텍스트 • 파싱 • 퍼블리싱 • 퓨니코드 • 하드코딩 • 하이퍼링크 • 하이퍼텍스트 프로그래밍 C 명령어 • 객체 • 객체지향 • 객체지향 프로그래밍 • 거짓 • 관계연산자 • 기본형 변수 • 널 • 논리 • 논리연산 • 논리연산자 • 다중상속 • 다형성 • 대입 • 대입문 • 대입연산자 • 더블 • 도스 명령어 • 디폴트 • 레지스터변수 • 루프 • 리눅스 명령어 • 리턴 • 메모리 주소 • 메소드 • 멤버 • 명령문 • 명령어 • 무한루프 • 문자 • 문자열 • 바이트 • 반복문 • 배열 • 변수 • 분기 • 분기문 • 불린 • 브레이크 • 비교연산자 • 비트연산자 • 산술연산자 • 상속 • 상수 • 생성자 • 선언 • 선언문 • 설정자 • 속성 • 스위치 • 스태틱 • 시프트연산자 • 실행 • 실행문 • 어노테이션 • 에코 • 역참조 • 연산 • 연산문 • 연산자 • 오버로딩 • 오버라이딩 • 외부변수 • 윈도우 명령어 • 유닉스 명령어 • 인스턴스 • 인스트럭션 • 인클루드 • 인터페이스 • 임포트 • 입력 • 입력문 • 입출력 • 입출력문 • 자료형(데이터 타입) • 자바 명령어 • 자바 예약어 • 자바 컬렉션 • 전역변수 • 접근자 • 접근제어자 • 정보은닉 • 정수형 • 정적변수 • 제어 • 제어문 • 제어자 • 조건 • 조건문 • 조건연산자 • 주소 • 증감연산자 • 지역변수 • 참 • 참조 • 참조변수 • 초기화 • 추상메소드 • 추상클래스 • 추상화 • 출력 • 출력문 • 캡슐화 • 케이스 • 클래스 • 파라미터(매개변수) • 파이널 • 패키지 • 퍼블릭 • 포인터 • 프라이빗 • 프로텍티드 • 필드(멤버변수) • 함수 • 환경변수 명령어 abstract • array • boolean • break • byte • case • char • continue • default • double • do while • echo • elif • else • else if • false • final • float • for • gosub • goto • if • if else • import • include • int • join • long • long long • null • print • printf • println • private • protected • public • return • scanf • short • stdio.h • static • string • switch • temp • then • true • unsigned • void • while 디자인패턴 구조패턴 • 동시성패턴 • 동시실행패턴 • 모델-뷰-컨트롤러 패턴 • 상태패턴 • 생성패턴 • 싱글톤패턴 • 아키텍처패턴 • 전략패턴 • 커맨드패턴 • 행동패턴 프로그래밍 인물 귀도 반 로썸 • 그레이스 머레이 호퍼 • 니클라우스 비르트 • 댄 브릭클린 • 더그 커팅 • 데니스 리치 • 리누스 토르발스 • 리처드 그린블라트 • 마거릿 해밀턴 • 마크 앤드리슨 • 빈트 서프 • 빌 게이츠 • 빌 조이 • 스티브 잡스 • 에이다 러브레이스 • 제임스 고슬링 • 척 벤턴 • 켄 톰슨 • 팀 패터슨 위키 : 자동차, 교통, 지역, 산업, 기업, 단체, 업무, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반