유르겐 슈미트후버

유르겐 슈미트후버(Jürgen Schmidhuber)

유르겐 슈미트후버(Juergen Schmidhuber, 1963년 1월 17일 ~ )는 스위스의 달레몰 인공지능 연구소(IDSIA)의 소장이다. 독일 뮌헨 출신의 학자로서, 오랫동안 실용적 사용에 어려움이 있던 순환신경망(RNN)의 난제를 제자인 셉 호크레이터(Sepp Hochreiter)와 해결했다. '딥러닝의 아버지'라는 별명이 있다.

15세 때부터 그의 주된 목표는 자신보다 더 지혜롭고 자아개선을 하는 AI를 구축한 후 은퇴하는 것이었다. 그의 연구실에서 나온 뉴럴 네트워크 LSTM은 기계학습에 혁명을 가져왔다. LSTM은 오늘날의 30억개의 스마트폰에 탑재되어 다양한 어플리케이션을 통해 하루에 수십억번 이용되고 있다. 또 그는 교사 없는 학습, 인공호기심(artificial curiosity), 그리고 배울 것을 학습하는 메타러닝 머신의 선구자이기도 하다. 수많은 상을 수상했으며, 최초의 실용적인 범용 AI 구축을 목적으로 한 NNAISENSE 사의 주임 과학자이기도 하다. AI 전략에 대해 다양한 정부에 대한 조언도 하고 있다.

업적

Schmidhuber는 그의 학생들인 Sepp Hochreiter, Felix Gers, Fred Cummins, Alex Graves 등과 함께 순환 신경망 유형의 더 정교한 버전인 장단기 메모리 (LSTM)를 발표했다. 첫 번째 결과는 호크라이터의 졸업장 논문(1991)에서 보고되었는데, vanishing gradient problem을 극복하여 분석했다. LSTM이라는 이름은 기술 보고서(1995)에서 가장 많이 인용된 LSTM 출판물(1997)에 소개되었다.

거의 모든 현재 애플리케이션에서 사용되는 표준 LSTM 구조는 2000년에 도입되었다. 시간 경과에 따른 백프로파그(BBTT)를 이용한 오늘날의 "바닐라 LSTM"은 2005년에 출판되었고, 2006년에 연결주의 시간 분류(CTC) 훈련 알고리즘이 발표되었다. CTC는 LSTM으로 end-to-end 음성 인식을 가능하게 했다. 2015년 CTC가 교육한 LSTM은 구글의 스마트폰용 소프트웨어 음성인식의 새로운 구현에 활용됐다. 구글은 스마트 어시스턴트 Allo와 구글 번역에도 LSTM을 사용하였다. 애플은 아이폰의 "퀵타입" 기능과 시리(Siri)에 LSTM을 사용했다. 아마존은 LSTM을 아마존 알렉사에 사용하였다. 페이스북은 2017년 LSTM 네트워크를 이용해 매일 45억 개의 자동번역을 수행했다.

2011년, IDSIA의 Schmidhuber 팀은 그의 포스트닥인 Dan Ciresan과 함께 GPU라고 불리는 고속 병렬 컴퓨터 상에서 콘볼루션 신경 네트워크(CNNs)의 극적인 속도 향상을 이루기도 했다. 셸라피야(Chellapilla)등 GPU에 대한 이전 CNN(2006년)은 CPU에 대한 동등한 구현보다 4배 더 빨랐다. 2011년 5월 15일부터 2012년 9월 10일까지, 그들의 빠르고 깊은 CNN은 네 개의 이미지 대회에서 우승했다. 또한 다중 이미지 데이터베이스에 대한 문헌에서 최상의 성능을 현저하게 향상시켰다. 그 접근법은 컴퓨터 비전 분야의 중심이 되었다. 이전의 얀(Yann LeCun) 외 연구진(1989)이 백프로파게이지 알고리즘을 쿠니히코 후쿠시마의 원래 CNN 구조인 네오코이그니트론 (neocognitron) 변종에 적용했다가 나중에 J. Weng의 방법인 max-pooling(max-pooling)에 의해 변형된 CNN 디자인을 바탕으로 하고 있다.

슈미트후버는 2014년 나이스엔스라는 회사를 설립해 금융, 중공업, 자율주행차 등 분야에서 인공지능의 상업적 응용에 힘썼다. 2016년 매출액은 미화 1,100만 달러 미만이었지만, Schmidhuber는 현재 강조점은 수익이 아니라 연구에 있다고 말한다. 나인센스는 2017년 1월 1차 자금조달 방식을 도입했다. 슈미두버의 전반적인 목표는 다양한 좁은 과제에 대해 하나의 AI를 순차적으로 훈련시켜 다목적 AI를 만드는 것이지만 아라고 GmbH, IBM 등 기업들이 인공지능의 기미를 보이지 않고 수년간 다양한 프로젝트에 AI를 적용해왔다는 회의론도 제기된다.

LSTM

장단기 메모리 (Long short-term memory)

장단기 메모리(LSTM)는 딥러닝 분야에서 사용되는 인공재발신경망(RNN) 구조이다. 표준 피드포워드 신경망과 달리 LSTM은 피드백 연결이 있다. 단일 데이터 지점(이미지 등)뿐만 아니라 전체 데이터 시퀀스(예: 음성 또는 비디오)를 처리할 수 있다. 예를 들어 LSTM은 분할되지 않은 연결된 필기 인식, 음성 인식 및 네트워크 트래픽이나 IDS(내부 감지 시스템)에서의 이상 감지와 같은 작업에 적용할 수 있다.

공통 LSTM 장치는 셀, 입력 게이트, 출력 게이트 및 기억 게이트로 구성된다. 셀은 임의의 시간 간격에 걸쳐 값을 기억하며, 세 개의 게이트는 셀로 들어오고 나가는 정보의 흐름을 조절한다.

LSTM 네트워크는 시계열 데이터(time series data)의 분류, 처리 및 예측에 적합하다. 시계열에서 중요한 사건 사이에 알 수 없는 지속시간의 시차가 있을 수 있기 때문이다. LSTM은 기존의 RNN을 훈련할 때 발생할 수 있는 소실 구배 문제(vanishing gradient problem)를 해결하기 위해 개발되었다. 갭 길이에 대한 상대적 불감증은 RNN, 숨겨진 마르코프 모델 및 기타 시퀀스 학습 방법들에 비해 LSTM의 장점이다.

역사

1997: LSTM은 Sepp Hochreiter와 유르겐 슈미트후버에 의해 제안되었다. CEC(Continuous Error Carrozel) 유닛을 도입함으로써 LSTM은 vanishing gradient proble를 해결했다. LSTM 블록의 초기 버전은 셀, 입력 및 출력 게이트를 포함했다.

1999: Felix Gers와 그의 고문 유르겐 슈미트후버와 Fred Cummins는 LSTM 구조에 망각 게이트("keep gate"라고도 함)를 도입하여 LSTM이 자신의 상태를 재설정할 수 있게 했다.

2000: Gers & 슈미트후버 & Cummins는 구조에 핍홀 연결(세포에서 게이트로의 연결)을 추가했다. 또한 출력 활성화 기능이 생략되었다.

2009: LSTM 기반 모델이 ICDAR 필기 인식 대회에서 우승했다. 그 3가지 모델은 알렉스 그레이브스 팀의 것이었으며, 하나는 대회에서 가장 정확한 모델이었고 다른 하나는 가장 빠른 모델이었다.

2013: LSTM 네트워크는 고전적인 TIMIT 자연 음성 데이터 집합에서 17.7%의 음소 오류율을 달성한 네트워크의 주요 구성요소였다.

2014: 조경현 등은 GRU(Gateed recurrent unit)라는 단순 변종을 내세웠다.

2015: 구글은 구글 보이스에서 음성 인식을 위해 LSTM을 사용하기 시작했다. 공식 블로그 게시물에 따르면, 새 모델은 오류를 49% 줄였다.

2016: 구글은 알로 대화 앱에서 메시지를 위해 LSTM을 사용하기 시작했다. 같은 해 구글은 LSTM을 활용해 번역 오류를 60% 줄인 구글 번역용 구글 뉴럴 머신 번역 시스템을 출시했다. 애플은 월드와이드 개발자 컨퍼런스에서 아이폰의 퀵타입과 시리(Siri)를 위한 LSTM 사용을 시작한다고 발표했다. 아마존은 문자 음성 기술에 양방향 LSTM을 이용해 알렉사의 목소리를 내는 폴리(Polly)를 출시했다.

2017: 페이스북은 LSTM을 이용하여 매일 45억 개의 자동 번역 작업을 수행했다. 미시간 주립대, IBM 리서치, 코넬대 연구진이 KDD(Knowledge Discovery and Data Mining) 컨퍼런스에서 널리 사용되는 LSTM의 특정 데이터 집합에서 더 나은 성능을 보이는 새로운 신경 네트워크를 연구 결과를 발표했다.

2019: 워털루 대학의 연구원들은 연속적인 시간의 창을 나타내는RNN 구조와 관련된 제안을 했다. 그것은 Legendre 다항식을 사용하였고 일부 메모리 관련 벤치마크에서 LSTM을 능가한다. LSTM 모델은 대형 텍스트 압축 벤치마크에서 3위로 올라섰다.

참고자료

• PRTIMES JAPAN, 〈SXSW 2019出展について〉, 《PRTIMES 홈페이지》, 2019-02-22
• 〈Long short-term memory〉, 《위키백과 LSTM》
• 〈Jürgen Schmidhuber〉, 《위키백과 Jürgen Schmidhuber 》

같이 보기

• 인공신경망
• 셉 호크레이터

이 유르겐 슈미트후버 문서는 인공지능 인물에 관한 토막글입니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 이 문서의 내용을 채워주세요.

인공지능 : 인공지능 기술, 인공지능 활용, 인공지능 개발업체, 인공지능 인물 □■⊕ 한국 곽인범 • 김대훈 • 김동환 • 배영우 • 서대호 • 신민영 • 신형섭 • 안익진 • 오준호 • 유태준 • 이경일 • 이정호 • 임재원 • 최진 • 하정우 중국 앤드류 응 • 천즈치 일본 쿠니히코 후쿠시마 동남아 마크 슈뮬레비치 미국 그레그 브로크만 • 라지쿠마 티루말라이남비 • 래리 서머스 • 마빈 민스키 • 마크 레이버트 • 미라 무라티 • 보이치에흐 자렘바 • 브렛 테일러 • 사친 나로드 • 샘 알트만 • 아담 디안젤로 • 에두아르도 에라조 • 에멧 시어 • 월터 피츠 • 일론 머스크 • 일리야 수츠케버 • 저스틴 해리스 • 제프 딘 • 제프리 힌튼 • 존 매카시 • 캐롤 라일리 • 타샤 매코리 • 토머스 왓슨 • 프랭크 로젠블랫 • 헬렌 토너 유럽 기욤 램플 • 데미스 하사비스 • 데이비드 클렘 • 아서 멘쉬 • 안젤로 달리 • 알베르토 바르가라 • 앨런 튜링 • 유르겐 슈미트후버 • 티모시 라크로아 기타 다니엘 흄 • 프레드 알메이다 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반