유르겐 슈미트후버

유르겐 슈미트후버(Jürgen Schmidhuber)

유르겐 슈미트후버(Juergen Schmidhuber, 1963년 1월 17일 ~ )는 스위스의 달레몰 인공지능 연구소(IDSIA)의 소장이다. 독일 뮌헨 출신의 학자로서, 오랫동안 실용적 사용에 어려움이 있던 순환신경망(RNN)의 난제를 제자인 셉 호크레이터(Sepp Hochreiter)와 해결했다. '딥러닝의 아버지'라는 별명이 있다.

15세 때부터 그의 주된 목표는 자신보다 더 지혜롭고 자아개선을 하는 AI를 구축한 후 은퇴하는 것이었다. 그의 연구실에서 나온 뉴럴 네트워크 LSTM은 기계학습에 혁명을 가져왔다. LSTM은 오늘날의 30억개의 스마트폰에 탑재되어 다양한 어플리케이션을 통해 하루에 수십억번 이용되고 있다. 또 그는 교사 없는 학습, 인공호기심(artificial curiosity), 그리고 배울 것을 학습하는 메타러닝 머신의 선구자이기도 하다. 수많은 상을 수상했으며, 최초의 실용적인 범용 AI 구축을 목적으로 한 NNAISENSE 사의 주임 과학자이기도 하다. AI 전략에 대해 다양한 정부에 대한 조언도 하고 있다.

생애

고교 졸업 후 슈미트후버는 컴퓨터 과학과 수학을 공부했고 1981년부터 15개월 동안 당시 서독군에 입대했다.상관들과는 잘 맞지 않았다. 대학에서는 컴퓨터 과학으로 박사 학위를 취득, 당시부터 AI나 뉴럴 네트워크(neural network)에 관한 논문을 발표하고 있었다.뉴럴 네트워크란, 하드와 소프트의 편성에 의해 뇌내의 뉴런끼리의 연결 구조를 모방한 것이다. 그의 웹사이트를 보면, 그 아카데믹한 이력이 필요 이상으로 상세하게 쓰여져 있다. 예를 들면 「캘리포니아 공대로부터의 포스트 닥터 제의를 거절했다」라는 기술이 있거나, 학부와 석사과정 합해 통상이라면 「6.05」년 걸리는 곳, 4년에 끝냈다고 쓰여져 있거나. 슈미트 후버가 루가노에서 생활하게 된 지 23년. 계기를 만든 것은 이탈리아인 술 수입업자 안젤로 달레몰레다. 치날이라는 아티초크를 원료로 한 식전주를 개발해 부자가 된 달레몰레는 지적인 기계를 노동력으로 사용하는 유토피아 건설을 꿈꾸고 있었다. 그의 거액 기부를 바탕으로 1988년에 루가노에 달레몰레 AI연구소(ISIA)가 설립되었다. 슈미트후버는 설립 후 이른 시기부터 IDSIA에서 일하고 있었다. 현지의 대학과의 제휴나 정부로부터의 보조금 덕분에, IDSIA는 몇개의 새로운 발견을 얻어, 루가노를 AI연구의 중심지로 다시 태어나게 했다. 슈미트후버는 루가노 중심부에 있는 스위스 이탈리아 대학에서 강의하고 있으며, 외진 교외에 있는 IDSIA의 연구시설에서도 일하고 있다. 2014년에는 4명의 전 제자들과 함께 네이선스를 설립했다.제조, 의료, 금융 분야의 상업적 파트너십과 순수 연구 연계를 위해 장소는 대학 근처로 잡았다.

업적

Schmidhuber는 그의 학생들인 Sepp Hochreiter, Felix Gers, Fred Cummins, Alex Graves 등과 함께 순환 신경망 유형의 더 정교한 버전인 장단기 메모리 (LSTM)를 발표했다. 첫 번째 결과는 호크라이터의 졸업장 논문(1991)에서 보고되었는데, vanishing gradient 문제를 해결하여 분석했다. LSTM이라는 이름은 기술 보고서(1995)에서 가장 많이 인용된 LSTM 출판물(1997)에 소개되었다.

거의 모든 현재 애플리케이션에서 사용되는 표준 LSTM 구조는 2000년에 도입되었다. 시간 경과에 따른 백프로파그(BBTT)를 이용한 오늘날의 "바닐라 LSTM"은 2005년에 출판되었고, 2006년에 연결주의 시간 분류(CTC) 훈련 알고리즘이 발표되었다. CTC는 LSTM으로 end-to-end 음성 인식을 가능하게 했다. 2015년 CTC가 교육한 LSTM은 구글의 스마트폰용 소프트웨어 음성인식의 새로운 구현에 활용됐다. 구글은 스마트 어시스턴트 Allo와 구글 번역에도 LSTM을 사용하였다. 애플은 아이폰의 "퀵타입" 기능과 시리(Siri)에 LSTM을 사용했다. 아마존은 LSTM을 아마존 알렉사에 사용하였다. 페이스북은 2017년 LSTM 네트워크를 이용해 매일 45억 개의 자동번역을 수행했다.

2011년, IDSIA의 Schmidhuber 팀은 그의 포스트닥인 Dan Ciresan과 함께 GPU라고 불리는 고속 병렬 컴퓨터 상에서 콘볼루션 신경 네트워크(CNNs)의 극적인 속도 향상을 이루기도 했다. 셸라피야(Chellapilla)등 GPU에 대한 이전 CNN(2006년)은 CPU에 대한 동등한 구현보다 4배 더 빨랐다. 2011년 5월 15일부터 2012년 9월 10일까지, 그들의 빠르고 깊은 CNN은 네 개의 이미지 대회에서 우승했다. 또한 다중 이미지 데이터베이스에 대한 문헌에서 최상의 성능을 현저하게 향상시켰다. 그 접근법은 컴퓨터 비전 분야의 중심이 되었다. 이전의 얀(Yann LeCun) 외 연구진(1989)이 백프로파게이지 알고리즘을 쿠니히코 후쿠시마의 원래 CNN 구조인 네오코이그니트론 (neocognitron) 변종에 적용했다가 나중에 J. Weng의 방법인 max-pooling(max-pooling)에 의해 변형된 CNN 디자인을 바탕으로 하고 있다.

슈미트후버는 2014년 나이스엔스라는 회사를 설립해 금융, 중공업, 자율주행차 등 분야에서 인공지능의 상업적 응용에 힘썼다. 2016년 매출액은 미화 1,100만 달러 미만이었지만, Schmidhuber는 현재 강조점은 수익이 아니라 연구에 있다고 말한다. 나인센스는 2017년 1월 1차 자금조달 방식을 도입했다. 슈미두버의 전반적인 목표는 다양한 좁은 과제에 대해 하나의 AI를 순차적으로 훈련시켜 다목적 AI를 만드는 것이지만 아라고 GmbH, IBM 등 기업들이 인공지능의 기미를 보이지 않고 수년간 다양한 프로젝트에 AI를 적용해왔다는 회의론도 제기된다.

LSTM

장단기 메모리 (Long short-term memory)

장단기 메모리(LSTM)는 딥러닝 분야에서 사용되는 인공재발신경망(RNN) 구조이다. 표준 피드포워드 신경망과 달리 LSTM은 피드백 연결이 있다. 단일 데이터 지점(이미지 등)뿐만 아니라 전체 데이터 시퀀스(예: 음성 또는 비디오)를 처리할 수 있다. 예를 들어 LSTM은 분할되지 않은 연결된 필기 인식, 음성 인식 및 네트워크 트래픽이나 IDS(내부 감지 시스템)에서의 이상 감지와 같은 작업에 적용할 수 있다.

공통 LSTM 장치는 셀, 입력 게이트, 출력 게이트 및 기억 게이트로 구성된다. 셀은 임의의 시간 간격에 걸쳐 값을 기억하며, 세 개의 게이트는 셀로 들어오고 나가는 정보의 흐름을 조절한다.

LSTM 네트워크는 시계열 데이터(time series data)의 분류, 처리 및 예측에 적합하다. 시계열에서 중요한 사건 사이에 알 수 없는 지속시간의 시차가 있을 수 있기 때문이다. LSTM은 기존의 RNN을 훈련할 때 발생할 수 있는 소실 구배 문제(vanishing gradient problem)를 해결하기 위해 개발되었다. RNN과 숨겨진 마르코프 모델 및 기타 시퀀스 학습 방법들에 비해 갭 길이에 대한 상대적 불감증은 LSTM의 장점이다.

역사

1997: LSTM은 Sepp Hochreiter와 유르겐 슈미트후버에 의해 제안되었다. CEC(Continuous Error Carrozel) 유닛을 도입함으로써 LSTM은 vanishing gradient proble를 해결했다. LSTM 블록의 초기 버전은 셀, 입력 및 출력 게이트를 포함했다.

1999: Felix Gers와 그의 고문 유르겐 슈미트후버와 Fred Cummins는 LSTM 구조에 망각 게이트("keep gate"라고도 함)를 도입하여 LSTM이 자신의 상태를 재설정할 수 있게 했다.

2000: Gers & 슈미트후버 & Cummins는 구조에 핍홀 연결(세포에서 게이트로의 연결)을 추가했다. 또한 출력 활성화 기능이 생략되었다.

2009: LSTM 기반 모델이 ICDAR 필기 인식 대회에서 우승했다. 그 3가지 모델은 알렉스 그레이브스 팀의 것이었으며, 하나는 대회에서 가장 정확한 모델이었고 다른 하나는 가장 빠른 모델이었다.

2013: LSTM 네트워크는 고전적인 TIMIT 자연 음성 데이터 집합에서 17.7%의 음소 오류율을 달성한 네트워크의 주요 구성요소였다.

2014: 조경현 등은 GRU(Gateed recurrent unit)라는 단순 변종을 내세웠다.

2015: 구글은 구글 보이스에서 음성 인식을 위해 LSTM을 사용하기 시작했다. 공식 블로그 게시물에 따르면, 새 모델은 오류를 49% 줄였다.

2016: 구글은 알로 대화 앱에서 메시지를 위해 LSTM을 사용하기 시작했다. 같은 해 구글은 LSTM을 활용해 번역 오류를 60% 줄인 구글 번역용 구글 뉴럴 머신 번역 시스템을 출시했다. 애플은 월드와이드 개발자 컨퍼런스에서 아이폰의 퀵타입과 시리(Siri)를 위한 LSTM 사용을 시작한다고 발표했다. 아마존은 문자 음성 기술에 양방향 LSTM을 이용해 알렉사의 목소리를 내는 폴리(Polly)를 출시했다.

2017: 페이스북은 LSTM을 이용하여 매일 45억 개의 자동 번역 작업을 수행했다. 미시간 주립대, IBM 리서치, 코넬대 연구진이 KDD(Knowledge Discovery and Data Mining) 컨퍼런스에서 널리 사용되는 LSTM의 특정 데이터 집합에서 더 나은 성능을 보이는 새로운 신경 네트워크를 연구 결과를 발표했다.

2019: 워털루 대학의 연구원들은 연속적인 시간의 창을 나타내는RNN 구조와 관련된 제안을 했다. 그것은 Legendre 다항식을 사용하였고 일부 메모리 관련 벤치마크에서 LSTM을 능가한다. LSTM 모델은 대형 텍스트 압축 벤치마크에서 3위로 올라섰다.

참고자료

• PRTIMES JAPAN, 〈SXSW 2019出展について〉, 《PRTIMES 홈페이지》, 2019-02-22
• 〈Long short-term memory〉, 《위키백과 LSTM》
• 〈Jürgen Schmidhuber〉, 《위키백과 Jürgen Schmidhuber 》
• 〈「AIの生みの親」シュミットフーバー、業界が煙たがる男の物語 (前編)〉, 《newspicks》, 2018-06-16

같이 보기

• 인공신경망
• 셉 호크레이터

이 유르겐 슈미트후버 문서는 인공지능 인물에 관한 토막글입니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 이 문서의 내용을 채워주세요.

인공지능 : 인공지능 기술, 인공지능 활용, 인공지능 개발업체, 인공지능 인물 □■⊕ 한국 곽인범 • 김대훈 • 김동환 • 배영우 • 서대호 • 신민영 • 신형섭 • 안익진 • 오준호 • 유태준 • 이경일 • 이정호 • 임재원 • 최진 • 하정우 중국 앤드류 응 • 천즈치 일본 쿠니히코 후쿠시마 동남아 마크 슈뮬레비치 미국 그레그 브로크만 • 라지쿠마 티루말라이남비 • 래리 서머스 • 마빈 민스키 • 마크 레이버트 • 미라 무라티 • 보이치에흐 자렘바 • 브렛 테일러 • 사친 나로드 • 샘 알트만 • 아담 디안젤로 • 에두아르도 에라조 • 에멧 시어 • 월터 피츠 • 일론 머스크 • 일리야 수츠케버 • 저스틴 해리스 • 제프 딘 • 제프리 힌튼 • 존 매카시 • 캐롤 라일리 • 타샤 매코리 • 토머스 왓슨 • 프랭크 로젠블랫 • 헬렌 토너 유럽 기욤 램플 • 데미스 하사비스 • 데이비드 클렘 • 아서 멘쉬 • 안젤로 달리 • 알베르토 바르가라 • 앨런 튜링 • 유르겐 슈미트후버 • 티모시 라크로아 기타 다니엘 흄 • 프레드 알메이다 위키 : 자동차, 교통, 지역, 산업, 기업, 단체, 업무, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반