유르겐 슈미트후버

유르겐 슈미트후버(Jürgen Schmidhuber)

유르겐 슈미트후버(Juergen Schmidhuber, 1963년 1월 17일 ~ )는 스위스의 달레몰 인공지능 연구소(IDSIA)의 소장이다. 독일 뮌헨 출신의 학자로서, 오랫동안 실용적 사용에 어려움이 있던 순환신경망(RNN)의 난제를 제자인 셉 호크레이터(Sepp Hochreiter)와 해결했다. '딥러닝의 아버지'라는 별명이 있다.

15세 때부터 그의 주된 목표는 자신보다 더 지혜롭고 자아개선을 하는 AI를 구축한 후 은퇴하는 것이었다. 그의 연구실에서 나온 뉴럴 네트워크 LSTM은 기계학습에 혁명을 가져왔다. LSTM은 오늘날의 30억개의 스마트폰에 탑재되어 다양한 어플리케이션을 통해 하루에 수십억번 이용되고 있다. 또 그는 교사 없는 학습, 인공호기심(artificial curiosity), 그리고 배울 것을 학습하는 메타러닝 머신의 선구자이기도 하다. 수많은 상을 수상했으며, 최초의 실용적인 범용 AI 구축을 목적으로 한 NNAISENSE 사의 주임 과학자이기도 하다. AI 전략에 대해 다양한 정부에 대한 조언도 하고 있다.

업적

Schmidhuber는 그의 학생들인 Sepp Hochreiter, Felix Gers, Fred Cummins, Alex Graves 등과 함께 순환 신경망 유형의 더 정교한 버전인 장단기 메모리 (LSTM)를 발표했다. 첫 번째 결과는 호크라이터의 졸업장 논문(1991)에서 보고되었는데, vanishing gradient problem을 극복하여 분석했다. LSTM이라는 이름은 기술 보고서(1995)에서 가장 많이 인용된 LSTM 출판물(1997)에 소개되었다.

거의 모든 현재 애플리케이션에서 사용되는 표준 LSTM 아키텍처는 2000년에 도입되었다. 시간 경과에 따른 백프로파그(BBTT)를 이용한 오늘날의 "바닐라 LSTM"은 2005년에 출판되었고, 2006년에 연결주의 시간 분류(CTC) 훈련 알고리즘이 발표되었다. CTC는 LSTM으로 end-to-end 음성 인식을 가능하게 했다. 2015년 CTC가 교육한 LSTM은 구글의 스마트폰용 소프트웨어 음성인식의 새로운 구현에 활용됐다. 구글은 스마트 어시스턴트 Allo와 구글 번역에도 LSTM을 사용하였다. 애플은 아이폰의 "퀵타입" 기능과 시리(Siri)에 LSTM을 사용했다. 아마존은 LSTM을 아마존 알렉사에 사용하였다. 페이스북은 2017년 LSTM 네트워크를 이용해 매일 45억 개의 자동번역을 수행했다.

2011년, IDSIA의 Schmidhuber 팀은 그의 포스트닥인 Dan Ciresan과 함께 GPU라고 불리는 고속 병렬 컴퓨터 상에서 콘볼루션 신경 네트워크(CNNs)의 극적인 속도 향상을 이루기도 했다. 셸라피야(Chellapilla)등 GPU에 대한 이전 CNN(2006년)은 CPU에 대한 동등한 구현보다 4배 더 빨랐다. 2011년 5월 15일부터 2012년 9월 10일까지, 그들의 빠르고 깊은 CNN은 네 개의 이미지 대회에서 우승했다. 또한 다중 이미지 데이터베이스에 대한 문헌에서 최상의 성능을 현저하게 향상시켰다. 그 접근법은 컴퓨터 비전 분야의 중심이 되었다. 이전의 얀(Yann LeCun) 외 연구진(1989)이 백프로파게이지 알고리즘을 후쿠시마 쿠니히코의 원래 CNN 아키텍쳐인 네오코이그니트론 (neocognitron) 변종에 적용했다가 나중에 J. Weng의 방법인 max-pooling(max-pooling)에 의해 변형된 CNN 디자인을 바탕으로 하고 있다.

슈미트후버는 2014년 나이스엔스라는 회사를 설립해 금융, 중공업, 자율주행차 등 분야에서 인공지능의 상업적 응용에 힘썼다. 2016년 매출액은 미화 1,100만 달러 미만이었지만, Schmidhuber는 현재 강조점은 수익이 아니라 연구에 있다고 말한다. 나인센스는 2017년 1월 1차 자금조달 방식을 도입했다. 슈미두버의 전반적인 목표는 다양한 좁은 과제에 대해 하나의 AI를 순차적으로 훈련시켜 다목적 AI를 만드는 것이지만 아라고 GmbH, IBM 등 기업들이 인공지능의 기미를 보이지 않고 수년간 다양한 프로젝트에 AI를 적용해왔다는 회의론도 제기된다.

LSTM

파일:300px-The LSTM cell.jpg

LSTM

장단기 메모리 (Long short-term memory)

장단기 메모리(LSTM)는 딥러닝 분야에서 사용되는 인공재발신경망(RNN) 아키텍처이다. 표준 피드포워드 신경망과 달리 LSTM은 피드백 연결이 있다. 단일 데이터 지점(이미지 등)뿐만 아니라 전체 데이터 시퀀스(예: 음성 또는 비디오)를 처리할 수 있다. 예를 들어 LSTM은 분할되지 않은 연결된 필기 인식, 음성 인식 및 네트워크 트래픽이나 IDS(내부 감지 시스템)에서의 이상 감지와 같은 작업에 적용할 수 있다.

공통 LSTM 장치는 셀, 입력 게이트, 출력 게이트 및 기억 게이트로 구성된다. 셀은 임의의 시간 간격에 걸쳐 값을 기억하며, 세 개의 게이트는 셀로 들어오고 나가는 정보의 흐름을 조절한다.

LSTM 네트워크는 시계열 데이터(time series data)의 분류, 처리 및 예측에 적합하다. 시계열에서 중요한 사건 사이에 알 수 없는 지속시간의 시차가 있을 수 있기 때문이다. LSTM은 기존의 RNN을 훈련할 때 발생할 수 있는 소실 구배 문제(vanishing gradient problem)를 해결하기 위해 개발되었다. 갭 길이에 대한 상대적 불감증은 RNN, 숨겨진 마르코프 모델 및 기타 시퀀스 학습 방법들에 비해 LSTM의 장점이다.

참고자료

• PRTIMES JAPAN, 〈SXSW 2019出展について〉, 《PRTIMES 홈페이지》, 2019-02-22
• 〈Long short-term memory〉, 《위키백과 LSTM》
• 〈Jürgen Schmidhuber〉, 《위키백과 Jürgen Schmidhuber 》

같이 보기

• 인공신경망
• 셉 호크레이터

이 유르겐 슈미트후버 문서는 인공지능 인물에 관한 토막글입니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 이 문서의 내용을 채워주세요.

인공지능 : 인공지능 기술, 인공지능 활용, 인공지능 개발업체, 인공지능 인물 □■⊕ 한국 곽인범 • 김대훈 • 김동환 • 배영우 • 서대호 • 신민영 • 신형섭 • 안익진 • 오준호 • 유태준 • 이경일 • 이정호 • 임재원 • 최진 • 하정우 중국 앤드류 응 • 천즈치 일본 쿠니히코 후쿠시마 동남아 마크 슈뮬레비치 미국 그레그 브로크만 • 라지쿠마 티루말라이남비 • 래리 서머스 • 마빈 민스키 • 마크 레이버트 • 미라 무라티 • 보이치에흐 자렘바 • 브렛 테일러 • 사친 나로드 • 샘 알트만 • 아담 디안젤로 • 에두아르도 에라조 • 에멧 시어 • 월터 피츠 • 일론 머스크 • 일리야 수츠케버 • 저스틴 해리스 • 제프 딘 • 제프리 힌튼 • 존 매카시 • 캐롤 라일리 • 타샤 매코리 • 토머스 왓슨 • 프랭크 로젠블랫 • 헬렌 토너 유럽 기욤 램플 • 데미스 하사비스 • 데이비드 클렘 • 아서 멘쉬 • 안젤로 달리 • 알베르토 바르가라 • 앨런 튜링 • 유르겐 슈미트후버 • 티모시 라크로아 기타 다니엘 흄 • 프레드 알메이다 위키 : 자동차, 교통, 지역, 산업, 기업, 단체, 업무, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반