유르겐 슈미트후버

유르겐 슈미트후버(Jürgen Schmidhuber)

유르겐 슈미트후버(Juergen Schmidhuber, 1963년 1월 17일 ~ )는 스위스의 달레몰 인공지능 연구소(IDSIA)의 소장이다. 독일 뮌헨 출신의 학자로서, 오랫동안 실용적 사용에 어려움이 있던 순환인공신경망(RNN)의 난제를 제자인 셉 호크레이터(Sepp Hochreiter)와 해결했다. '딥러닝의 아버지'라는 별명이 있다.

15살 때부터 슈미트후버의 목표는 자신보다 더 지혜롭고 자아개선을 하는 AI를 구축한 후 은퇴하는 것이었다. 그의 연구실에서 나온 장단기 메모리 LSTM(뉴럴 네트워크)는 기계학습에 혁명을 가져왔다. 장단기 메모리는 오늘날의 30억개의 스마트폰에 탑재되어 다양한 어플리케이션을 통해 하루에 수십억번 이용되고 있다. 또 그는 교사 없는 학습, 인공호기심(artificial curiosity), 그리고 메타러닝 머신의 선구자이기도 하다. 수많은 상을 수상했으며, 최초의 실용적인 범용 인공지능 구축을 목적으로 한 네이선스(NNAISENSE) 사의 주임 과학자이기도 하다. 인공지능 전략에 대해 다양한 정부에 대한 조언도 하고 있다.

생애

고교 졸업 후 슈미트후버는 컴퓨터 과학과 수학을 공부했고 1981년부터 15개월 동안 당시 서독군에 입대했다.

대학에서는 컴퓨터 과학으로 박사 학위를 취득하고 인공지능이나 뉴럴 네트워크(neural network)에 관한 논문을 발표했다. 뉴럴 네트워크란, 하드와 소프트의 편성에 의해 뇌내의 뉴런끼리의 연결 구조를 모방한 것이다.

슈미트 후버가 루가노에서 생활하게 된 지 23년이 지났을 때 계기를 만든 것은 이탈리아인 술 수입업자 안젤로 달레몰레다. 치날이라는 아티초크를 원료로 한 식전주를 개발해 부자가 된 달레몰레는 지적인 기계를 노동력으로 사용하는 유토피아 건설을 꿈꾸고 있었다. 그의 거액 기부를 바탕으로 1988년에 루가노에 달레몰 인공지능 연구소가 설립되었다. 슈미트후버는 설립 후 이른 시기부터 인공지능 연구소에서 일했다. 인공지능 연구소는 현지의 대학과의 제휴나 정부로부터의 보조금으로 루가노를 인공진으 연구의 중심지로 다시 태어나게 했다.

슈미트후버는 루가노 중심부에 있는 스위스 이탈리아 대학에서 강의하고 있으며, 외진 교외에 있는 IDSIA의 연구시설에서도 일하고 있다.

2014년에는 4명의 전 제자들과 함께 네이선스를 설립했다.제조, 의료, 금융 분야의 상업적 파트너십과 순수 연구 연계를 위해 장소는 대학 근처로 잡았다.

주요 활동

슈미트후퍼는 그의 학생들인 셉 호크레이터, 펠릭스 거스(Felix Gers), 프레드 커민스(Fred Cummins), 알렉스 그레이브스(Alex Graves) 등과 함께 순환 신경망 유형의 더 정교한 버전인 장단기 메모리 (LSTM)를 발표했다. 첫 번째 결과는 호크라이터의 졸업장 논문(1991)에서 보고되었는데, 기울기 소실 문제(vanishing gradient problem)를 해결하여 분석했다. 장단기 메모리라는 이름은 기술 보고서(1995)에서 가장 많이 인용된 장단기 메모리 출판물(1997)에 소개되었다.

거의 모든 현재 애플리케이션에서 사용되는 표준 장단기 메모리 구조는 2000년에 도입되었다. 시간 경과에 따른 백프로파그(BBTT)를 이용한 오늘날의 "바닐라 장단기 메모리"는 2005년에 출판되었고, 2006년에 연결주의 시간 분류(CTC) 훈련 알고리즘이 발표되었다. 연결주의 시간 분류는 장단기 메모리로 엔드 투 엔드(end-to-end) 음성 인식을 가능하게 했다. 2015년 연결주의 시간 분류가 교육한 장단기 메모리는 구글의 스마트폰용 소프트웨어 음성인식의 새로운 구현에 활용됐다. 구글은 스마트 어시스턴트 알로와 구글 번역에도 장단기 메모리를 사용하였다. 애플은 아이폰의 "퀵타입" 기능과 시리(Siri)에 장단기 메모리를 사용했다. 아마존은 장단기 메모리를 아마존 알렉사에 사용하였다. 페이스북은 2017년 장단기 메모리 네트워크를 이용해 매일 45억 개의 자동번역을 수행했다.

2011년, 달레몰 인공지능 연구소의 슈미트후퍼 팀은 그의 포스트닥인 댄 크리슨(Dan Ciresan)과 함께 그래픽 처리 장치(GPU)라고 불리는 고속 병렬 컴퓨터 상에서 콘볼루션 신경 네트워크(CNNs)의 극적인 속도 향상을 이루기도 했다. 셸라피야(Chellapilla)등 그래픽 처리 장치에 대한 이전 콘볼루션 신경 네트워크(2006년)는 중앙 처리 장치(cpu)에 대한 동등한 구현보다 4배 더 빨랐다. 2011년 5월 15일부터 2012년 9월 10일까지, 그들의 빠르고 깊은 콘볼루션 신경 네트워크는 네 개의 이미지 대회에서 우승했다. 또한 다중 이미지 데이터베이스에 대한 문헌에서 최상의 성능을 현저하게 향상시켰다. 그 접근법은 컴퓨터 비전 분야의 중심이 되었다. 이전의 얀(Yann LeCun) 외 연구진(1989)이 백프로파게이지 알고리즘을 쿠니히코 후쿠시마의 원래 콘볼루션 신경 네트워크 구조인 네오코이그니트론 (neocognitron) 변종에 적용했다가 나중에 J. Weng의 방법인 맥스 풀링(max-pooling)에 의해 변형된 콘볼루션 신경 네트워크 디자인을 바탕으로 하고 있다.

슈미트후버는 2014년 나이스엔스라는 회사를 설립해 금융, 중공업, 자율주행차 등 분야에서 인공지능의 상업적 응용에 힘썼다. 2016년 매출액은 1,100만 달러 미만이었지만, 슈미트후버는 현재 강조점은 수익이 아니라 연구에 있다고 말한다. 나인센스는 2017년 1월 1차 자금조달 방식을 도입했다. 슈미두버의 전반적인 목표는 다양한 좁은 과제에 대해 하나의 인공지능을 순차적으로 훈련시켜 다목적 인공지능을 만드는 것이다.

LSTM

장단기 메모리 (Long short-term memory)

장단기 메모리는 딥러닝 분야에서 사용되는 순환 인공 신경망구조이다. 표준 피드포워드 신경망과 달리 장단기 메모리는 피드백 연결이 있다. 단일 데이터 지점(이미지 등)뿐만 아니라 전체 데이터 시퀀스(예: 음성 또는 비디오)를 처리할 수 있다. 예를 들어 장단기 메모리는 분할되지 않은 연결된 필기 인식, 음성 인식 및 네트워크 트래픽이나 IDS(내부 감지 시스템)에서의 이상 감지와 같은 작업에 적용할 수 있다. 공통 장단기 메모리 장치는 셀, 입력 게이트, 출력 게이트 및 기억 게이트로 구성된다. 셀은 임의의 시간 간격에 걸쳐 값을 기억하며, 세 개의 게이트는 셀로 들어오고 나가는 정보의 흐름을 조절한다.

장단기 메모리 네트워크는 시계열 데이터(time series data)의 분류, 처리 및 예측에 적합하다. 시계열에서 중요한 사건 사이에 알 수 없는 지속시간의 시차가 있을 수 있기 때문이다. 장단기 메모리는 기존의 순환 인공 신경망을 훈련할 때 발생할 수 있는 소실 구배 문제(vanishing gradient problem)를 해결하기 위해 개발되었다. 순환 인공 신경망과 숨겨진 마르코프 모델 및 기타 시퀀스 학습 방법들에 비해 갭 길이에 대한 상대적 불감증은 장단기 메모리의 장점이다.

다음으로 슈미트후버는 장단기 메모리에 대해 좀 더 구체적인 표현을 사용해 설명했다.

뉴럴 네트워크(neural network)는 무수한 계산만을 처리하지만, 장단기 메모리는 흥미로운 발견이나 상관관계를 찾도록 프로그래밍 되어 있다. 또, 장단기 메모리는 데이터 분석에 시간적인 문맥을 주어 이전에 나왔던 것을 생각나게 하는 것과 동시에, 그것이 얼마나 뉴럴 네트워크의 새로운 발견에 들어맞을까에 대한 결론을 도출한다.

이런 기술적 진보로 AI는 다양한 시스템에서 결론을 구축할 수 있게 됐다. 예를 들면 대량의 텍스트에 근거해, 말의 뉘앙스에 대해 자력으로 배울 수 있게 된 것이다. 슈미트후버는 이런 종류의 AI 훈련을 인간의 뇌가 중대한 순간을 골라 장기 기억에 남기고 흔한 사건은 사라짐에 맡기는 것에 비유한다. 중요한 것은 기억하고 중요하지 않은 것은 무시할 수 있게 됐다고 그는 말한다.

장단기 메모리는 오늘날 세계에 여러 가지 정말 중요한 일을 잘 처리할 수 있다. 그중에서도 잘 알려진 것은 음성인식과 번역인데 화상 캡션 생성도 가능하다. 영상을 보고 그것을 설명하는 말을 써내는 것이다. 이 같은 힘 덕분에 LSTM은 질병 예측부터 작곡까지 다양하게 응용되어 AI 분야에서 가장 큰 상업적 성과를 거둘 수 있었다.

역사

1997: 장단기 메모리은 셉 호크레이터와 유르겐 슈미트후버에 의해 제안되었다. CEC(Continuous Error Carrozel) 유닛을 도입해 장단기 메모리는 vanishing gradient proble를 해결했다. 장단기 메모리 블록의 초기 버전은 셀, 입력 및 출력 게이트를 포함했다.

1999: Felix Gers와 그의 고문 유르겐 슈미트후버와 Fred Cummins는 장단기 메모리구조에 망각 게이트("keep gate"라고도 함)를 도입하여 장단기 메모리이 자신의 상태를 재설정할 수 있게 했다.

2000: Gers & 슈미트후버 & Cummins는 구조에 핍홀 연결(세포에서 게이트로의 연결)을 추가했다. 또한 출력 활성화 기능이 생략되었다.

2009: LSTM 기반 모델이 ICDAR 필기 인식 대회에서 우승했다. 그 3가지 모델은 알렉스 그레이브스 팀의 것이었으며, 하나는 대회에서 가장 정확한 모델이었고 다른 하나는 가장 빠른 모델이었다.

2013: LSTM 네트워크는 고전적인 TIMIT 자연 음성 데이터 집합에서 17.7%의 음소 오류율을 달성한 네트워크의 주요 구성요소였다.

2014: 조경현 등은 GRU(Gateed recurrent unit)라는 단순 변종을 내세웠다.

2015: 구글은 구글 보이스의 음성 인식을 위해 장단기 메모리를 사용하기 시작했다. 공식 블로그 게시물에 따르면, 새 모델의 오류를 49% 줄였다고한다.

2016: 구글은 알로 대화 앱에서 메시지를 위해 장단기 메모리를 사용하기 시작했다. 같은 해 구글은 장단기 메모리를 활용해 번역 오류를 60% 줄인 구글 번역용 구글 뉴럴 머신 번역 시스템을 출시했다. 애플은 월드와이드 개발자 컨퍼런스에서 아이폰의 퀵타입과 시리(Siri)를 위한 장단기 메모리사용을 시작한다고 발표했다. 아마존은 문자 음성 기술에 양방향 장단기 메모리를 이용해 알렉사의 목소리를 내는 폴리(Polly)를 출시했다.

2017: 페이스북은 장단기 메모리를 이용하여 매일 45억 개의 자동 번역 작업을 수행했다. 미시간 주립대, IBM 리서치, 코넬대 연구진이 KDD(Knowledge Discovery and Data Mining) 컨퍼런스에서 널리 사용되는 장단기 메모리의 특정 데이터 집합에서 더 나은 성능을 보이는 새로운 신경 네트워크를 연구 결과를 발표했다.

2019: 워털루 대학의 연구원들은 연속적인 시간의 창을 나타내는 순환 인공 신경망구조와 관련된 제안을 했다. 그것은 Legendre 다항식을 사용하였고 일부 메모리 관련 벤치마크에서 장단기 메모리을 능가한다. LSTM 모델은 대형 텍스트 압축 벤치마크에서 3위로 올라섰다.

참고자료

• PRTIMES JAPAN, 〈SXSW 2019出展について〉, 《PRTIMES 홈페이지》, 2019-02-22
• 〈Long short-term memory〉, 《위키백과 LSTM》
• 〈Jürgen Schmidhuber〉, 《위키백과 Jürgen Schmidhuber 》
• 〈「AIの生みの親」シュミットフーバー、業界が煙たがる男の物語 (前編)〉, 《newspicks》, 2018-06-16

같이 보기

• 인공신경망
• 셉 호크레이터

이 유르겐 슈미트후버 문서는 인공지능 인물에 관한 토막글입니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 이 문서의 내용을 채워주세요.

인공지능 : 인공지능 기술, 인공지능 활용, 인공지능 개발업체, 인공지능 인물 □■⊕ 한국 곽인범 • 김대훈 • 김동환 • 배영우 • 서대호 • 신민영 • 신형섭 • 안익진 • 오준호 • 유태준 • 이경일 • 이정호 • 임재원 • 최진 • 하정우 중국 앤드류 응 • 천즈치 일본 쿠니히코 후쿠시마 동남아 마크 슈뮬레비치 미국 그레그 브로크만 • 라지쿠마 티루말라이남비 • 래리 서머스 • 마빈 민스키 • 마크 레이버트 • 미라 무라티 • 보이치에흐 자렘바 • 브렛 테일러 • 사친 나로드 • 샘 알트만 • 아담 디안젤로 • 에두아르도 에라조 • 에멧 시어 • 월터 피츠 • 일론 머스크 • 일리야 수츠케버 • 저스틴 해리스 • 제프 딘 • 제프리 힌튼 • 존 매카시 • 캐롤 라일리 • 타샤 매코리 • 토머스 왓슨 • 프랭크 로젠블랫 • 헬렌 토너 유럽 기욤 램플 • 데미스 하사비스 • 데이비드 클렘 • 아서 멘쉬 • 안젤로 달리 • 알베르토 바르가라 • 앨런 튜링 • 유르겐 슈미트후버 • 티모시 라크로아 기타 다니엘 흄 • 프레드 알메이다 위키 : 자동차, 교통, 지역, 산업, 기업, 단체, 업무, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반