해시넷
뉴머라이
뉴머라이(Numerai)는 과적합(overfitting)을 방지하고 기계 지능 간의 협동을 이끌어내는 암호화폐이다.[1] 쉽게 말하자면 인공지능을 사용하는 헤지펀드이다. 단위는 NMR이다. 뉴머라이 회사는 헤지펀드와 암호화폐 기반 예측 시장을 운영하는 스타트업이다. 이 기업의 공동창업자는 리처드 크레이브와 프레드 에르샘이다. 이들은 지난 2017년 에어드랍을 통해서 자체 암호화폐인 뉴머라이토큰을 발행했다.[2] 이들은 2017년 6월부터 전문가들을 대상으로 주가를 예측하고, 그것이 맞으면 돈을 지급하고 틀리면 돈을 잃는 예측시장 프로토콜 이레이저(Erasure)를 운영했다. 뉴머라이를 창업한 리처드 크레이브는 데이터 과학자들에게 뉴머라이토큰을 지급해 프로토콜을 지금까지 운영했다고 설명했다.[3] 뉴머라이와 유사한 블록체인 기반의 예측 플랫폼으로 어거(Augur)와 엔도르(Endor)가 있다.
개요
기계 학습(Machine Learning) 간의 경쟁(competition)은 의도적인 과적합(overpfitting)에 취약하다. 이런 상황에서 뉴머라이는 과적합을 경제적으로 불합리하게 만드는 새로운 경매방식에 사용할 수 있는 새로운 암호화폐 뉴머라이 토큰을 제사한다. 이 새로운 경매방식은 데이터 과학자들이 새로운 데이터에 대한 자신의 예측모델 성능에 대한 자신감 정도를 표현할 수 있게 하여 최적의 입찰을 이끌어낸다. 이러한 경매에 따라 뉴머라이 토큰 또한 경제적 가치를 지니게 된다. 뉴머라이는 인공지능이 펀드를 운영하는 방식으로 이뤄지며, 인간이 모델(엔진)을 마들고 이에 기반하여 투자를 진행한다. 뉴머라이에서 사용하는 투자 모델은 21가지 수치 값을 통해 1과 0의 결과를 예측한다. 다양한 회사들에 대하여 21개의 투자 지표를 모으고, 그 지표를 분석하여 구매 여부를 결정한다. 여기서 구매하면 1을, 구매하지 않으면 0을 선택한다.[4]
등장배경
일반적으로 기계학습 알고리즘의 정확도를 측정하는 방식은 데이터를 훈련 데이터와 테스트 데이터로 나누는 것이다. 훈련 데이터를 바탕으로 훈련한 모델의 정확도는 해당 모델이 한 번도 본적 없는 테스트 데이터를 통해 측정한다. 하지만 데이터 과학자가 테스트 점수 형태로 테스트 데이터에 대한 피드백을 받아 이를 모델 선정하는 데 사용 한다면 테스트 데이터를 과적합한 모델이 나올 위험이 있다. 이는 새로운 데이터에 대한 모델의 성능을 저하시킨다.
이러한 과적합 문제를 "적응형 데이터 분석(Adaptive Data Analysis)"라고 한다. 적응형 데이터 분석으로 도출한 모델은 성능 저하부터 아예 쓸 수 없게 되눈 등 다양한 문제가 있다. 그러나 뉴머라이의 경우, 적응형 데이터 분석은 과거 데이터를 과적합 하여 실제로 예측할 때는 성능이 감소할 때 일어난다. 기계 학습 경쟁은 과거 데이터에 기반한 예측률에 따라 승자가 결정되므로 과거 데이터를 과적합할 유인이 있다. 그 결과 의도적으로 과적합을 하게 된다. 뉴머라이에게 꼭 필요한 것은 과거 데이터에만 잘 들어맞는 모델이 아니라 새로운 데이터에서 잘 작동하는 고성능 모델이다.
현재 이러한 제곧된 데이터(holdout)의 재사용(reuse)에 대한 최상(state of the art)의 해결책은 노출 되는 정보량을 제한하는 것이다. 이러한 해결책은 과학적 발견에는 충분할 수 있지만 기계학습 토너먼트에서 순위를 매기거나 사용자들에게 좋은 경험을 제공하는 데 있어서 상당한 걸림돌이 된다. 따라서 뉴머라이 측은 데이터 과학자들이 자신의 모델에 대한 자신감의 정도를 나타낼 수 있는 새로운 시스템을 제안했다. 데이터 과학자들은 새로운 암호화폐인 뉴머레어를 사용하여 자신들의 예측에 대해 배탱함으로 신규 토너먼트에 참여할 수 있다. 이러한 경매 방식은 새로운 데이터에 대핸 모델 성능에 대한 정확한 예측에 대해 보상한다. 데이터 과학자들은 뉴머라이를 통해 자신의 모델의 실제 성능에 대해서 어느 정도 자신감이 있는 지를 나타낼 수 이싿. 그 정도에 대해 표현하면 올바른 모형을 더욱 강조할 수 있어 헤지펀드 자체의 성능 또한 개선할 수 있다.
운영 방식
뉴머라이는 예측 시장을 확장하여 세계적으로 더 많은 헤지펀드를 끌어들이는 것이 목표이다. 샤용자는 뉴머라이 토큰을 걸고 결과를 예측한다. 이 예측이 맞은 자신이 건 토큰을 포함해 보상을 받고, 반대로 틀리면 베팅한 토큰을 모두 잃게 된다. 또한 이에 대해 뉴머라이 창립자인 크레이프는 "돈을 걸고 예측하는 모델이 아무 것도 걸지 않고 예측하는 모델보다 결과의 정확도나 성과가 대체로 더 낫다"면서 "돈이 걸리는 순간 사람들은 함부로 예측하지 않게 되기 때문이다"고 말했다. 누구나 예측시장에 참여하면서 데이터 과학자들은 자신들의 예측값을 헤치전드에 판매할 수 있다. 그뿐만이 아니라 지금까지 가격이 어떻게 변했는지 또 자신들이 얼마나 정확하게 예측해왔는지 보여주는 데이터를 파냄 상품의 홍보 수단으로 사용할 수 있다.
특징
뉴머라이는 이더리움 ERC-20을 기반으로 한 토큰이다. 이더리움 토큰은 이더리움 블록체인 상에서 실행하는 스마트 계약의 형태로 표현 된다. 누구나 뉴머라이 스마트 계약의 소스 코드를 확인할 수 있다. 새로 생산한 뉴머라이 토큰은 모두 뉴머라이 회사에게 전달된다. 뉴머라이의 이더리움 스마트 게약은 뉴머라이 토큰의 총량을 2,100만 개로 제한하고 있다. 뉴머라이는 기존 참가자의 과거 순위에 따라 백만 개의 뉴머라이 토큰을 기존 데이터 과학자들에게 분배할 것이다. 앞서 언급한 바와 같이 처음으로 분배한 이후, 토큰 갯수가 최대치에 달할 때까지 스마트 계약에 따라 매주 정해진 갯수의 뉴머라이 토큰을 생산할 것이다. 뉴머라이 기계학습 경쟁에서 뛰어난 성과를 보이는 데이터 과학자들이 지속적으로 뉴머라이 토큰을 얻을 수 있다.
예측에 자신 있다면 데이터 과학자는 뉴머라이 이더리움 스마트 계약으로 뉴머라이 토큰을 보낸다. 이 토큰을 받은 스마트 계약은 이 과학자가 보낸 뉴머라이 토큰을 t 시간 동안 동ㄱ결한다. 이 때 t는 새로운 데이터에 대한 모넬 성능을 평가하기 위해 필요한 시간이다. t 시간이 흐른 뒤, 뉴머라이는 새로운 데이터에 대한 모델의 성능 정보가 담긴 메세지를 네트워크에 보낸다. 걍매 방식에 따라 예측 성능이 좋은 데이터 과학자는 보상을 받는 동시에 베팅에 사용한 뉴머라이도 돌려 받지만, 그렇지 못한 과학자들은 베팅에 참가하기 위해 낸 뉴머라이 토큰을 잃게 된다. 이러한 비가역적인 뉴머라이 토큰의 소멸은 이더리움 블록체인에서 누구나 확인할 수 있다.
경매
대부분의 토너먼트는 상금의 정해진 총량이 없다. 뉴머라이는 데이터 고학자들에게 이 상금을 나누어준다. 또한 과학자들은 경매에 참여할 수 있다. 경매는 (ｃ,ｓ)의 형태를 갖는데 여기서 ｃ는 데이터 과학자가 1달러를 확득하기 위해 거는 뉴머라이 토큰의 양으로 자신이 한 예측에 대한 자신감(confidence)의 정도를 나타낸다. 또한 ｓ는 베팅하는 뉴머라이 토큰의 양(stake)를 나타낸다. 특정 시간동안 ｓ는 이더리움 계약에 동결되어 있으며, 뉴머라이 회사를 포함해 그 누구도 그 자산에 접근할 수 없다. 일정한 시간이 지난 후 "다중단위(multiunit) 더치경매"에 의해 보상(payout)이 정해진다.
경매방식
경매 방식은 다중단위 더치경매에 추가적인 규칙을 추가시켜 사용한다. 모델 성능은 특정 시간이 지난 후 평가 받는다. 성능을 평가하는 기준은 이원 분류 문제에 적합한 로그 손실(logloss) 을 사용한다. 로그 손실이 ―ln(0.5)보다 작으면 예측 성능이 좋은 것이며 ―ln(0.5)보다 높으면 예측 성능이 나쁜 것으로 평가한다. 데이터 과학자들은 자신감 ｃ가 높은 순으로 내림차순 정렬하여 순위를 매긴다. 이 순위에 따라 데이터 과학자의 예측 성능이 좋은 경우 ｓ/ｃ를 보상을 받으며 성능이 나쁘면 베팅했던 ｓ를 잃게 된다. 이 과정은 정해진 상금이 고갈될 때까지 계속해서 진행 된다.
경매 예시
총 상금이 3,000달러이며 시간 t가 지났다고 가정하고, 다음과 같은 베팅 결과가 나왔다고 생각해보자.
뉴머라이 경매 예시 자신감 ｃ 베팅량 ｓ ｓ/ｃ Logloss < - In(0.5) 데이터 과학자 5 100000 2000 NO WSX 4 2000 500 YES XIRAX 1.5 3000 2000 YES PHIL_CULLITON 1 5000 2000 NO DAENRIS 0.5 300 600 YES ABRIOSI
WSX는 Logloss < - In(0.5)를 달성하지 못했으므로 그가 걸었던 1만 뉴머라이는 소멸된다. 그러나 XIRAX는 500 달러의 보상과 함께 베팅하는 데 사용한 뉴머라이 토큰을 돌려 받는다. PHIL_CULLITON은 2천 달러를 받고 뉴머라이 토큰을 돌려 받는다. 또한 DAENRIS의 뉴머라이 토큰은 없어진다. ABRIOSI는 상금 고갈로 인해 베팅했던 600 달러보다 적은 500 달러를 돌려받게 된다. ABRIOSI 아래의 모든 참가자들은 자신의 뉴머라이 토큰을 돌려 받고 보상은 받지 않게 된다.
스테이킹 분석
모델이 새로운 데이터에 대해 Logloss < - In(0.5)의 조건을 달성할 확률이 ｐ라고 하자. ｐ가 낮다면 모델이 과적합할 확률이 크다는 뜻이다. 여기서 ｓ가 데이터 과학자가 베팅한 뉴머라이 토큰의 총량이라고 하자. 또한 ｅ는 뉴머라이 토큰과 달러의 교환 비율, ｃ는 자신감의 정도라고 하자. 데이터 과학자는 예상 이익이 0보다 크면 베팅을 클 경우 뉴머라이 토큰을 갖고 베팅을 할 것이다. 만약 데이터 과학자가 ｓ를 베팅한 후 Logloss ≥―In(0.5)가 되면 데이터 과학자는 ｓ/ｅ를 잃게 된다. 만약 데이터 과학자가 ｓ를 베팅한 후 Logloss < - In(0.5)가 되면 데이터 과학자는 ｓ/ｃ를 얻게 된다. 따라서 자신감 척도 ｃ를 바탕으로 ｓ 뉴머라이 토큰을 베팅한 경우 얻을 수 있는 예상 수익은 다음과 같다.
따라서 데이터 과학자는 아래와 같은 조건을 만족하는 경우 베팅 한다.
위 조건들은 다음과 같이 표현할 수 있다.
이는 데이터 과학자가 자신의 예측 정확도에 대한 스스로의 평가를 자발적으로 공개하는 것을 뜻한다. 보상을 극대화시키고자 하는 과정에서 데이터 과학자는 새로운 데이터에 대한 자신의 모델 성능에 대한 정보를 밝힌다. 토너먼트가 반복 될수록, 베팅을 과하게 하거나 너무 적게 하는 전략은 적절한 전략이 아니기 때문에 시간이 갈수록 데이터 과학자들의 벹이 전략은 결국 ｐ를 좀 더 정확하게 반영하는 방향으로 갈 것이라고 볼 수 있다.
자신의 예측에 대한 높은 확신(자신감)이 있을 수록 경매에 참여한 동기가 크므로 다음과 같은 사항을 관찰할 수 있다.
- ｐ가 높을수록 데이터 과학자는 높은 ｃ를 제출할 것이고 이에 따라 경매에서 더 많은 보상을 얻을 수 있다.
- 고정된 ｐ에 대해서, 지나치게 높은 자신감을 표현하면 E(ｃ,ｓ)<0가 되어 모델 성능에 비해 지나치게 높은 자신감 척도 ｃ를 제출하는 전략은 과거 데이터에선 높은 정확도를 보이지만 새로운 데이터에는 일반화 되지 않는 (낮은 ｐ) 경우에는 Logloss < - In(0.5) 혹은 E(ｃ,ｓ)<0이 된다.
- 뉴머라이 토큰은 데이터 과학자가 달러를 얻는 데 쓸 수 있으므로 환욜은 ｅ>0일 것이다.
- 뉴머라이 토큰은 ｐ를 가진 데이터 과학자에게 유리하넫 이는 높은 자신감이 있을 때 많은 보상을 받을 수 있기 때문이다.
- ｐ=1를 가진 데이터 과학자의 예상 가치는 E(ｃ,ｓ)=ｓ/ｃ이다. 이러한 데이터 과학자에게 뉴머라이 토큰의 가치는 뉴머라이가 지급하는 모든 미래 보상의 합이다.
경매의 목적은 베팅한 뉴머라이 토큰량을 최대한으로 늘리는 것이 아니라 좀 더 높은 정확도의 예측 사항을 얻는 것이다. 경매는 수익을 극대화 할 필요는 없지만 데이터 과학자로 하여금 스스로 자신의 모델에 대한 정보를 밝히게 하는 것이 중요하다. 차 최고가 입찰경매에서 약 우월한 전략은 솔직하게 베팅하는 것이지만 차 최고가 입찰경매는 참가자들 간의 모의에 취약하고, 최고가 입창결매는 이 부분이 덜 취약하기 때문에 단순함을 위해 오수벨(Ausubel) 경매 대신 더치경매방식을 사용한다.
각주
- ↑ 〈뉴머라이 백서 번역본〉, 2017-02-20
- ↑ Leigh Cuen, 〈암호화폐 기반 예측시장 ‘뉴머라이’ 토큰판매로 $1100만 유치〉, 《코인데스크코리아》, 2019-03-26
- ↑ Nikhilesh De, 〈뉴머라이, 암호화폐 기반 주가 예측시장 대중에 공개〉, 《코인데스크코리아》, 2018-10-09
- ↑ tmkor,〈AI 블록체인 햇지펀드 numerai 토너먼트 참가해보기!〉, 《스팀잇》
참고자료
- 〈뉴머라이 백서 번역본〉, 2017-02-20
- 〈뉴머라이 공식 홈페이지〉
- 〈뉴머라이 공식 유튜브 채널〉
같이 보기
