[KOSEN 동향] AI 발전 속도 측정

AI 발전 속도 측정

How Fast Is AI Progressing? Stanford’s New Report Card for Artificial Intelligence


'언제?'라는 질문은 미래주의자, AI 전문가, 심지어 기술에 큰 관심을 가진 사람들에게도 두려운 질문이다. AI 분야에서는 새로운 발전이 언제 일어날 것인지를 예측하는 것은 어렵기로 악명이 높다. 1956년 다트머스 서머 인공지능 연구 프로젝트(Dartmouth Summer Research Project on Artificial Intelligence)의 과학자들은 언어를 이해하고 스스로 향상하며 추상적인 개념을 이해하는 것까지 전반적인 복잡한 문제 모두에서 상당한 발전을 거두는데 두 달이면 충분할 것으로 생각하기도 했다. 60년이 지난 지금까지도 이 문제들은 해결되지 않고 있다. 스탠포드의 AI 인덱스는 인공지능의 발전을 측정하고자 하는 시도에서 나온 것이다.


AI 인덱스는 많은 부문에 걸쳐 데이터를 수집하는 시도와 함께 독특한 접근을 채택하고 있다. 여기에는 벤처 캐피털 투자, 학술회의 참여, 논문 발표 등과 같은 활동량(Volume of Activity) 메트릭이 포함된다. 결과는 예상대로 1996년 이후 학술 활동 부문에서 10배 증가, AI에 초점을 둔 스타트업의 폭발적인 증가, 관련 벤처 자금 투자로 나타나고 있다. 과장된(hype) 인공지능만큼이나 AI 발전을 측정하고 있다. 이 두 가지는 상관이 있을 수도 그렇지 않을 수도 있다.


또한, 전 세계적으로 유명한 코드 저장소 깃허브(Github)에서 데이터를 수집하여 AI 관련 소프트웨어 개발자 및 코드의 양을 추정하며 텐서플로(Tensorflow)와 케라스(Keras) 같은 인기 있는 머신러닝 패키지에 대한 관심도 반영하고 있다. 또한, AI를 다루는 뉴스 기사의 정서도 계속 추적하는데, 놀라운 사실은 파국과 고용 위기와 같은 우려에도 긍정적인 반응이 부정적인 반응을 3대 1로 추월하고 있다는 것이다.


우리가 AI를 과대평가하는 시대에 살고 있다는 것에 이의를 제기하는 사람은 없겠지만 AI의 발전은 과장 속의 성장과 거품 붕괴 속에서 AI 겨울을 넘긴 새싹처럼 성장한다. 따라서 AI 인덱스는 일련의 작업에 대한 알고리즘의 진보를 측정하려고 시도한다. 예를 들면, 컴퓨터 비전이 대규모 시각 인식 과제를 얼마나 잘 수행하는가와 같은 질문에 대해서 2015년 이후 이미지에 주석을 달 수 있는 수준의 인공지능이 등장했지만, 자연어 처리와 이미지 인식을 결합할 경우에는 여전히 답을 못하고 있다. 한편, 전화 통화에서 음성인식도 거의 이 수준에 도달해 있다.


다른 세부 분야에서 AI가 여전히 사람을 따라잡아야 하는 위치에 있다. 번역의 경우 일반적으로 사용하는 말에서 요점을 찾아내는 것은 충분히 수행할 수 있지만, BLEU 수치를 이용한 번역 정확도에서는 부족함을 보인다. AI 인덱스는 인공지능 SAT 시험에서 얼마나 좋은 성적을 내는가도 추적하고 있어 AI의 성적을 비교할 수도 있다.


좁은 범위의 최첨단 인공지능 시스템의 성능을 측정하는 것은 유용하고 상당히 쉽다. 간단한 계산을 하거나, 점수 시스템과 경쟁하는 방식, 표준화된 방식으로 새로운 소프트웨어와 낡은 소프트웨어를 비교하는 방식 등으로 측정을 정의할 수 있다. 학계에서는 항상 무엇이 가장 정확하게 번역이나 자연어 이해를 측정할 수 있는가 논의하고 있다. 간략화한 질문과 답변 튜링 테스트를 통해 수상자를 결정하는 뢰브너 상의 경우 최근 문맥을 이해하는데 의존하는 위노 그래드(Winograd Schema) 스키마 형태의 질문을 채택했다. AI는 이런 문제 해결에 더욱 어려움을 겪는다.


그러나 실제로 측정이 어려운 곳은 이 좁은 범위의 성능을 일반적인 지능에 매핑하려고 시도할 때 등장한다. 이것이 어려운 이유는 아직 우리가 우리의 지능을 제대로 이해하지 못하고 있기 때문이다. 컴퓨터는 체스에서 인간을 능가했으며, 이제 더욱 복잡한 게임은 바둑에서도 인간을 넘어서고 있다. 알파고가 인간을 능가하는 시점도 예상보다 빨리 왔지만, 일반적인 인공지능에 다가서 있다는 것을 의미하는 것은 아니다.


이제 특별한 알고리즘을 통해 과거에는 사람만 수행할 수 있었던 작업도 인공지능이 수행할 수 있게 되었다. 예를 들면, AI가 피부과 의사보다 더 정확하게 피부암을 예측할 수 있다는 네이처의 논문을 AI 인덱스가 인용하고 있다. 또한, 상대적으로 뒤처져 있는 얼마나 많은 뇌 영역을 컴퓨터를 이용해 성공적으로 시뮬레이션할 수 있는가와 같이 구체적인 적용을 추적하는 시도를 하고 있다. 혹은 AI를 이용해 수용할 수 있는 수준이 된 전문 직업이나 업무의 수를 계속 추적하는 간단한 방법을 적용할 수도 있다.


향후 몇 년 동안 인공지능의 진보는 쓰나미처럼 한 번에 일어나는 것이 아니라 더 많은 작업이 알고리즘으로 대체되고 소프트웨어로 성취되면서 점진적으로 증가하는 추세를 보일 것이다. 아마도 AI 시스템의 학습 능력이나 사무직에서 주기적으로 수행하는 업무의 적용과 같은 것을 측정하는 것도 가능해질 것이다.


관련연구자:

관련기관:

본문키워드(한글): 인공지능, 인지능력

본문키워드(영문): AI, cognition

국가: 미국

원문출판일: 2018-01-18

출처: https://singularityhub.com/2018/01/18/how-fast-is-ai-progressing-stanfords-new-report-card-for-artificial-intelligence/