By WILL KNIGHT, WIRED US

인공지능(AI) 스타트업 오픈AI(OpenAI)가 출시한 챗봇인 챗GPT(ChatGPT)가 선보인 뛰어난 역량은 AI를 둘러싼 새로운 관심과 투자 급증 추세를 촉발했다. 그러나 2023년 4월, 오픈AI CEO가 챗GPT의 탄생 기반이 된 연구 전략이 끝났다고 경고했다. 미래 AI 발전 실현 방향은 정확하지 않다.

오픈AI는 지난 몇 년간 기존 머신러닝 알고리즘을 확보하고, 과거에는 상상할 수 없었던 규모로 확장하면서 언어를 다루는 AI의 놀라운 발전을 연속으로 선보였다. 오픈AI가 가장 최근 공개한 대규모 언어 모델인 GPT-4는 수억 가지 텍스트에 포함된 단어와 강력한 성능을 갖춘 컴퓨터 칩 수천 개를 이용하여 훈련된 것으로 추정된다. GPT-4 알고리즘 훈련 비용은 1억 달러 이상으로 추산된다.

그러나 오픈AI CEO 샘 알트만(Sam Altman)은 모델 규모 확장으로는 AI가 더 발전할 수 없을 것이라고 주장했다. 그는 4월 14일(현지 시각), MIT에서 개최된 행사 무대에서 청중을 향해 “초거대 모델의 시대가 끝났다고 생각한다. 앞으로는 다른 방식으로 AI 모델을 개선할 수 있을 것이다”라고 말했다.

알트만의 발언은 신규 AI 알고리즘 개발 및 구축 경쟁의 예상치 못한 왜곡을 제시한다. 2022년 11월, 오픈AI가 챗GPT를 출시한 뒤 마이크로소프트는 챗GPT의 기본 기술을 사용해 검색 엔진 빙에 챗봇을 추가했다. 구글은 챗GPT를 견제할 챗봇 바드(Bard)를 출시했다. 전 세계 수많은 사용자가 서둘러 AI를 기반으로 개발된 새로운 형태의 챗봇을 시험 삼아 사용하면서 개인 작업을 처리하는 과정에서 AI의 도움을 받았다.
 
반면, 앤트로픽(Anthropic), AI21, 코히어(Cohere), 캐릭터AI(Character.AI) 등 넉넉한 재정을 확보한 여러 스타트업이 이전보다 규모가 더 큰 알고리즘 구축을 위해 막대한 자본을 투입해, 오픈AI의 기술을 따라잡으려 했다. 챗GPT 초기 버전은 GPT-3보다는 약간 개선된 알고리즘을 바탕으로 출시됐다. 그러나 현재 사용자는 그보다 더 뛰어난 성능을 지닌 GPT-4를 기반으로 하는 챗GPT 버전도 사용할 수 있다.

또, 알트만의 주장은 GPT-4가 오픈AI의 AI 모델 규모 확장 및 데이터 주입량 증가 전략으로 급부상한 마지막 주요 발전 성과가 될 수도 있음을 시사한다. 알트만은 오픈AI가 택할 연구 전략이나 기법을 밝히지 않았다. 오픈AI는 GPT-4 설명 문서를 통해 모델 규모 확장 수익이 줄어들 것으로 추산한다고 밝혔다. 알트만은 오픈AI가 구축할 데이터 센터 수와 데이터 센터 구축 속도 등 물리적 제약도 언급했다.

과거, 구글에 재작하면서 AI 개발 작업을 담당한 적이 있는 코히어 공동 창립자 닉 프로스트(Nick Frosst)는 AI 모델 규모 확장을 통한 AI 발전 전략에 한계가 있을 것이라는 알트만의 관점이 사실이 아닐 것으로 본다. 프로스트도 GPT-4와 그에 대적할 만한 다수 대규모 언어 모델의 중심이 된 머신러닝 모델 유형과 같은 혁신적인 AI 기술 발전이 AI 규모 확장 이외의 요소에 있다고 확신한다. 프로스트는 “AI가 훨씬 더 발전하여 유용해지도록 할 방식은 많다. 그러나 AI 발전 방법 상당수는 모델에 여러 변수를 추가하는 것에 국한되지 않았다”라고 말했다. 이어, 그는 새로운 AI 설계, 즉 아키텍츠와 인간의 피드백 기반 추가 변경이 다수 연구원이 이미 탐색하고 있는 유망한 AI 발전 방향이라고 덧붙여 전했다.

오픈AI의 모든 대규모 언어 모델 버전은 뉴런이 함께 제 기능을 하는 방식에서 약간의 영감을 받은 소프트웨어인 인공 신경망으로 구성되었다. 인공 신경망은 주어진 문장 배열에 따라 적용할 다음 단어를 예측하도록 훈련받았다.

2019년, 오픈AI의 첫 번째 대규모 언어 모델인 GPT-2가 공개됐다. GPT-2의 규모를 최대화한 형태는 초기 수준의 인공 뉴런 간 연결 상태 변경이 가능한 경우의 수에 해당하는 15억 가지 변수를 반영했다.

당시 GPT-2는 기존 시스템과 비교했을 때 규모가 매우 큰 편이었다. 오픈AI 연구원이 규모 확장으로 모델의 일관성을 향상할 수 있다는 사실을 발견한 덕분이다. 2020년, GPT-2의 뒤를 이어 언어 모델인 GPT-3가 공개되었다. GPT-3는 무려 1,750억 가지 변수를 반영하였다. GPT-3 시스템의 시, 이메일 등 다양한 형태의 텍스트 생성이라는 광범위한 능력은 다수 기업과 연구 기관에도 자체 개발한 AI 모델도 GPT-3와 비슷한 수준으로 개선하면서 규모를 확장할 수 있다고 설득하는 데 도움이 되었다.

2022년 11월, 챗GPT 출시 후 밈을 제작하는 다수 누리꾼과 테크 분야 전문가는 GPT-4가 등장한다면, 조 단위의 변수를 반영한 규모와 복잡성을 갖춘 모델이 될 것으로 내다보았다. 그러나 오픈AI는 GPT-4를 공개했을 당시 GPT-4의 규모를 밝히지 않았다. 더는 AI 모델의 규모가 중요하지 않다는 점을 그 이유로 추측할 수 있다. 알트만은 MIT에서 GPT-4 훈련 비용이 1억 달러가 넘는지 질문을 받았다. 알트만은 “1억 달러 이상이다”라고 답변했다.

오픈AI가 GPT-4의 규모와 내부 작업을 비공개 상태로 유지하지만, 오픈AI가 개발한 일부 지능이 단순한 규모 확장 과정 이상으로 발전했을 확률이 높다. 인간의 피드백과 함께 강화학습 기법을 채택해, 챗GPT의 성능을 강화했을 가능성을 제시할 수 있다. 강화학습을 채택했다면 AI 모델이 제시한 답변의 질을 인간이 판단하며, 질적으로 훌륭하다고 판단할 확률이 높은 답변을 제공하는 것을 목표로 삼는 과정을 포함했을 것이다.

GPT-4의 뛰어난 역량에 일부 전문가가 충격을 받았으며, AI가 경제의 획기적인 변화를 가져오는 동시에 거짓 정보 유포와 일자리 제거 문제가 함께 발생할 가능성이라는 논쟁이 촉발하는 계기가 되었다. 일부 AI 전문가와 일론 머스크를 포함한 테크 업계 기업가, 과학자 집단은 GPT-4보다 강력한 성능을 지닌 모든 AI 개발을 6개월 동안 잠정 중단할 것을 촉구하는 공개서한을 작성했다.

알트만은 MIT 행사 현장에서 현재 오픈AI는 GPT-5를 개발하지 않는다는 사실을 확인시켜 주었다. 그는 “초기 서한은 오픈AI가 현재 GPT-5를 개발 중이라고 주장했다. 아니다. 오픈AI는 현재 GPT-5 개발 작업을 진행하지 않는다. 또, 이후에도 개발할 계획이 없다”라고 밝혔다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
OpenAI’s CEO Says the Age of Giant AI Models Is Already Over