본문 바로가기 주메뉴 바로가기 검색 바로가기
새로운 칩 클러스터, 대규모 AI 실행 실현한다
상태바
새로운 칩 클러스터, 대규모 AI 실행 실현한다
세레브라스는 자사의 기업이 현재 실행할 수 있는 기술보다 100배 더 나은 수준인 총 120조 개의 신경망이 연결된 신경망을 실행할 수 있다고 주장한다.
By WILL KNIGHT, WIRED US

오늘날 인공지능(AI)의 동력을 공급하는 신경망을 보면, 간혹 규모가 커질수록 지능 수준도 높아진다는 사실을 볼 수 있다. 예를 들어, 기계의 언어 이해 능력을 좌우하는 요소는 항상 가장 거대한 일부 AI 모델 구축과 다량의 텍스트 생성 능력이었다. 이제는 새로이 등장한 컴퓨터 칩 클러스터가 신경망을 거의 상상할 수 없는 수준으로 향상하는 데 도움을 줄 수 있다. 그와 동시에 신경망 규모 확대가 언어 이해능력을 넘어서 로봇, 컴퓨터 비전과 같은 여러 영역에서도 AI의 추가 발전의 열쇠가 될 것인지 입증할 수 있다.

이미 세계에서 가장 큰 컴퓨터 칩을 선보인 적이 있는 스타트업 세레브라스 시스템스(Cerebras Systems)가 현존하는 가장 거대한 칩 클러스터보다 100배 이상 더 큰 AI 모델을 실행하는 칩 클러스터 기술을 개발했다.

세레브라스는 현재 120조 개 매개변수를 갖추고, 생물학적 뉴런과 시냅스 간의 상호작용 수학적 시뮬레이션을 하는 신경망을 실행할 수 있다고 설명했다. 기존 최대 규모의 AI 모델은 약 1조 개의 매개변수를 보유했으며, 이를 구축하고 훈련하는 데 천문학적인 비용이 필요하다. 그러나 세레브라스는 기존 하드웨어보다 50배 더 빠른 속도로 연산 작업을 실행할 수 있다고 발표했다. 세레브라스의 칩 클러스터는 동력과 냉각 요구사항이 더해진 탓에 저렴하지는 않을 것이다. 그러나 세레브라스는 적어도 자사의 기술이 더 효율적이라고 주장한다.
 
[사진=Cerebras]
[사진=Cerebras]

2021년 8월 말 개최된 칩 콘퍼런스에 참석해 상세 정보를 발표한 세레브라스 창립자 겸 CEO인 앤드류 펠드만(Andrew Feldman)은 “세레브라스는 합성 변수로 칩 클러스터를 제작했다. 따라서 AI 모델을 실제로 훈련하지는 않았으나 충분히 훈련할 수 있다는 사실을 알고 있다. 세레브라스는 인프라 제작 기업이기 때문이다. 이번에 개발한 초거대 칩 클러스터와 같은 규모의 모델은 아직 없다”라고 설명했다.

오늘날 대다수 AI 프로그램은 GPU를 기반으로 훈련한다. GPU는 원래 컴퓨터 그래픽 생성 목적으로 설계됐으나 병렬 처리 작업을 하는 신경망에 필요한 사항에도 매우 적합하기 때문이다. 거대 AI 모델은 기본적으로 수십 개 혹은 수백 개의 GPU 전반에 걸쳐 분리되었으며, 고속 배선을 통해 연결됐다.

GPU는 여전히 AI에 활용하기 적합하지만, AI 모델의 규모가 갈수록 커지는 데다가 많은 기업이 이전보다 더 특수화된 설계 요소를 모색하면서 각자의 특화된 기술을 찾을 수 있을 것이다. 최근의 기술 발전과 상업적 관심이 AI에 특화된 새로운 칩 설계 방식이 갑자기 대거 등장하는 상황을 촉발했다. 세레브라스 칩은 AI 특화 칩 설계 방식 진화의 일부에 관심을 보인다. 일반 반도체 설계자가 웨이퍼를 조각으로 나누어 개별 칩으로 만들지만, 세레브라스는 전체적인 요소를 이용해 웨이퍼에 훨씬 더 뛰어난 연산 동력을 채워서 연산 단위인 코어 여러 개가 서로 더 효율적으로 작동하도록 한다. GPU는 일반적으로 수백 개의 코어를 보유하지만, 세레브라스의 칩인 웨이퍼 스케일 엔진 2(WSE-2)의 코어는 85만 개이다.

칩 설계는 대규모 신경망을 함께 연결된 GPU 묶음보다 더 효율적으로 실행할 수 있다. 다만, 칩 제조와 작동 과정이 어려우며, 실리콘 기능 에칭을 위한 새로운 기법과 결함을 다루는 중복성을 포함한 설계, 거대한 칩 냉각을 위한 새로운 물 시스템이 필요하다.

세레브라스는 기록적인 규모로 AI 모델을 실행할 수 있도록 WSE-2 칩 클러스터를 제작하기 위해 또 다른 공학적 문제를 해결해야 했다. 바로 칩을 오가는 데이터를 효율적으로 얻을 방법이다. 일반 칩은 자체 메모리가 탑재됐으나 세레브라스는 칩에 내장되지 않은 메모리 확장 박스인 메모리X(MemoryX)를 개발했다. 또한, 실리콘 칩만 오가는 연산 작업만 이동한 채로 신경망이 정보와 함께 데이터 일부를 메모리X에 저장할 수 있는 소프트웨어도 제작했다. 모든 것을 연결하는 하드웨어 및 소프트웨어 시스템 스웜X(SwarmX)도 구축했다.

린리 그룹(The Linley Group) 수석 애널리스트이자 마이크로프로세서 리포트 수석 에디터인 마이크 뎀러(Mike Demler)는 “세레브라스는 다른 기업이 오늘날 적용하는 범위를 넘어서 광범위한 차원으로 훈련 확장성을 개선했다”라고 설명했다.

뎀러는 셀레브라스의 WSE-2 홍보 방식이 아직은 확실하지 않다고 말했다. 잠재적 고객사 일부가 이미 칩 클러스터와 더 특수화된 칩 자체 생산에 나섰기 때문이다. 이어, 뎀러는 속도와 효율성, 비용 측면의 실제 칩 성능이 확실하지 않다는 점도 지적했다. 세레브라스는 지금까지 벤치마크 테스트 결과를 공개하지 않았다.

뎀러는 “메모리X 기술과 스웜X 기술의 공학에는 인상적인 부분이 많다. 그러나 WSE-2는 프로세서와 마찬가지로 고도로 특수화되었다. 가장 거대한 모델을 훈련할 때만 타당하다”라고 설명했다.

세레브라스의 칩은 지금까지 슈퍼컴퓨터 전력이 필요한 연구소에서만 채택했다. 세레브라스의 초기 고객사는 아르곤 국립 연구소(Argonne National Labs)와 로렌스 리버모어 국립 연구소(Lawrence Livermore National Lab), 제약회사인 글락소스미스클라인(GlaxoSmithKline), 아스트라제네카(AstraZeneca) 등이 있으며, 펠드만은 이들 초기 고객사를 집단 지능 조직이라고 설명한다.

세레브라스의 고객사 명단은 단순히 신경망을 연결하는 작업을 넘어서 여러 분야에 세레브라스 칩을 사용할 수 있다는 사실을 입증한다. 세레브라스 칩을 이용하는 여러 연구소의 연산 작업에는 비슷한 대규모 병렬 연산 작업이 포함된다. 뎀러는 “세레브라스의 여러 고객사는 항상 연산 전력을 절실히 원했다”라며, WSE-2가 슈퍼컴퓨터의 미래에 중요해질 수도 있다고 덧붙여 전했다.

리얼 월드 테크놀로지스의 애널리스트이자 다른 AI 알고리즘과 하드웨어의 성능 측정 기관인 ML커몬스(MLCommons) CEO인 데이비드 칸터(David Kanter)는 미래 시장에서는 지금보다 규모가 훨씬 더 큰 AI가 보편적일 것이라고 예측한다. 그는 “데이터 중심 머신러닝 기술을 확신하며, 앞으로 더 많은 변수를 지닌 채로 규모가 더 큰 모델을 구축할 수 있는 대규모 데이터세트 수요가 있을 것이다”라고 말했다.

펠드만은 세레브라스가 대규모 자연어 처리 AI 알고리즘을 개발하는 유망한 시장을 목표로 확대할 계획이라고 밝혔다. 이어, 최근에는 세레브라스가 대규모 언어 학습은 물론이고 로봇과 게임 실행 네트워크 사용을 이끈 샌프란시스코 AI 기업인 오픈AI(OpenAI)와 협의했다고 전했다.

오픈AI의 최신 알고리즘인 GPT-3는 놀라울 정도로 논리적인 방식으로 언어를 다루면서 주어진 주제를 기반으로 한 기사 작성 혹은 논리적인 콘텐츠 요약문을 생성하면서 컴퓨터 코드 작성 능력을 갖추었다. 다만, GPI-3는 정보를 잘못 이해하거나 거짓 정보를 생성하고 때때로 여성혐오 발언을 하는 경향을 보이기도 한다. GPT-3의 네트워크는 약 1,600억 개의 매개변수를 지녔다.

펠드만은 “오픈AI에 대해 말하자면, GPT-4는 약 100조 개의 매개변수를 지닐 것이다. 향후 몇 년 뒤에도 100조 개의 매개변수를 지닌 네트워크 생성 준비가 되지는 않을 것이다”라고 설명했다.

오픈AI는 API를 통해 모든 개발자와 스타트업을 대상으로 GPT-3 접근성을 제공했다. 그러나 GPT-3와 비슷한 언어 모델을 개발하는 여러 스타트업과의 경쟁이 갈수록 치열해지는 상황이다. 오픈AI의 공동창립자 중 한 명인 샘 알트만(Sam Altman)은 세레브라스의 투자자이다. 알트만은 “오픈AI가 현재의 하드웨어에서 훨씬 더 큰 진전을 거둘 수 있다고 확신한다. 그러나 세레브라스의 하드웨어의 능력이 지금보다 더 향상된다면 매우 좋을 것이다”라고 말했다.

GPT-3와 같은 크기의 모델을 개발하면, 놀라운 결과를 생성할 수 있다. 지금보다 규모가 100배 더 큰 GPT가 반드시 더 영리한 AI 모델 등장(오류 감소 혹은 일반 상식 이해 능력 향상 등)이라는 결과로 이어질지 묻자, 알트만은 확신하기는 어렵지만 낙관적으로 볼 수 있다고 답했다. 

세레브라스가 선보인 것과 같은 AI 모델의 발전은 적어도 몇 년 뒤에 이루어질 수 있다. 세레브라스는 조만간 많은 기업이 모든 종류의 AI 모델을 초거대 규모로 설계하는 하드웨어를 필요로 하는 날이 오기를 바란다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
A New Chip Cluster Will Make Massive AI Models Possible
이 기사를 공유합니다
RECOMMENDED