병렬 학습을 위해서는 다수의 연산장치에 분할된 모델 연산 간 통신이 필연적으로 발생하게 되며, 이는 학습 성능 저하의 주된 원인이다. 게다가 모델 규모가 급격히 커지면서 필요 연산장치의 개수 또한 빠른 속도로 증가함에 따라 다수의 서버를 연결한 클러스터 형태의 AI 하드웨어 플랫폼이 도입되고 있다. 따라서, 통신 부하를 최소화하면서 모델을 병렬로 학습 가능한 효율화 기술이 최근 주목받게 되었고, 그 중요성이 강조됨에 따라 하드웨어 및 소프트웨어 수준에서 관련 기술들이 빠르게 개발되고 있다. 이에 본 고에서는 거대 AI 모델 병렬 학습을 위한 고효율 컴퓨팅 기술 동향에 대해 살펴보고자 한다.

[원문보기]