최근 몇 년간 인공지능(AI) 기술의 발전은 챗GPT의 출시 이후 거대 언어 모델(LLM) 개발 경쟁을 거치며 가속화되었다. 현재 공개된 AI 모델들의 성능은 특정 분야에서는 이미 인간의 능력을 뛰어넘었고, 이에 따라 활용 범위 또한 급격히 확장되었다. 특히 생성 AI를 기반으로 하는 범용 AI는 제조, 의료, 금융, 교육 등의 여러 산업 분야에서 활용되고 있다. 하지만, AI 기반의 서비스들이 다양한 이점을 제공하는 한편, 고성능 AI에 대한 접근성의 향상으로 인해 새로운 위험에 대한 우려 또한 증가했다. 이에 따라, 기존 AI 신뢰성, 책임성, 윤리 등의 논의와 더불어, ‘AI 안전’이 더욱 중요해졌다. 악의적인 사용, 오작동과 같은 위험들이 실제 피해까지 야기하고 있는 만큼, AI의 안전 확보를 위한 대응책 마련이 시급해진 상황이다. 앞으로 등장할 더 강력한 성능을 가진 프론티어 AI 모델은 의도치 않은 결과의 도출, 제어 불가, 사회적 악영향 등 여러 잠재적인 위험을 포함할 가능성이 높아, 규제와 지침 마련을 비롯하여 다양한 국제적 노력이 이루어지고 있다.

각 국의 정부, 기업 등 이해관계자들은 AI의 안전성을 확보하기 위해, 위험을 식별하여 평가 기준을 마련하고, 안전한 AI 개발 및 배포와 위험 대응책을 마련하기 위해 노력하고 있다. 최근 연구들에서는 사고 사례나 발생 가능한 시나리오에 따른 위험들을 분류하여 제시하고 있다. 하지만, 연구마다 다양한 위험 분류 체계를 제시하고 있어, 합의된 AI 안전 평가 체계를 마련하기에는 아직 더 많은 논의가 필요한 상황이다. 미국, 영국, 일본 등은 AI 시스템의 안전성 확보를 위해 AI 안전연구소를 통해 AI 안전 및 위험 연구, 위험성 평가, 안전한 AI 개발·구현을 위한 기준 마련 등의 기능을 수행 중이다. 대표적으로 AI 위험 관리 프레임워크(美), AI 안전에 관한 과학 보고서(英) 등을 통해 AI의 위험에 대한 대응 방안을 제시하고 있으며, 한국도 설립될 AI 안전연구소를 통해 AI 안전 수요에 대응할 예정이다. 본 보고서에서는 AI 안전과 관련된 개념을 정리하고, 최근 수행된 연구들이 제시하고 있는 AI 위험 유형 및 요인을 정리하여, 사례와 함께 분석함으로써 앞으로의 AI 위험 대응에 관한 정책적 시사점을 제공하고자 한다.

Ⅰ. 배경

Ⅱ. AI 안전과 위험 유형

Ⅲ. AI 위험별 사례 분석

3.1 악의적 사용 위험

3.2 오작동 위험

3.3 시스템적 위험

3.4 교차 위험 요인

3.5 소결

Ⅳ. 결론 및 시사점

참고문헌

[원문보기]