생성형 AI로 안전한 AI 모델 개발, DATA ADVISOR의 혁신적 접근

생성형 AI(Generative AI)의 급속한 발전으로 대규모 언어 모델(LLM)의 안전성 확보가 AI 개발의 핵심 과제로 부상하고 있다. 이러한 배경에서 연구진은 LLM의 안전성을 높이기 위한 혁신적인 데이터 생성 방식인 DATA ADVISOR를 제안했다. DATA ADVISOR는 사전에 정의된 원칙에 따라 데이터를 생성하고, 생성된 데이터의 상태를 실시간으로 모니터링하며, 현재 데이터셋의 약점을 정확히 파악해 다음 데이터 생성 단계를 조언하는 방식으로 작동한다.

이 방식의 핵심은 데이터 생성 과정에 지속적인 피드백 루프를 도입한 것이다. DATA ADVISOR는 각 단계에서 생성된 데이터를 분석하고, 이를 바탕으로 다음 단계의 데이터 생성 방향을 결정한다. 이를 통해 데이터셋의 다양성과 품질을 동시에 향상시킬 수 있다. 특히 안전성 관련 데이터 생성에 있어, DATA ADVISOR는 다양한 안전 이슈를 포괄하면서도 각 이슈에 대한 균형 잡힌 데이터를 생성할 수 있도록 설계되었다.

연구진은 DATA ADVISOR의 효과를 검증하기 위해 Mistral, Llama2, Falcon 등 대표적인 LLM 3종에 대해 광범위한 실험을 진행했다. 실험은 DATA ADVISOR로 생성한 데이터로 학습한 모델과 기존의 Self-Instruct 방식으로 생성한 데이터로 학습한 모델의 성능을 비교하는 방식으로 이루어졌다.

실험 결과, DATA ADVISOR로 학습한 모델들이 안전성과 유용성 모두에서 우수한 성능을 보였다. 특히 CatQA와 BeaverTails 등 유해 질문 데이터셋에서 DATA ADVISOR 모델들의 안전 점수가 평균적으로 더 높았다. CatQA에서는 10.1점, BeaverTails에서는 4.6점의 성능 향상이 있었다. 이는 DATA ADVISOR가 다양한 유형의 유해 콘텐츠에 대해 더 효과적으로 대응할 수 있는 모델을 생성했음을 의미한다.

또한 주목할 만한 점은 안전성 향상이 모델의 전반적인 성능 저하로 이어지지 않았다는 것이다. 다중 작업 언어 이해력 벤치마크인 MMLU에서 DATA ADVISOR로 학습한 모델들이 유용성 점수에서도 1.6점 더 높은 성과를 보였다. 이는 DATA ADVISOR가 안전성과 유용성 사이의 균형을 효과적으로 달성했음을 시사한다.

DATA ADVISOR의 성능을 더 자세히 분석한 결과, 모든 유해 카테고리에서 기존 방식보다 낮은 유해율을 달성한 것으로 나타났다. 특히 경제적 위해, 성인 콘텐츠, 아동 학대, 불법 활동 등의 카테고리에서 20% 이상의 성능 격차를 보였다. 이는 DATA ADVISOR가 다양한 유형의 안전 이슈에 대해 균형 잡힌 학습 데이터를 생성할 수 있음을 입증한다.

데이터 다양성 측면에서도 DATA ADVISOR는 뛰어난 성과를 보였다. 기존 방식 대비 고유 n-gram 비율이 최대 50% 높아, 생성된 데이터의 어휘 및 표현 다양성이 크게 개선되었다. 이는 DATA ADVISOR가 단순히 기존 데이터를 복제하는 것이 아니라, 새로운 표현과 시나리오를 지속적으로 생성할 수 있음을 의미한다.

더불어 DATA ADVISOR는 데이터셋의 약점을 파악하고 새로운 안전 이슈를 지속적으로 제안하는 능력을 보여주었다. 이는 시간이 지남에 따라 변화하는 온라인 환경과 새롭게 등장하는 위협에 대응할 수 있는 LLM 개발에 중요한 특성이다.

연구진은 DATA ADVISOR로 생성한 안전 정렬 데이터와 기존의 지시 튜닝 데이터를 혼합해 사용하는 방식에 대해서도 실험을 진행했다. 그 결과, 이러한 혼합 접근법이 LLM의 안전성과 유용성을 균형있게 향상시키는 데 효과적임을 확인했다.

특히 주목할 만한 점은, 안전 정렬 데이터만으로 학습했을 때 모델의 유용성이 크게 저하되는 현상이 관찰되었지만, 지시 튜닝 데이터와의 혼합을 통해 이러한 문제를 해결할 수 있었다는 것이다. 이는 DATA ADVISOR가 생성한 데이터가 모델의 전반적인 성능을 해치지 않으면서도 안전성을 크게 개선할 수 있는 가능성을 제시한다는 점에서 큰 의미가 있다.

DATA ADVISOR는 LLM의 안전한 개발을 위한 혁신적인 접근 방식으로, 향후 다양한 AI 개발 분야에 적용될 수 있을 것으로 기대된다. 예를 들어, 지시 튜닝 데이터에서의 백도어 완화, 선호도 최적화 과정에서의 데이터 편향 방지, 작업 적응을 위한 제약 조건 통합 등 다양한 시나리오에 활용될 수 있는 잠재력을 가지고 있다.

다만 이번 연구에는 몇 가지 한계점도 존재한다. 실험이 7B 규모의 모델과 10K 크기의 데이터셋으로 제한되었다는 점, DATA ADVISOR의 다양한 구성 요소에 대한 광범위한 실험이 이루어지지 않았다는 점 등이 그것이다. 연구진은 이러한 한계점을 인식하고, 향후 더 큰 규모의 모델과 데이터셋에 대한 실험, 다양한 설정에서의 성능 검증 등 후속 연구를 이어갈 계획이다.

결론적으로 DATA ADVISOR는 LLM의 안전성 향상을 위한 유망한 접근 방식으로 평가된다. 이 방식은 데이터 생성 과정에 지속적인 모니터링과 조정을 도입함으로써, 더욱 안전하고 신뢰할 수 있는 AI 모델 개발에 기여할 것으로 기대된다. 향후 연구를 통해 DATA ADVISOR의 적용 범위가 확대되고 성능이 더욱 개선된다면, AI 안전성 분야에 큰 혁신을 가져올 수 있을 것이다.

기사에 인용된 리포트 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 

관련 콘텐츠 더보기