국방·재난 AI가 실패하는 이유, 데이터 훈련 방식의 근본적 문제점은?

The Achilles’ Heel of AI: Fundamentals of Risk-Aware Training Data
for High-Consequence Models

방어·재난대응 AI 모델, 기존 데이터 라벨링 방식으론 한계 드러나

전통적인 AI 훈련 데이터 접근법이 중요한 한계를 드러내고 있다. 국방, 정보, 재난 대응과 같은 고위험 환경에서 운용되는 AI 시스템들이 희귀하지만 중대한 영향을 미치는 사건들을 제대로 탐지하지 못하고 있기 때문이다.

현재 대부분의 AI 개발 프로그램에서는 데이터 양이 많을수록 성능이 향상된다는 가정 하에 대규모 데이터셋을 구축한다. 하지만 복잡하고 고위험 도메인에서는 이러한 접근법이 오히려 중복성과 노이즈를 증가시켜 시스템 성능을 저하시키는 것으로 나타났다. 특히 방어 분야에서 위장된 인프라나 이동 위협, 즉석 제작된 재료들을 탐지하는 데 어려움을 겪고 있으며, 산불 대응에서도 연기나 지형 이상으로 가려진 초기 화재를 놓치는 사례가 빈발하고 있다.

이러한 문제의 근본 원인은 훈련 데이터가 전략적 자산이 아닌 단순한 모델 구축의 전제조건으로 취급되고 있다는 점이다. 라벨링 결정이 위험 관리, 비용 통제, 임무 목표와 통합되지 못하고 단순히 볼륨이나 완성 지표에 의해 좌우되고 있어, 임무 성공이나 실패가 결정되는 한계 상황에서 취약한 모델을 양산하고 있다.

스마트사이징 기법으로 20-40% 데이터만으로도 동등한 성능 달성

이러한 문제를 해결하기 위해 새로운 ‘스마트사이징(smart-sizing)’ 방법론이 제시되었다. 스마트사이징은 정보적 가치, 라벨 다양성, 모델 기반 선택을 우선순위로 하는 전략적 훈련 데이터 큐레이션 접근법이다.

연구진이 수행한 실험 결과에 따르면, 전체 데이터셋의 20-40%만을 전략적으로 선별하여 훈련한 모델이 전체 데이터로 훈련한 모델과 동등하거나 더 우수한 성능을 보였다. 특히 희귀 클래스 재현율(rare class recall)과 엣지 케이스 일반화에서 더 뛰어난 결과를 나타냈다. 이는 앤드류 응(Andrew Ng)이 주장한 “신중하게 설계된 50개의 예시만으로도 신경망이 학습해야 할 내용을 충분히 설명할 수 있다”는 데이터 중심 AI 철학을 실증적으로 뒷받침하는 결과다.

마지오(Maggio) 등의 연구에서도 유사한 결과가 확인되었는데, 데이터의 30%만 사용해도 전체 데이터셋 정확도의 95% 이상을 달성할 수 있었으며, 일부 경우에는 5-16%의 데이터만으로도 유사한 결과를 얻으면서 훈련 시간을 100배 이상 단축시킬 수 있었다.

6단계 순환 워크플로우와 수식 기반 라벨링 결정으로 전략적 데이터 관리 실현

스마트사이징의 실제 구현을 위해 적응형 라벨 최적화(Adaptive Label Optimization, ALO) 프레임워크가 개발되었다. ALO는 사전 라벨링, 휴먼-인-더-루프 피드백, 불일치 분석, 한계 효용 기반 중단 규칙을 결합한 구현 체계다. ALO 워크플로우는 다음과 같은 6단계 순환 과정으로 구성된다.

첫 번째 단계인 ‘데이터 배치(Data Batch)’에서는 운영 관련성과 품질을 기준으로 후보 이미지들을 선별한다. 최근 수집된 자료, 시뮬레이션된 엣지 케이스, 모델 실패 검토 중 플래그된 보관 이미지 등이 포함된다.

두 번째 ‘사전 라벨링 모델(Pre-labeling Models)’ 단계에서는 현재 모델을 사용해 예측 라벨을 생성한다. 이 사전 라벨들은 인간 주석 작업을 가속화하고 신뢰도나 혼란의 지표 역할을 한다. 불확실한 예측이나 클래스 경계가 잘못 정렬된 샘플들은 검토 우선순위에 올라간다.

세 번째 ‘도메인 전문가(Subject Domain Experts)’ 단계에서는 모호하거나 새롭고 고위험으로 식별된 샘플들을 전문가들에게 전달한다. 전문가들은 라벨을 정제하고 복잡한 사례에 주석을 달며 클래스 정의 수정을 제안할 수 있다.

네 번째 ‘결과 비교(Result Comparison)’ 단계에서는 인간이 검토한 라벨과 사전 라벨 출력을 비교한다. 불일치율, 거짓 양성/음성 패턴, 클래스 간 혼동 등의 지표가 성능 진단과 스키마 개선에 활용된다.

다섯 번째 ‘재훈련 및 피드백 통합(Retraining and Feedback Integration)’ 단계에서는 업데이트된 주석으로 모델을 재훈련한다. 검증은 집계 지표뿐만 아니라 엣지 케이스 성능, 희귀 클래스 재현율, 시각적 저하 하에서의 견고성에 대해서도 수행된다.

마지막 여섯 번째 ‘데이터 다양성 분석(Data Diversity Insights)’ 단계에서는 새로운 라벨이 모델 이해를 확장했는지 재훈련 후 분석을 실시한다. 임베딩 분포 확산, 새로운 클러스터 형성, 고혼동 클래스의 개선된 분리 등의 지표를 통해 다음 라운드 주석 작업의 필요성을 판단한다.

체계적 라벨 오류가 모델 평가 왜곡시켜 25% 오류에도 높은 성능 착시

연구에서 특히 주목할 만한 발견은 체계적 라벨링 오류가 모델 평가에 미치는 영향이다. 실험 결과, 훈련 데이터와 검증 데이터에 동일한 라벨링 오류가 포함된 경우, 라벨의 25%가 잘못되었음에도 불구하고 모델이 높은 검증 성능을 보이는 것으로 나타났다. 이는 모델이 실제로는 결함이 있는 패턴을 학습하고 검증하면서도 겉보기에는 우수한 성능을 보이는 착시 현상을 만들어낸다.

이러한 문제는 노스컷(Northcutt) 등의 연구에서도 확인되었는데, 벤치마크 테스트 세트에서 평균 3% 이상의 라벨링 오류율을 발견했으며, 일부 데이터셋은 훨씬 높은 오류율을 보였다. 고용량 모델들이 노이즈가 있는 데이터로 훈련될 때 체계적인 라벨링 결함을 복제하면서 작은 모델보다 더 정확해 보이는 현상도 관찰되었다.

이는 검증 성능이 실제 모델 품질의 신뢰할 만한 지표가 아님을 의미하며, 개발 전반에 걸쳐 라벨 오류 위험을 추적하는 내부 감사 메커니즘의 필요성을 강조한다. 따라서 라벨링 과정에서 품질 보증이 내장되지 않으면, 모델은 결함이 있는 가정을 학습하고 검증하면서 자신감을 부풀려 실제 배포 시 예상치 못한 실패로 이어질 수 있다.

FAQ

Q: 스마트사이징이 기존 AI 훈련 방식과 다른 점은 무엇인가요?

A: 기존 방식이 데이터 양을 늘려 성능을 향상시키려 했다면, 스마트사이징은 데이터의 정보적 가치와 다양성에 초점을 맞춥니다. 전체 데이터의 20-40%만 전략적으로 선별해도 동등한 성능을 달성할 수 있어 비용과 시간을 크게 절약할 수 있습니다.

Q: 라벨링 오류가 25%나 되어도 모델이 좋은 성능을 보인다는 것은 무슨 의미인가요?

A: 이는 매우 위험한 상황입니다. 훈련 데이터와 검증 데이터에 같은 종류의 오류가 포함되면, 모델이 잘못된 패턴을 학습하면서도 검증에서는 높은 점수를 받을 수 있습니다. 이런 모델은 실제 환경에서는 제대로 작동하지 않아 중대한 실패로 이어질 수 있습니다.

Q: ALO 프레임워크는 어떤 분야에서 특히 유용한가요?

A: 국방, 재난대응, 의료진단 등 실패 비용이 높은 분야에서 특히 유용합니다. 희귀하지만 중요한 사건을 놓치면 안 되는 상황에서 제한된 자원으로 최대 효율을 내야 할 때 ALO의 전략적 라벨링 접근법이 큰 도움이 됩니다.

해당 기사에서 인용한 논문은 링크에서 확인할 수 있다.

이미지 출처: 이디오그램 생성

기사는 클로드와 챗GPT를 활용해 작성되었습니다.