오픈소스 LLM ‘라마 3’, 의료 분야에서 상용 AI와 대등한 성능 보여

Llama 3 Challenges Proprietary State-of-the-Art LargeLanguage Models in Radiology Board–styleExamination Questions

최근 메타(Meta)가 공개한 오픈소스 대규모 언어 모델(LLM) ‘라마 3(Llama 3)’가 방사선학 분야에서 상용 AI 모델들과 대등한 성능을 보여 주목받고 있다. 이는 의료 분야에서 오픈소스 AI 모델의 가능성을 보여주는 중요한 연구 결과로 평가된다.

메타가 2024년 4월 공개한 라마 3 70B 모델은 미국방사선학회(ACR) 2022년 연수 시험 50문항에서 74%의 정확도를 보였다. 이는 OpenAI의 GPT-4 터보와 Anthropic의 Claude 3 Opus(각각 78%)에 근접한 성적이다.

또한 85개의 새로운 방사선학 시험 문제에서도 라마 3 70B는 80%의 정확도를 기록했다. 이는 GPT-4 터보(82%)와 통계적으로 유의미한 차이가 없는 수준이며, Claude 3 Opus(76%)와 Google DeepMind의 Gemini Ultra(72%)보다 더 높은 점수다.

연구진은 라마 3와 같은 오픈소스 LLM이 의료 분야에서 중요한 이점을 제공할 수 있다고 평가했다. 오픈소스 모델은 병원 내부에서 로컬 운영이 가능해 환자 데이터 프라이버시 보호에 유리하며, 모델 업데이트로 인한 불안정성 문제도 줄일 수 있다.

하지만 여전히 한계도 존재한다. 현재 오픈소스 모델들은 이미지 처리 능력이 부족해 영상의학 분야 적용에 제약이 있다. 또한 모든 LLM이 가진 공통적인 문제인 허위 정보 생성(환각) 위험도 여전히 존재한다.

연구진은 오픈소스 LLM의 가장 큰 장점으로 깊은 수준의 맞춤화 가능성을 꼽았다. 의료진들이 직접 모델 구조와 훈련 데이터를 조정할 수 있어, 특정 의료 분야에 최적화된 AI 보조 도구 개발이 가능하다는 것이다.

올해 말 4000억 개의 매개변수를 가진 더 큰 버전의 라마 3 출시가 예정된 가운데, 연구진은 오픈소스 LLM이 의료 분야에서 점점 더 중요한 역할을 할 것으로 전망했다. 이번 연구 결과는 의료 AI 발전에 있어 오픈소스 모델의 잠재력과 경쟁력을 보여주는 중요한 이정표가 될 것으로 평가된다.

기사에 인용된 초록 원문은 링크에서 확인할 수 있다.

본 기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.

관련 콘텐츠 더보기