오픈AI ‘라이프사이벤치’ 공개… 750개 생명과학 과제 모델 성능 평가한다

오픈AI(OpenAI)가 AI의 생명과학 연구 능력을 측정하는 새 벤치마크 ‘라이프사이벤치(LifeSciBench)’를 공개했다. 마크테크포스트(MarkTechPost)와 오픈AI 공식 발표에 따르면, 이 벤치마크는 생명공학·제약 연구 분야의 박사급 과학자 173명과 함께 만들었으며, 일곱 개 연구 워크플로와 일곱 개 생물학 영역에 걸친 750개의 전문가 작성 과제로 구성됐다.

기존 AI 생물학 벤치마크가 깔끔한 정답이 있는 객관식 문제를 쓰는 것과 달리, 라이프사이벤치는 전문가가 작성한 채점 기준으로 평가하는 자유 응답형 과제를 제시한다. 과제당 평균 25개의 채점 기준을 두며, 전체 기준은 1만 9,020개에 이른다. 모델은 유전체 서열 파일과 화학 구조 파일, 실험 그림 같은 과학 자료를 직접 해석해야 한다.

성능 결과는 AI의 한계를 드러냈다. 가장 뛰어난 모델인 GPT-로잘린드(GPT-Rosalind)도 과제의 36.1%만 통과했다. 연구 수준 과제의 약 3분의 2는 현존 최강 AI 시스템조차 풀지 못한다는 의미다. 전체 과제의 79%가 여러 단계의 추론이나 의사결정을 요구했고, 과제당 평균 4단계가 필요했다. 벤치마크는 과학 자료를 처리하는 능력이 가장 큰 병목이라고 짚었다.

이번 벤치마크는 AI가 실제 과학 연구를 얼마나 도울 수 있는지를 냉정하게 측정하려는 시도다. AI가 인간 전문가를 대체한다는 기대가 부풀어 있는 가운데, 자유 응답형 과제와 실제 자료 해석이라는 까다로운 조건을 적용하자 성능이 크게 떨어졌다. 객관식 문제에서 높은 점수를 받던 모델이 실제 연구 환경에서는 한계를 보인 것으로, 벤치마크 설계 방식이 평가 결과를 좌우함을 드러낸다.

낮은 통과율은 AI 과학 연구의 현주소를 보여준다. 동시에 개선의 방향을 제시한다는 점에서 의미가 있다. 어디서 문제가 발생하는지를 구체적으로 짚어내면, 모델 개발자는 그 약점을 겨냥해 성능을 끌어올릴 수 있다. 과학 자료 처리가 병목으로 지목된 만큼, 멀티모달 해석 능력의 강화가 다음 과제로 떠오른다. AI가 신약 개발이나 생명과학 연구의 실질적 동료가 되려면 아직 갈 길이 멀다는 현실적 진단이기도 하다.

이번 벤치마크는 AI 과학 도구를 평가하는 방식 자체를 다시 묻는다. 화려한 시연이나 객관식 점수가 아니라, 실제 연구 과제에서의 성능이 도구의 가치를 가른다는 점을 분명히 했다. 자유 응답형 과제에서 최고 모델조차 3분의 1을 겨우 넘긴다는 결과는 AI에 대한 큰 기대와 실제 역량 사이의 간극을 드러낸다. 엄밀한 벤치마크가 늘어날수록 AI의 과학 연구 기여도를 가늠하는 기준도 한층 정교해질 전망이다.

자세한 내용은 마크테크포스트(MarkTechPost)에서 확인할 수 있다.

이미지 출처: 이디오그램 생성