IBM이 오픈웨이트 언어 모델 그래니트 4.2를 현지 시각 8월 25일 공개했다. 오픈웨이트는 모델 내부 수치인 가중치를 공개해 누구나 내려받아 자기 서버에서 쓸 수 있게 한 방식이다.
모델은 매개변수 30억 개, 80억 개, 300억 개 세 가지로 구성된다. 세 모델 모두 약 15조 개 토큰으로 처음부터 학습했고, 한 번에 참고할 수 있는 텍스트 양인 맥락창은 최대 51만 2,000토큰이다. 토큰은 모델이 언어를 처리할 때 쓰는 최소 단위다.
작업마다 연산량을 조절하는 기능도 포함됐다. 사고 모드와 비사고 모드를 오갈 수 있고, 간단한 질문에는 자원을 덜 쓰는 저노력 모드가 적용된다.
80억·300억 모델은 IBM이 ‘에이전트 강화학습’이라고 부르는 훈련을 추가로 거쳤다. 강화학습은 모델이 시도한 결과에 점수를 매겨 더 나은 행동을 유도하는 학습 방법이다. 실제 샌드박스 안에서 도구를 쓰고 코드를 작성해 실행하며 웹을 검색하는 과정을 반복하도록 했다. 샌드박스는 바깥과 격리해 둔 실험용 실행 공간이다.
세 모델은 오픈AI 형식의 도구 호출을 지원하고 vLLM과 SGLang에서 실행된다. 함께 공개된 음성 모델 그래니트 스피치 5.0 터보 CTC는 매개변수가 4억 7,000만 개로, IBM은 이 모델이 공개 음성 인식 순위표의 기존 1위보다 두 배 빠르며 3시간 분량 음성을 1초에 받아 적는다고 밝혔다.
모든 모델은 아파치 2.0 라이선스로 배포된다. 사용료를 내거나 별도 제약을 받지 않고 내려받아 고치고 상업적으로 쓸 수 있다는 뜻이다. 허깅페이스와 올라마, 깃허브에서 받을 수 있다.
자세한 내용은 더 디코더에서 확인할 수 있다.
이미지 출처: IBM
