키미 K3 전체 가중치 공개…2조 8천억 매개변수 오픈 모델에 문샷 독자 라이선스

문샷 AI가 7월 27일 대형 언어모델 키미 K3의 전체 모델 가중치를 허깅페이스 저장소 ‘moonshotai/Kimi-K3’에 공개했다. 키미닷컴과 키미 코드, API로 먼저 서비스를 시작한 지 약 열흘 만이다. 저장소에는 세이프텐서(safetensors) 형식의 가중치 파일과 라이선스, 모델 카드가 함께 게시됐다. 문샷은 이달 중순 K3를 선보이며 전체 가중치를 7월 27일까지 내놓겠다고 밝힌 바 있다.

키미 K3는 총 2조 8천억 개 매개변수의 전문가 혼합(MoE) 모델이다. 토큰 하나를 처리할 때는 전체 896개 전문가 가운데 16개, 약 1천40억 개 매개변수만 작동한다. 컨텍스트 길이는 100만 토큰이고, 텍스트와 이미지를 한 모델에서 함께 다룬다. 문샷은 가중치를 공개한 모델 가운데 3조 개에 근접한 규모는 이번이 처음이라고 설명했다.

가중치는 4비트(MXFP4) 정밀도로 학습돼 파일 용량이 약 1.4TB에 이른다. 내려받아 자체 장비에서 실행하려면 캐시와 임시 파일까지 더해 최소 2.5TB 안팎의 저장 공간이 필요하다. 문샷은 가속기 64개 이상을 묶은 구성에서 운영할 것을 권했다.

라이선스는 널리 쓰이는 MIT나 아파치 2.0이 아니다. 문샷은 코드와 가중치 모두에 ‘키미 K3 라이선스’를 적용했다. 이 라이선스는 이용과 복제, 수정, 재배포는 물론 판매와 파인튜닝까지 폭넓게 허용한다. 다만 두 가지 조건이 붙는다. 최근 12개월 매출이 2천만 달러(약 294억 원)를 넘는 서비스형 모델(MaaS) 사업자는 상업적 이용에 앞서 문샷과 별도 계약을 맺어야 한다. 또 월간 활성 사용자가 1억 명을 넘거나 월 매출이 2천만 달러를 넘는 상업 서비스는 화면에 ‘키미 K3’를 표기해야 한다.

내부 용도로만 쓰거나 문샷 공식 제품과 인증 추론 파트너를 통해 이용하는 경우에는 이 조건이 적용되지 않는다. 문샷은 키미 API에서도 K3를 제공하며, 가격은 100만 토큰당 출력 15달러(약 2만 2천 원), 캐시 미적용 입력 3달러(약 4천 원)다.

자세한 내용은 문샷 기술 블로그에서 확인할 수 있다.

이미지 출처: AI 매터스 생성