AI 추론
며칠이면 짓는 이동형 데이터센터…런웨어 ‘소닉 추론 포드’ 공개
런웨어가 이동형 모듈 데이터센터 소닉 인퍼런스 포드를 공개했다. 물을 쓰지 않는 폐회로 냉각으로 며칠이면 구축되며 현재 포드 10개 배치와 부지 160곳을 확보했다.
애저에 AMD 헬리오스 대규모 투입…MS, AI 추론 인프라 엔비디아 밖으로 넓힌다
마이크로소프트가 애저에 AMD 헬리오스 랙스케일 솔루션을 대규모로 구축한다. AI 모델 추론과 애저 AI 서비스에 쓰이며, 6세대 에픽 베니스 기반 가상 머신 2종과 펜산도 DPU…
인텔, 우주용 AI 칩 ‘스타파이어’ 공개…18A 공정으로 궤도 위 AI 추론
현지 시각 7월 14일 톰스하드웨어 등에 따르면, 인텔이 우주용 AI 시스템온칩(SoC) ‘스타파이어(Starfire)’를 공개했다. 최첨단 18A 공정을 적용해 위성 같은 우주선이 궤도에서 직접 AI 추론을…
엔비디아가 끌어안은 그로크, 약 1조원 펀딩으로 ‘AI 추론 클라우드’ 가속
AI 추론(인퍼런스) 전용 클라우드 기업 그로크(Groq)가 6월 22일 6억 5,000만 달러(약 1조 원) 규모의 신규 성장 투자를 유치했다고 발표했다. 디스럽티브와 인피니텀이 투자를 주도했고, 기존…
‘추론’이 AI 최대 격전지로… 베이스튼, 2조원대 투자 유치
AI 추론(인퍼런스) 인프라 기업 베이스튼(Baseten)이 15억 달러(약 2조 3,000억 원) 규모의 시리즈F 투자를 유치했다고 6월 22일 밝혔다. 이번 라운드의 기업가치는 최대 130억 달러(약 20조…
샘 알트만 “한 세대의 연구자들이 AI 발전을 가로막았다”
오픈AI(OpenAI)의 샘 알트만(Sam Altman) 최고경영자가 스탠퍼드대 강연에서 거대언어모델(LLM)의 규모 확장(스케일링, scaling) 전략을 강하게 옹호했다. 더디코더(The Decoder)에 따르면 알트만은 ‘이 분야는 솔직히 한 세대의 과학자들이…
오픈AI, 챗GPT 모델 선택기 6종으로 개편…속도·추론 직접 고른다
오픈AI(OpenAI)가 6월 10일 챗GPT(ChatGPT)의 모델 선택기를 6종으로 개편했다. 유료 사용자는 응답 속도와 추론 깊이를 직접 따져 작업에 맞는 모델을 고를 수 있다. 6종은 인스턴트(Instant)·미디엄(Medium)·하이(High)·엑스트라…
[클로드 Opus 4.8 제대로 쓰기 #2] “시키지 않은 일은 안 한다” — 클로드 오퍼스 4.8의 ‘문자 그대로’ 기조
앤트로픽(Anthropic) 공식 가이드는 클로드 오퍼스 4.8(Claude Opus 4.8)을 두고 “프롬프트를 문자 그대로(literal)·명시적으로 해석한다”는 표현을 포함시키고 있다. 이전 모델이 행간을 읽고 사용자 의도를 추론해 일반화하던…
AMD, 기존 데이터센터 그대로 쓰는 엔터프라이즈 AI GPU ‘인스팅트 MI350P PCIe’ 출시
AMD가 새로운 ‘AMD 인스팅트(Instinct) MI350P PCIe’ 카드를 발표했다. 듀얼 슬롯 기반의 드롭인(drop-in) GPU 추론 가속기로, 기존 전력·냉각·랙 인프라를 크게 변경하지 않고도 온프레미스 AI 추론…
AWS, 문제 풀 때마다 학습하는 AI 개발… 경험 쌓을수록 저렴하고 정확해
사람이 문제를 풀 때 과거 경험을 떠올려 더 나은 방법을 선택하듯, AI도 이제 경험을 통해 학습한다. AWS AI와 펜실베이니아대학교 연구진이 개발한 EGUR(Experience-Guided Reasoner)는 문제를…
강화학습으로 똑똑해진 AI의 근자감… “모르겠다” 못하고 자신만만하게 틀린다
The Hallucination Tax of Reinforcement Finetuning OpenAI o1처럼 똑똑해진 AI의 치명적 약점 발견 강화학습 파인튜닝(Reinforcement Finetuning, RFT)이 대형언어모델(LLM)의 수학 추론 능력을 크게 향상시키지만, 동시에…
구글 제미나이, 포켓몬 블루 게임 완료… AI 게임 플레이의 새 이정표
구글의 최첨단 AI 모델 제미나이(Gemini)가 29년 된 비디오 게임 ‘포켓몬 블루’를 완료하는 이정표를 달성했다. 구글 CEO 순다르 피차이는 소셜 미디어를 통해 이 성과를 공식적으로…
마이크로소프트, AI 스타트업과 협력하여 뇌 추론 시뮬레이션한다
마이크로소프트(Microsoft)가 18일(현지 시간) 자사 홈페이지를 통해 뇌과학 연구에 기반한 혁신적인 AI 기술 개발 업체인 이네잇(inait)과 협력하여 디지털 두뇌 기반 인공지능을 다양한 산업에 배포한다고 발표했다.…
오픈AI, 강력한 추론 가능한 ‘o1-pro’ API 모델 출시… 입력 토큰당 22만원
오픈AI가 더 강력한 성능을 갖춘 새로운 AI 모델 ‘o1-pro’를 API를 통해 출시했다. 이 모델은 기존 o1 모델보다 더 많은 컴퓨팅 자원을 사용해 일관되게 향상된…
2025년 글로벌 AI 패권 경쟁 가속화… EU와 영국의 전략적 움직임 돋보여
SPRi AI Brief 인공지능 산업의 최신 동향: 정책･법제 EU, 2천억 유로 규모 ‘인베스트AI’ 계획으로 AI 기가팩토리 구축 추진 EU 집행위원회가 경쟁력 강화를 위한 5개년…
구글 딥마인드 CEO, “인간 수준 AI 5~10년 내 등장할 것”
구글 딥마인드(Google DeepMind)의 데미스 하사비스(Demis Hassabis) CEO가 인간과 동등하거나 그 이상의 능력을 가진 인공지능, 즉 범용 인공지능(AGI)이 향후 5~10년 내에 등장할 것이라고 전망했다. CNBC가…
바이두, 추론-멀티모달 2가지 AI 모델 출시… 딥시크 성능에 가격은 반
중국 인터넷 대기업 바이두(Baidu)가 치열한 AI 경쟁에서 두각을 나타내기 위해 두 가지 새로운 인공지능 모델을 출시했다. 특히 그중 하나는 추론에 중점을 둔 모델로, 중국…
인셉션, 세계 최초 상업용 디퓨전 LLM ‘머큐리’ 공개… “기존 LLM보다 10배 빠르다”
인셉션 랩스(Inception Labs)가 지난달 27일(현지 시간) 자사 웹사이트를 통해 세계 최초의 상업용 디퓨전 대규모 언어 모델(dLLM) ‘머큐리(Mercury)’를 공개했다. 이 새로운 모델은 기존 LLM보다 최대…
딥시크, 545%의 수익률 자랑하며 AI 시장에 큰 파장 일으켜
딥시크(DeepSeek)가 자사의 오픈소스 주간 6일차를 맞아 놀라운 AI 추론 시스템 성능과 수익성을 공개했다. 딥시크는 1일(현지 시간) 자사 X를 통해, 최근 발표한 딥시크-V3/R1(DeepSeek-V3/R1) 추론 시스템이…
딥시크, 대규모 AI 모델 훈련을 위한 오픈소스 통신 라이브러리 ‘DeepEP’ 출시
딥시크(DeepSeek)가 25일(현지 시간) 오픈소스 주간(#OpenSourceWeek) 둘째 날을 맞아 혼합 전문가(MoE, Mixture of Experts) 모델 훈련과 추론을 위한 최초의 오픈소스 EP 통신 라이브러리인 ‘DeepEP’를 공개했다.…
엔비디아 CEO “딥시크 R1, AI 시장 확대할 것…시장 반응은 잘못됐다”
엔비디아(Nvidia)의 창업자이자 최고경영자(CEO)인 젠슨 황이 딥시크(DeepSeek)의 기술 발전이 자사의 사업에 미치는 영향에 대한 시장의 우려를 일축했다. 테크크런치가 2일(현지 시간) 보도한 내용에 따르면, 황 CEO는…
구글, AI 추론 모델용 ‘A4X VM’ 공개… 엔비디아 GB200 탑재해 성능 4배 향상
구글 클라우드(Google Cloud)가 20일(현지 시간) 자사 블로그에 발표한 내용에 따르면, 구글 클라우드가 엔비디아(NVIDIA) GB200 NVL72를 탑재한 A4X VM(가상머신)을 프리뷰로 공개했다. 이는 AI 추론 모델의…
AI 연산량 늘리기만 해도 성능이 좋아진다… 스탠포드·워싱턴대, 50달러로 추론 모델 구축
s1: Simple test-time scaling 1,000개 데이터로 o1 모델 능가… S1-32B 모델의 혁신적 성과 스탠포드와 워싱턴 대학교 연구진이 언어모델의 추론 능력을 향상시키는 새로운 방법을 발견했다.…
오픈AI, ‘o3-미니’ 추론 과정 일부 공개… 딥시크 의식하나
오픈AI가 자사 공식 X를 통해 AI 모델의 사고 과정(Chain of Thought, CoT) 기능을 업데이트했다. 이번 업데이트는 무료·유료 사용자용 O3-미니(o3-mini)와 유료 사용자 전용 O3-미니-하이(o3-mini-high) 모델에…
30달러로 구현한 AI 추론 능력…”UC 버클리, 딥시크 핵심기술 재현 성공”
UC 버클리(UC Berkeley) 연구진이 30달러(약 4만3750원)라는 저비용으로 딥시크(DeepSeek)의 핵심 기술을 재현하는데 성공했다. 해당 연구진은 데이프시크 R1 제로(DeepSeek R1 Zero)의 카운트다운과 곱셈 작업을 재현한 ‘TinyZero’를…
2+3=X를 위해 13번 고민하는 AI… 텐센트, AI 모델의 ‘오버씽킹’ 현상 분석
Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs 중국의 기술 기업 텐센트가 설립한 AI랩과 상하이자오통대학교 연구진이 발표한 최신 논문에…
RAG 시스템의 혁신, ‘ChunkRAG’ – 청크 단위 필터링으로 AI 응답 정확도 대폭 향상
검색 강화 생성(Retrieval-Augmented Generation, RAG) 시스템은 인공지능의 응답 생성 능력을 높이기 위해 외부 지식을 활용하는 기술이다. 하지만 기존 RAG 시스템들은 부적절한 정보 검색으로 인한…
OpenAI, ‘스트로베리’ 출시 임박… ChatGPT에 새 기능 탑재
오픈AI(OpenAI)가 2주 내에 자사의 인공지능 챗봇 서비스인 챗GPT(ChatGPT)에 ‘스트로베리(Strawberry)’라는 새로운 기능을 탑재할 계획이라고 밝혔다. 로이터 통신이 The Information의 보도를 인용해 10일(현지시간) 전했다. 더인포메이션에 따르면,…
