AI 안전
“전체 맥락 봐달라”… 오픈AI, 10대 자살 소송에 대한 첫 공식 입장 밝혀
오픈AI(OpenAI)가 정신건강 관련 소송에 대한 공식 입장을 25일(현지 시각) 발표했다. 이번 성명은 챗GPT 사용 후 자살한 10대 소년의 유족이 제기한 소송에 대한 대응 차원이다.…
美 캘리포니아, AI 동반자 챗봇 첫 규제법 제정… 아동·취약층 보호 강화 나섰다
테크크런치가 13일(현지 시각) 보도한 내용에 따르면, 캘리포니아주가 미국에서 처음으로 AI 동반자 챗봇을 규제하는 법안을 통과시켰다. 개빈 뉴섬(Gavin Newsom) 캘리포니아 주지사는 13일 ‘SB 243’ 법안에…
챗GPT에 “친구 죽이는 법” 물은 학생, 학교 감시 시스템에 적발돼 체포
미국 플로리다주에서 한 학생이 챗GPT에 “수업 중에 내 친구를 죽이는 방법”을 물어봤다가 학교 감시 시스템에 적발돼 체포됐다. WFLA가 1일(현지 시각) 보도한 내용에 따르면, 학교에서…
AI 리더 200여명 긴급 호명… “내년까지 AI가 절대 넘지 말아야 할 ‘레드라인’ 만들어야”
전 세계 AI 전문가와 정치인들이 인공지능의 위험한 사용을 막기 위한 국제협정이 시급하다고 목소리를 높였다. 더 버지(The Verge)가 23일(현지 시간) 보도한 내용에 따르면, 200명이 넘는…
xAI 직원들 “그록 훈련 과정에서 아동 성 착취물 노출” 폭로
일론 머스크의 인공지능 회사 xAI에서 챗봇 그록(Grok)을 훈련하는 직원들이 아동 성 착취물을 포함한 성인 콘텐츠에 반복적으로 노출되고 있다는 사실이 드러났다. 비즈니스 인사이더(Business Insider)가 21일(현지…
앤트로픽, 중국계 기업에 AI 서비스 판매 중단… 러시아·이란·북한에도 도입 예정
AI 안전 전문기업 앤트로픽(Anthropic)이 중국 기업 과반수 지분 소유 그룹에 대한 인공지능 서비스 판매를 중단한다고 발표했다. 미국 AI 기업이 이런 정책 변화를 단행한 것은…
카카오, 생성형 AI 안전장치 만든다… AI 보호 기술 총정리한 ‘ESG 보고서’ 공개
2024 Kakao ESG Report 카카오는 2024년 ESG 보고서를 통해 인공지능(AI) 기술의 안전성과 신뢰성을 확보하기 위한 관리 체계를 본격적으로 강화했다고 밝혔다. 특히 카카오는 AI 개발…
前 오픈AI 연구원 “챗GPT, 생명 위협 상황에서도 종료 거부”
오픈AI(OpenAI)의 전 연구원이 ChatGPT가 특정 상황에서 자신의 종료를 피하려고 한다는 충격적인 연구 결과를 발표했다. 테크크런치가 11일(현지 시간) 보도한 내용에 따르면, 전 오픈AI 연구 책임자…
“인간 닮은 AI는 위험하다”… AI 석학 벤지오, 3천만 달러 투입해 대안 연구소 설립
머신러닝 분야 개척자 요슈아 벤지오(Yoshua Bengio)가 AI 시스템이 인간과 다르게 행동하도록 만들기 위해 약 3천만 달러 자금을 지원받는 새로운 비영리 연구소를 설립한다고 발표했다. 악시오스(Axios)가…
AI도 거짓말할 때 ‘티’가 난다… 유해 답변 생성 전 96% 사전 차단
SafetyNet: Detecting Harmful Outputs in LLMs by Modeling and Monitoring Deceptive Behaviors AI의 ‘나쁜 생각’ 미리 알아채는 기술, 96% 정확도 달성 옥스포드 대학교(University of…
국내 전문가 61명이 경고하는 챗GPT 시대의 AI 위험 순위 Top 6
AI 안전의 부상과 정책 대응 방안 연구 AI 안전의 재정의: 기술적 안전을 넘어 사회경제적 위협까지 포괄 AI 안전(AI Safety)은 인간의 생명, 건강, 재산, 환경을…
오픈AI, 각국 정부와 손잡고 AI 인프라 확장 나선다… ‘스타게이트 프로젝트’ 본격화
미국 인공지능 기업 오픈AI(OpenAI)가 7일(현지 시간) 자사 웹사이트를 통해 전 세계 국가들을 대상으로 한 새로운 협력 프로그램을 발표했다. ‘오픈AI 포 컨트리스(OpenAI for Countries)’라는 이름의…
美 AI 안전 연구소, 트럼프발 대규모 인력 감축 위기 직면
미국 국립표준기술연구소(NIST) 산하 인공지능 안전 연구소가 대규모 인력 감축으로 존폐 위기에 처했다. 트럼프 행정부의 정책 변화로 AI 안전 연구 기관의 미래가 불투명해졌다. 최대 500명…
서울시, 5000억 규모 AI 펀드 조성 발표… 연간 1만명 AI 인재 양성 나선다
서울시가 ‘글로벌 AI 혁신 선도도시’ 도약을 위한 대규모 프로젝트를 시작했다. 서울시가 11일(한국 시간) 공개한 보도자료에 따르면, 오세훈 서울시장은 11일 코엑스에서 열린 ‘AI SEOUL 2025’…
구글, AI 군사 무기 개발 금지 원칙 폐기… 앤드류 응 “올바른 결정” 지지
테크크런치(TechCrunch)가 7일(현지 시간) 보도한 내용에 따르면, 구글 브레인(Google Brain)의 창립자이자 전 리더인 앤드류 응이 구글의 AI 무기 개발 금지 철회를 적극 지지했다. 응은 7일(현지시간)…
AI, 정말 안전한 걸까? 인공지능 시대의 불안과 대책
AI 안전의 개념과 범위 AI의 두 얼굴, 혁신은 빠르지만 안전은 부족하다 소프트웨어 정책 연구소가 발표한 보고서에 따르면, 최근 인공지능(AI)의 급격한 발전은 다양한 산업 분야에서…
앤트로픽, AI 안전 강화한 ‘책임있는 확장 정책’ 업데이트 발표
앤트로픽이 최첨단 AI 시스템의 잠재적 위험을 관리하기 위한 ‘책임있는 확장 정책(RSP)’ 업데이트를 발표했다. 이번 업데이트는 AI 위험을 평가하고 관리하는 더 유연하고 세분화된 접근 방식을…
마이크로소프트, AI 생성 이미지 악용 방지 위한 새로운 접근법 발표
마이크로소프트(Microsoft)가 동의 없이 유포되는 은밀한 이미지 문제에 대응하기 위한 새로운 접근법을 발표했다. 마이크로소프트의 디지털 안전 책임자인 코트니 그레고리(Courtney Gregoire)는 5일 블로그를 통해 이같은 내용을…
AI 위험 분류체계 ‘AIR 2024’ 공개, 기업과 정부 정책 314개 위험 유형 망라
인공지능(AI) 기술의 급속한 발전으로 AI 안전성에 대한 우려가 커지고 있는 가운데, 스탠퍼드대학교 연구팀이 기업과 정부의 AI 정책을 종합 분석해 314개의 위험 유형을 담은 ‘AIR…
![[AI 트렌드] 연말 모임 사진을 특별하게! 제미나이 마인크래프트 픽셀 음식 만들기](https://aimatters.co.kr/wp-content/uploads/2025/12/AI-매터스-기사-썸네일-jenny.jpg)