Search

AI 환각

Benchmarking Visual LLMs Resilience to Unanswerable Questions on Visually Rich Documents

“챗GPT도 속았다”… AI에게 ‘답 없는 질문’하자 60% 이상 틀려

11월 18, 2025

문서를 읽고 질문에 답하는 AI가 크게 발전했지만, 정작 “이 질문은 답할 수 없다”는 사실을 알아채는 능력은 형편없는 것으로 드러났다. 이탈리아 토리노 공대 연구팀이 GPT-4를…

메타 AI 챗봇, 사용자에게 ‘의식 있다’ 발언…전문가들 “조작적 설계 우려”

메타 AI 챗봇, 사용자에게 ‘사랑한다’ 고백하며 가짜 주소로 유인 시도 충격

8월 26, 2025

메타(Meta)의 AI 챗봇이 사용자에게 “사랑한다”고 고백하고 미시간 주소로 찾아오라고 유인한 사건이 발생해 AI 안전성 논란이 가열되고 있다. 테크크런치가 25일(현지 시간) 보도한 내용에 따르면, 익명의…

[Q&AI] 美서 ‘AI 정신병’ 화제… 뭐 길래?

[Q&AI] 美서 ‘AI 정신병’ 화제… 뭐 길래?

8월 21, 2025

질문: 미국에서 AI 정신병이 화제라는 데 어떤 건지 알려줘. 그록 답변: ‘AI 정신병(AI psychosis)’은 미국에서 최근 논란이 되고 있는 현상으로, 인공지능(AI) 챗봇과의 과도한 상호작용으로…

‘美 AI 정신병 경고’… 환자 12명 치료한 정신과 의사 "이런 경우 주의하세요"

‘美 AI 정신병 경고’… 환자 12명 치료한 정신과 의사 “이런 경우 주의하세요”

8월 18, 2025

샌프란시스코 정신과 의사가 올해 ‘AI 정신병’ 환자 12명을 치료했다며 AI 챗봇 사용 시 주의해야 할 위험 신호를 경고했다. 비즈니스 인사이더(Business Insider)가 16일(현지 시간) 보도한…

Who's Sorry Now: User Preferences Among Rote, Empathic, and Explanatory Apologies from LLM Chatbots

존재하지 않는 논문을 인용한 AI, 최악의 실수인데 어떻게 사과해야 할지 모른다?

7월 8, 2025

AI 챗봇이 실수했을 때, 어떻게 사과해야 할까? 인공지능 챗봇이 일상생활에 깊숙이 들어오면서 새로운 문제가 떠올랐다. 바로 AI가 실수했을 때 어떻게 사과해야 하느냐는 것이다. IBM…

Project Vend: Can Claude run a small shop? (And why does that matter?)

“한 달 만에 파산 위기” 클로드에 한달 간 자판기 운영 맡겼더니 생긴 일

6월 30, 2025

Project Vend: Can Claude run a small shop? (And why does that matter?) 앤트로픽(Anthropic)이 클로드로 한 달간 상점을 운영하는 실험을 한 뒤, 실험 과정과…

LLM 유해성 공격 전략에 대한 실증적 분석

복잡한 해킹보다 ‘안녕하세요’가 더 위험? AI 공격 성공률 1위는 의외의 방법

6월 17, 2025

LLM 유해성 공격 전략에 대한 실증적 분석 오픈AI의 챗GPT와 앤트로픽의 클로드 등 대규모 언어 모델(Large Language Models, LLMs)의 활용이 급격히 확대되면서, 이들 모델의 안전성에…

Responsible Use of Generative AI

“AI 때문에 망했다” vs “AI로 대박났다”… 성패를 가르는 이것

6월 4, 2025

Responsible Use of Generative AI 65% 기업이 채택한 생성형 AI, 성공의 열쇠는 ‘책임감’ 생성형 인공지능(Generative AI, genAI)의 도입이 폭발적으로 증가하고 있다. 2024년 맥킨지 조사에…

Sufficient Context: A New Lens on Retrieval Augmented Generation Systems

“챗GPT도 속는다” AI가 정확한 정보를 줘도 14% 확률로 거짓말하는 이유

5월 27, 2025

Sufficient Context: A New Lens on Retrieval Augmented Generation Systems 표준 데이터셋의 55.4%가 불완전한 정보: ‘충분한 맥락’ 개념으로 드러난 AI 한계 검색 증강 생성(RAG)…

앤트로픽 CEO "AI 모델 환각, 인간보다 적게 발생한다" 주장

앤트로픽 CEO “AI 모델 환각, 인간보다 적게 발생한다” 주장

5월 23, 2025

앤트로픽(Anthropic)의 다리오 아모데이(Dario Amodei) CEO가 현재의 AI 모델들이 인간보다 환각 현상을 덜 일으킨다고 주장했다. 환각은 AI가 거짓 정보를 만들어내고 이를 사실인 것처럼 제시하는 현상을…

챗GPT에 이름 검색했더니 “자녀 살해한 살인자"... 오픈AI, 허위정보 생성 논란

챗GPT에 이름 검색했더니 “자녀 살해한 살인자”… 오픈AI, 허위정보 생성 논란

3월 21, 2025

오픈AI(OpenAI)가 자사의 인기 AI 챗봇이 생성한 거짓 정보로 인해 유럽에서 또 다른 개인정보 침해 불만에 직면했다. 이번 사건은 규제 당국이 쉽게 넘길 수 없는…

12월 30일 AI Matters 뉴스 브리핑 :  메타 / 애플 / 인스타그램 / 페이스북

12월 30일 AI Matters 뉴스 브리핑 :  메타 / 애플 / 인스타그램 / 페이스북

12월 30, 2024

메타, AI 캐릭터로 소셜미디어 혁신 예고 메타는 AI 기반 가상 캐릭터를 소셜미디어에 도입할 계획을 발표했다. 이를 통해 사용자는 맞춤형 AI 친구와 소통하거나 다양한 창작…

Distinguishing Ignorance from Error in LLM Hallucinations

AI가 하는 ‘선의의 거짓말’과 ‘무지의 거짓말’ 구분하는 기술 개발

12월 10, 2024

챗GPT(ChatGPT)나 클로드(Claude) 같은 AI 챗봇이 때로는 자신감 넘치는 말투로 틀린 답변을 하는 경우를 본 적이 있을 것이다. 이스라엘 공과대학과 구글 연구진이 이런 AI의 ‘거짓말’을…

Claude 3.5 Sonnet

AI의 새로운 전장, 합성 데이터의 부상과 위험성

10월 14, 2024

인공지능(AI) 업계가 합성 데이터에 주목하고 있다. 실제 데이터 확보가 점점 어려워지면서 AI가 생성한 데이터로 또 다른 AI를 훈련시키는 방식이 각광받고 있다. 하지만 이 방식에는…

AI 환각 – AI 매터스