[AI와 인간 사이] Ontology Again, 왜 온톨로지는 AI와 함께 다시 돌아왔을까?

2026년 4월 17일, 서울 잠실에서 열린 <삼성SDS Industry Day>의 한 세션에서 팔란티어 기술총괄은 단상에 올라 짧지만 단호한 진단을 내놓았다. 기업용 AI 프로젝트 100건 중 95건은 실패한다. 5건만 성공한다. 그가 짚은 실패의 원인 세 가지는 모두 하나의 단어로 수렴했다. 온톨로지(Ontology)의 부재.

그날 이후 국내 AX 시장의 풍경은 빠르게 바뀌었다. 컨설팅 제안서, 솔루션 소개서, 기관 강연 자료를 넘기다 보면 거의 예외 없이 한 단어가 등장한다. 온톨로지. AX 컨설팅을 한다는 회사들은 마치 약속이라도 한 듯 “우리가 귀사의 온톨로지를 구축해드리겠다”고 말한다. 견적은 수억에서 수십억까지 다양하다. 그런데 막상 납품되는 산출물을 들여다보면 대부분 그래프 데이터베이스 위에 그려진 노드와 엣지의 집합, 즉 지식 그래프(Knowledge Graph, 이후 KG)에 가깝다. 그것을 과연 우리는 온톨로지라고 부를 수 있을까?

이 질문은 단순한 용어 시비가 아니다. 1606년 독일의 한 학자가 처음 종이에 적은 단어가 420년의 시간을 가로질러 2026년 한국의 회의실 PPT 한가운데에 떨어진 사건이고, 그 사이에 한 사람의 평생, 한 학계의 세대, 그리고 수십억 달러의 산업 자본이 묻혀 있는 단어이기 때문이다.

1606년, 한 단어가 세상에 나오기까지

온톨로지라는 단어는 1606년 독일의 학자 야콥 로르하르트(Jacob Lorhard)가 자신의 저서 <Ogdoas Scholastica>에서 처음 활자화했다. 1730년에는 독일 합리주의 철학자 크리스티안 볼프(Christian Wolff)가 <Philosophia Prima sive Ontologia>에서 이를 정식 학문 분과로 자리 잡게 했다. 그러나 이 개념의 뿌리는 훨씬 더 깊다. 기원전 4세기, 아리스토텔레스가 <형이상학> 4권에서 ‘존재로서의 존재(being qua being)’를 다루는 학문을 ‘첫 번째 철학(first philosophy)’이라 부른 그 자리에 온톨로지가 있었다.

철학으로서의 온톨로지가 다루는 것은 단순하다. 세상에 존재하는 것들에는 어떤 종류가 있고, 그것들은 서로 어떤 관계를 맺으며, 그 관계의 규칙은 무엇인가. 사람이 생각하기 전에 사물이 먼저 분류되어 있어야 하고, 그 분류가 일관되어야만 우리가 세계를 이해할 수 있다는 발상이다. 도서관학에서 책을 분류하는 일, 생물학에서 종을 분류하는 일, 화학에서 원소를 분류하는 일 모두가 온톨로지의 응용이다.

이 개념이 컴퓨터과학으로 넘어온 것은 1980년대다. 인공지능 연구자들은 인간의 상식을 기계에 옮겨 심으려면 먼저 세계를 구조화된 형태로 정의해야 한다고 보았다. 그리고 그 첫 번째 거대한 실험이, 인공지능 역사에 가장 야심차고 가장 외로웠던 한 프로젝트로 기록된다.

인공지능이 처음 온톨로지를 만났을 때

1984년, 더글러스 레넷(Douglas Lenat)이라는 스탠퍼드 출신의 컴퓨터과학자가 텍사스 오스틴의 MCC(Microelectronics and Computer Technology Corporation)에서 한 프로젝트를 시작했다. 이름은 Cyc. ‘Encyclopedia(백과사전)’에서 가운데 음절을 따왔다. 목표는 인간이 가진 모든 상식적 지식을 논리식으로 컴퓨터에 입력해, 일종의 ‘인공 인간 지식 베이스’를 만드는 것이었다. 초기 추정은 1,000 person-year. 한 사람이 천 년을 일하거나, 천 명이 한 해를 일해야 하는 분량이었다.

40년이 흘렀다. 2024년 시점에 Cyc의 지식 베이스는 약 3,000만 개의 수작업 규칙과 공리로 채워졌고, 2억 달러 이상이 투입되었으며, 약 2,000 person-year의 노동이 쌓였다. 그러나 결과는 처참했다. 머신러닝 연구자 페드로 도밍고스(Pedro Domingos)는 Cyc를 “AI 역사상 가장 악명 높은 실패(the most notorious failure in the history of AI)”라고 평가했다. 인간 상식의 폭과 깊이를 따라잡는 데 실패했고, 그렇다고 좁은 도메인에서 압도적 성능을 보여주지도 못했다. 프로젝트의 창시자 더글러스 레넷은 2023년 세상을 떠났고, 그의 마지막 논문은 Cyc와 LLM이 협력하는 미래에 대한 것이었다.

같은 시기 학계에서는 또 하나의 거대한 시도가 있었다. 2001년 5월, 월드 와이드 웹의 창시자 팀 버너스리(Tim Berners-Lee)는 <Scientific American>에 「The Semantic Web」이라는 글을 게재한다. 웹의 모든 페이지가 기계가 의미를 이해할 수 있는 메타데이터를 갖추게 하자는 비전이었다. 이를 위해 W3C는 RDF(자원 기술 프레임워크), OWL(웹 온톨로지 언어) 같은 표준을 제정했고, 전 세계 학자들이 온톨로지 공학(Ontology Engineering)이라는 분과를 만들었다. 그러나 시맨틱 웹은 결국 보편화되지 못했다. 이유는 기술이 아니라 경제였다. 개별 사이트 운영자에게는 자기 데이터를 복잡한 RDF로 태깅할 유인이 없었고, 시맨틱 웹의 가장 무거운 유산이라 할 수 있는 OWL은 일반 개발자가 가까이 갈 수 없을 만큼 복잡했다. 살아남은 것은 OWL이 아니라, 오히려 RDF의 이름조차 숨긴 채 만들어진 JSON-LD와 OpenGraph 같은 단순 표기 방식이었다.

20년에 걸친 두 가지 거대한 시도는 같은 결론을 남겼다. 온톨로지는 개념적으로 완벽하지만, 현실에서 동작하는 모델로 구현하기에는 비용과 시간이 비현실적이다. 그리고 더 중요한 사실이 있다. 인간 자신도 자기가 일하는 도메인을 그렇게 정합적으로 정의해본 적이 없다는 것.

온톨로지가 AI와 함께 “다시” 돌아왔다

이 오래된 단어가 다시 살아난 시점은 분명하다. 2023년 이후 LLM의 폭발적 보급, 그리고 2025년부터 본격화된 에이전틱 AI(Agentic AI)의 등장이다. AI에게 일을 맡기려면 AI가 그 회사의 ‘의미 체계’를 이해해야 한다. 영업팀이 말하는 ‘고객’과 재무팀이 말하는 ‘고객’이 다르다는 사실, 공장에서 말하는 ‘불량’과 품질팀에서 말하는 ‘불량’이 다르다는 사실을 AI가 알아야 한다. 그래야 환각도 줄고, 답변도 일관되며, 의사결정도 신뢰할 수 있게 된다.

이 흐름의 중심에 팔란티어(Palantir)가 있다. 팔란티어 Foundry는 자사의 데이터-로직-액션 통합 레이어를 ‘Ontology’라 명명했고, 2023년 이후 AIP(Artificial Intelligence Platform)와 결합되며 시장에서 폭발적인 평가를 받았다. 2026년 들어서는 한국에서도 같은 흐름이 시작됐다. 4월 17일 삼성SDS 인더스트리 데이 발표가 그 신호탄이었다. 팔란티어 기술총괄은 기업용 AI 실패율 95%의 원인을 운영 전략 부재, 데이터 맥락 부재, 조직 정렬 부재로 진단하며, 이 셋을 동시에 해결하는 매개로 온톨로지를 제시했다.

그날 이후 한국의 AX 시장은 ‘온톨로지 구축 시장’으로 급격히 재편되고 있다. 어제까지 ‘데이터 거버넌스 컨설팅’을 하던 회사가 오늘은 ‘온톨로지 구축 컨설팅’으로 간판을 바꿔 달았다. 어제까지 ‘챗봇 구축’을 팔던 곳이 오늘은 ‘엔터프라이즈 온톨로지 솔루션’을 판다. 가격은 어디서부터 시작되는지 가늠하기 어렵지만, 적게는 수억, 많게는 수십억 단위의 견적이 오간다.

그리고 바로 여기서, 이 칼럼이 던져야 할 첫 번째 질문이 나온다. 그 견적서에 적힌 산출물은 정말로 온톨로지인가.

온톨로지와 지식 그래프, 무엇이 같고 무엇이 다른가

학술적으로도, 실무적으로도 두 단어를 혼동하는 일이 너무 흔하다. 그러나 둘은 같지 않다.

온톨로지는 의미의 청사진이다. 어떤 도메인에 어떤 타입의 사물이 존재하고, 그것들이 어떤 속성을 가지며, 서로 어떤 관계로 연결되고, 그 관계를 지배하는 논리적 규칙(공리, axiom)이 무엇인지를 형식적으로 정의한 모델이다. OWL이나 RDF Schema 같은 언어로 표현된다. 비유하자면, 온톨로지는 도서관의 분류 체계 그 자체다. KDC, DDC, 책의 종류, 주제 코드 간의 관계, 동일 주제일 때 적용되는 분류 규칙. 책 한 권의 내용은 들어 있지 않다.

반면 지식 그래프는 그 청사진 위에 실제 데이터를 채워넣은 결과물이다. 도서관 분류 체계 위에 실제 도서관이 소장한 모든 책의 정보를 노드와 엣지로 얹은 그림이라 보면 된다. 박경리의 <토지>가 한국문학 노드 아래 어디에 위치하고, 누구의 작품과 어떤 관계로 묶이는지가 KG의 영역이다.

엔터프라이즈 KG 분야의 권위자 Heather Hedden의 정리를 빌리면, 지식 그래프는 온톨로지의 인스턴스화(instantiation)다. 즉, 온톨로지는 KG의 정의이고, KG는 온톨로지가 적용된 실체다. 좋은 KG가 있으려면 좋은 온톨로지가 필요하지만, 좋은 온톨로지가 있다고 해서 KG가 자동으로 만들어지지는 않는다.

이 차이를 알고 나면, 시장에서 팔리고 있는 ‘온톨로지 구축 프로젝트’ 대부분의 정체가 드러난다. 납품되는 것은 Neo4j, ArangoDB, JanusGraph 같은 그래프 DB 위에 그려진 KG, 혹은 그 KG의 일부 스키마 정도다. 진짜 의미의 온톨로지(공리·추론 규칙·논리적 일관성을 갖춘 형식 모델)는 거의 만들어지지 않는다. 더 정확히 말하면, 만들 수 없다. 시간이 부족해서가 아니라, 그것을 만들 만큼 정합적인 도메인 지식이 발주사 내부에 정리되어 있지 않기 때문이다.

진짜 더 큰 문제: 기업의 데이터 그 자체

여기서 잠시 시선을 컨설팅 회사가 아니라 발주사 쪽으로 옮겨야 한다. 많은 기업이 ‘우리 회사도 데이터를 쌓고 있다’고 말한다. 그러나 그 데이터가 온톨로지의 재료가 될 수 있는지 들여다보면 이야기가 달라진다.

같은 회사 안에서 영업 CRM은 ‘잠재고객’까지 고객으로 잡고, 재무시스템은 ‘실제 결제 고객’만 고객으로 잡는다. 공장에서는 ‘월 단위 생산’을 정의하는 기준일이 시스템마다 다르다. 누군가의 엑셀 파일에는 부서 내부의 약속만으로 정의된 ‘주력 제품군’이라는 분류가 살아 있고, 그 정의를 아는 사람은 그 부서에서 8년차 이상 근무한 김 과장 한 명뿐이다. 회사의 진짜 가치를 만드는 노하우의 상당 부분은 데이터가 아니라 김 과장의 머릿속에 있다.

기업 가치의 비중도 마찬가지다. KPMG와 Ocean Tomo의 무형자산 비중 추정에 따르면, S&P 500 기업의 가치 가운데 무형자산이 차지하는 비중은 1975년 17%에서 2020년 90%를 넘었다. 한국의 주요 상장사도 큰 흐름은 같다. 회사를 지탱하는 가치는 점점 더 데이터화되지 않은, 인간의 머릿속에 있는, 명문화되지 않은 영역에 쏠리고 있다.

이 상태에서 외부 컨설팅사가 들어와 온톨로지를 그리겠다고 하면 어떤 일이 벌어지는가. 그들이 그릴 수 있는 것은 회사의 시스템에 이미 적혀 있는 것들의 그림이다. 김 차장의 머릿속, 부서 간 비공식 약속, 명문화되지 않은 운영 원칙은 그 그림 안에 들어오지 못한다. 결과적으로 ‘온톨로지’라는 이름이 붙은 산출물은 회사의 실제 작동 방식이 아니라, 회사의 시스템에 적힌 부분만 형식화한 그림이 된다. 비용은 수억에서 수십억이 들고, 도움은 그 비용에 한참 못 미친다.

그런데 이 문제 위에 한 겹이 더 있다. 시장에서 유통되는 자칭 온톨로지 전문가들의 상당수는, 위에서 정리한 온톨로지와 지식 그래프의 차이조차 명확히 구분하지 못한다. 그들이 자신감 있게 PPT에 적은 ‘Enterprise Ontology’라는 단어가 실제로는 무엇을 의미하는지 다시 물어보면, 답이 일관되지 않을 때가 많다. 발주사도 모르고, 수주사도 모른다. 모두가 같은 단어를 다르게 알고 있는 그 회의에서 수십억의 견적이 오간다.

제안서의 세 가지 Magic Word

지금 시장의 AI 솔루션 제안서, 기업 소개서, AX 컨설팅 자료를 일정 분량 이상 검토해본 사람이라면 한 가지 패턴을 눈치챘을 것이다. 거의 모든 자료가 약속이라도 한 듯 똑같은 세 가지를 강조한다.

첫째, 할루시네이션 제로(Hallucination Zero). AI가 거짓말을 하지 않게 만들겠다는 약속이다. 그러나 2026년 2월 arXiv에 발표된 <On the Fundamental Limits of LLMs at Scale>은 이 약속을 수학적으로 봉인한다. 어떤 열거 가능한 모델 클래스도 보편적으로 환각이 없을 수는 없다. 대각화 논리, 정지 문제(Halting Problem), 유한 정보 용량이라는 세 가지 이론적 한계가 함께 작용한다. 환각은 LLM의 결함이 아니라 LLM의 본질적 속성에 가깝다. 줄일 수는 있지만 0으로 만들 수는 없다. SQ Magazine이 정리한 2026년 벤치마크에 따르면 37개 모델의 환각률은 여전히 15%에서 52% 사이에 분포한다. 의료 요약 작업에서는 mitigation prompt 없이 64.1%까지 올라간다.

둘째, 온톨로지 구축. 이 글의 주제 그 자체이며, 앞서 본 대로 진정한 의미의 엔터프라이즈 온톨로지는 도메인 전문가, 온톨로지 공학자, 데이터 엔지니어, 그리고 도메인 지식이 형식화되어 있다는 전제가 모두 갖춰졌을 때만 점진적으로 구축될 수 있다. 한 회사의 컨설팅 프로젝트 한두 분기 안에 만들어지는 결과물은 정의상 온톨로지가 아니다.

셋째, 장기기억(Long-term Memory) 완벽 구현. AI 에이전트가 사용자나 조직의 이력을 영구적으로 기억하며 작동하게 하겠다는 약속이다. 그러나 LMU 뮌헨과 어도비 리서치가 ICML 2025에서 발표한 NoLiMa 벤치마크는 다른 그림을 보여준다. 13개의 최신 LLM 가운데 11개가 32K 토큰 시점에서 baseline 성능의 50% 이하로 무너졌다. 당시 가장 상위 모델이었던 GPT-4o조차 baseline 99.3%에서 32K 토큰 구간에서 69.7%로 떨어졌다. 최근의 모델은 이 부분에서 엄청난 개선이 있었다고는 하나 그것이 영구적 기억을 약속할 만큼이라고 보기는 어렵다. 컨텍스트 윈도우의 크기와 실제 활용 가능한 메모리 사이에는 큰 간극이 있고, 어떤 윈도우도 세션이 끝나는 순간을 살아남지 못한다. 외부 메모리 인프라(벡터 DB, 요약 압축, KO 등)로 보완해야 하는데, 이 분야는 2026년 4월 기준 시장 규모가 약 62억 7천만 달러로 추산되며, 아직 표준화된 솔루션이 자리잡지 못한 신생 영역이다.

이 셋을 한 페이지 안에 동시에 약속하고 있다면, 그 자료는 AI에 대한 깊은 이해 위에서 작성된 것이 아닐 가능성이 높다. AI 산업의 가장 어려운 세 가지 미해결 문제를 완성된 솔루션처럼 적은 그 PPT는, 그 자체로 작성자의 전문성에 대한 가장 정직한 진술서가 된다. 발주를 검토하는 입장이라면, 이런 자료를 만난 시점에 한 번 더 신중해질 필요가 있다.

그렇다면 어떻게 풀어 써야 하는가

이 세 가지 단어가 사라져야 한다는 뜻은 아니다. 다만 정직한 표현으로 다시 쓸 수 있다.

‘할루시네이션 제로’는 정직하게 쓰면 ‘검증 가능한 응답 설계’다. RAG 구조, 인용(citation) 의무화, 답변 신뢰도 점수 노출, 사실 검증 파이프라인 구축 같은 구체적 장치가 함께 적힐 때 신뢰가 생긴다.

‘온톨로지 구축’은 정직하게 쓰면 ‘도메인별 지식 그래프 우선 구축, 점진적 의미 모델 확장’이다. 한 부서, 한 업무, 한 도메인부터 KG를 만들어 효과를 검증하고, 그 위에 공통 어휘와 관계 정의를 단계적으로 추가하는 접근이다.

‘장기기억 완벽 구현’은 정직하게 쓰면 ‘세션 간 사용자 컨텍스트 보존 인프라 구축‘이다. 벡터 DB와 요약 메모리, 그리고 사용자가 직접 편집할 수 있는 메모리 레이어를 결합하는 방식이다.

용어 하나를 바꿨을 뿐인데 약속의 무게가 달라진다는 것을 느낄 수 있다. 전자는 결과를 약속하고, 후자는 과정을 약속한다. AI 도입에 있어 정직한 약속은 언제나 결과가 아니라 과정에 대한 약속이다.

가장 가까이, 그러나 여전히 멀다

이 글이 온톨로지가 불가능하다는 이야기로 읽혀서는 곤란하다. 정확히 그 반대다. 인공지능 기술의 발전, 특히 LLM의 자연어 이해 능력은 온톨로지 구축의 자동화를 역사상 가장 가까운 거리로 끌어당겼다. 2017년 트랜스포머 등장 이전까지 통계적 NLP에 의존하던 온톨로지 학습은 동음이의어 하나도 제대로 구분하지 못했다. 지금의 LLM은 비정형 문서에서 엔티티와 관계를 추출하고, 부서 간 용어 충돌을 자동으로 식별하며, 잠재적 온톨로지 후보를 제안할 수 있다. 뉴로-심볼릭(neuro-symbolic) 아키텍처가 결합된다면, 한때 2,000 person-year를 잡아먹었던 작업의 상당 부분이 자동화될 가능성이 보인다.

그러나 가깝다는 말이 도착했다는 말은 아니다. 자동화가 가능하더라도, 회사가 자기 자신을 어떻게 정의할지에 대한 답은 결국 사람이 내려야 한다. 그 답이 김 차장의 머리에서만 살아 있는 한, 어떤 LLM도 그것을 완전히 끌어낼 수 없다. 그리고 그 답을 끌어내는 작업은 컨설팅 한 분기로 끝나는 것이 아니라, 회사의 일상 운영 속에서 매일매일 누적되어야 하는 작업이다.

기업의 자본과 시간은 언제나 한정되어 있다. 그 자본을 ‘온톨로지 구축’이라는 거대한 청사진을 그리는 데 한 번에 쏟아붓는 것은 90%의 확률로 후회를 남긴다. 그보다는 작고 구체적인 도메인의 지식 그래프를 먼저 만들고, 그 KG가 실제 운영 속에서 사람과 AI의 협업을 어떻게 바꾸는지 검증하며, 그 학습 위에서 점진적으로 의미 모델을 확장해 나가는 길이 훨씬 안전하다. 온톨로지는 그 누적의 끝에서 자연스럽게 형성되는 결과지, 처음부터 그릴 수 있는 그림이 아니다.

420년 전 야콥 로르하르트가 라틴어로 이 단어를 처음 적었을 때, 그가 던진 질문은 이것이었다. 존재하는 것들을 우리는 어떻게 알 수 있는가. 2026년 한 회사의 회의실에서 같은 단어가 다시 떠오른다면, 우리도 같은 질문을 자신에게 먼저 던져야 한다. 우리 회사는 자기 자신을 알고 있는가?

여러분이 이 질문을 답할 준비가 되었을 때부터, 조직의 AI 전환은 비로소 시작된다.

이 칼럼은 [AI와 인간 사이] 시리즈의 다섯 번째 글입니다. — 김탄휴(Pablo Kim) · 하비탄AI 대표이사

이미지 출처: 이디오그램 생성