LLM 시대에 온톨로지는 왜 다시 중요한가

온톨로지

들어가며

대규모 언어 모델(LLM)의 등장은 AI 시스템의 인터페이스와 활용 범위를 획기적으로 확장시켰다. 그러나 LLM이 만들어내는 유창한 자연어 뒤에는 여전히 근본적인 한계가 존재한다. LLM은 언어 패턴에는 강하지만, 의미와 논리에는 본질적으로 약하다는 점이다.

이 한계를 보완하기 위해 최근 다시 주목받고 있는 개념이 바로 **온톨로지(Ontology)**다. 본 글에서는 다음 질문에 체계적으로 답하고자 한다.

온톨로지는 무엇이며, AI에서 어떤 역할을 하는가?
온톨로지와 지식 그래프는 어떻게 다른가?
Graph RAG는 온톨로지를 대체할 수 있는가?
LLM 기반 서비스에서 온톨로지는 실제로 어디에 위치해야 하는가?

1. 온톨로지란 무엇인가: 데이터가 아닌 ‘의미의 계층’

온톨로지는 특정 도메인에서 사용되는 개념(concept), 관계(relation), 그리고 **규칙(rule)**을 명시적으로 정의한 의미적 모델이다. 단순히 데이터를 저장하거나 구조를 정의하는 것이 아니라, *“이 세계를 어떻게 이해해야 하는가”*를 규정한다.

예를 들어 의료 도메인에서 온톨로지는 다음과 같은 사실을 정의한다.

Doctor ⊆ Person
treats라는 관계의 주체는 반드시 Doctor여야 한다
Hospital은 Organization이지 Person이 아니다

이러한 정의는 인간에게는 상식이지만, AI 시스템에게는 명시되지 않으면 결코 알 수 없는 규칙이다.

2. AI에서 온톨로지가 중요한 이유

2.1 의미 기반 추론(Reasoning)

온톨로지는 AI가 명시되지 않은 사실을 논리적으로 도출할 수 있게 한다.

예를 들어 다음이 주어졌다고 하자.

A가 B를 치료한다
treats의 domain은 Doctor

온톨로지 기반 추론을 통해 시스템은 자동으로 다음을 도출할 수 있다.

A는 Doctor이다 A는 Person이다

이러한 추론은 전통적인 머신러닝이나 LLM만으로는 불가능하다.

2.2 일관성 검증과 오류 탐지

LLM은 종종 그럴듯하지만 잘못된 진술(환각)을 만들어낸다. 온톨로지는 이를 구조적으로 차단하는 역할을 한다.

예:

“간호사가 수술을 집도한다” → 온톨로지 규칙 위반 → 즉시 오류로 판단

의료·법률·금융과 같이 틀리면 안 되는 도메인에서 이는 결정적인 차이다.

2.3 설명 가능한 AI (Explainability)

온톨로지와 지식 그래프를 사용하면, AI의 판단 결과에 대해 “왜 이 결론이 나왔는가”를 논리 경로로 설명할 수 있다.

이는 단순한 사용자 신뢰를 넘어, 규제·감사·책임의 문제와 직결된다.

3. 온톨로지 vs 지식 그래프: 설계도와 건물의 관계

온톨로지와 지식 그래프는 자주 혼용되지만, 역할은 명확히 다르다.

구분	온톨로지	지식 그래프
핵심 역할	개념·의미·규칙 정의	실제 사실과 인스턴스
성격	추상적, 안정적	구체적, 동적
예	“의사는 사람이다”	“이이 박사는 의사다”

비유하자면:

온톨로지는 법전 혹은 설계도
지식 그래프는 판례 혹은 실제 건물

지식 그래프는 온톨로지 없이는 단순한 연결 데이터에 그치며, 온톨로지는 지식 그래프를 통해 비로소 현실과 연결된다.

4. LLM 시대의 표준 아키텍처: 온톨로지는 어디에 위치하는가

현대 AI 서비스에서 가장 안정적인 구조는 다음과 같은 하이브리드 아키텍처다.

온톨로지, 아키텍처

이 구조에서의 핵심 원칙은 명확하다.

LLM은 언어 인터페이스
온톨로지는 사고 체계
지식 그래프는 기억
Reasoner는 논리 엔진

LLM은 판단하지 않고, 온톨로지가 사고한다.

5. Graph RAG는 온톨로지를 대체할 수 있는가?

결론부터 말하면:

Graph RAG는 온톨로지를 ‘활용’할 수는 있지만, ‘대체’하지는 못한다.

5.1 Graph RAG가 잘하는 것

엔티티 및 관계 기반 검색
개념 스키마를 활용한 쿼리 확장
관련 문서 및 노드 탐색

이 영역에서는 Graph RAG가 경량 온톨로지의 역할 일부를 수행할 수 있다.

5.2 Graph RAG의 한계

그러나 Graph RAG는 본질적으로:

형식 논리 기반 자동 추론
일관성 검사
규칙 위반 탐지

를 기본 제공하지 않는다.

즉, Graph RAG는 “의미를 따라 탐색”할 수는 있지만 “의미가 논리적으로 맞는지 판단”하지는 못한다.

5.3 현실적인 최적 해법

실무적으로 가장 많이 채택되는 구조는 다음이다.

Graph RAG
 + 경량 온톨로지(타입/관계 정의)
 + SHACL 또는 Rule Engine

Graph → 관계 기반 탐색
온톨로지 → 의미 정의
규칙/제약 → 오류 차단

6. 언제 온톨로지를 써야 하는가

반드시 필요한 경우

도메인이 복잡하다
규칙과 예외가 많다
오류 비용이 크다
설명 가능성이 요구된다

→ 의료, 법률, 금융, 사내 지식 시스템

굳이 필요 없는 경우

감성/창작 중심
오류 허용 가능
단순 추천·대화

맺으며

LLM은 AI를 “말하게” 만들었지만, 온톨로지는 AI를 “이해하게” 만든다.

Graph RAG는 강력한 도구지만, 의미와 논리의 최종 책임은 여전히 온톨로지에 있다.

진정으로 신뢰할 수 있는 AI 시스템은 LLM의 유연함과 온톨로지의 엄밀함이 결합될 때 완성된다.

언어는 LLM에게 맡기고, 의미는 온톨로지에게 맡겨라.