[제조업 AX] 우리 공장 전용 AI를 만들 수 있다

이 기사, AI에게 물어보기

RAG와 파인튜닝, 중소기업도 가능한가 — 바른질문부터 시작하라

“우리 회사 전용 AI를 만들고 싶은데, 얼마나 들어요?”

AX 컨설팅 현장에서 가장 자주 받는 질문 중 하나다. 경영자들은 대개 “AI한테 우리 회사 데이터를 먹이면 우리 회사 일을 척척 해주는 AI가 생기는 것 아니냐”고 기대한다. 틀린 말이 아니다. 그것이 가능해진 시대가 왔다. 그런데 문제는 그 기대 앞에 반드시 먼저 답해야 할 질문이 있다는 것이다.

“우리 회사 데이터가 지금 어디 있습니까?”

이 질문에 자신 있게 답할 수 있는 중소 제조기업이 얼마나 될까. 품질 클레임 이력은 담당자 노트북 속 엑셀에 있고, 설비 점검 기록은 종이 체크리스트에 있으며, 30년 베테랑의 노하우는 그의 머릿속에 있다. ‘전용 AI’를 만들기 전에 ‘전용 AI에게 먹일 데이터’가 먼저 있어야 한다. 이것이 바른질문이 가리키는 출발점이다.

RAG와 파인튜닝, 무엇이 다른가?

‘우리 회사 전용 AI’ 구축 방법은 크게 두 가지다. RAG(Retrieval-Augmented Generation, 검색 증강 생성)와 파인튜닝(Fine-tuning)이다. 이 두 개념을 현장 언어로 번역하면 이렇다.

파인튜닝은 AI 모델 자체를 우리 회사 데이터로 재교육하는 것이다. 요리사에게 비유하자면, 우리 회사 레시피만 집중적으로 가르쳐 완전히 다른 요리사로 만드는 것이다. 결과물의 일관성과 전문성은 높아지지만, 시간과 비용이 크다. 한국 시장 기준 풀 파인튜닝 외주는 1억~5억 원, LoRA·PEFT 파인튜닝도 5,000만~2억 원이 일반적이며, 데이터가 바뀔 때마다 다시 학습시켜야 한다.

RAG는 다르다. AI 모델 자체를 바꾸는 것이 아니라, AI 옆에 ‘우리 회사 전용 도서관’을 만들어두는 것이다. AI가 질문을 받으면 그 도서관을 먼저 검색해 관련 정보를 찾아 답한다. 파인튜닝처럼 천문학적인 비용을 들이지 않아도 되고, 범용 AI처럼 기업 데이터를 활용하지 못하는 한계도 없다. 데이터가 바뀌어도 문서 업데이트만으로 대응이 가능하다.

정보가 자주 바뀌거나 출처 추적이 필요하면 RAG, 특정 말투나 전문 어휘를 모델에 체화시키는 게 목적이면 파인튜닝이 맞다. 중소 제조기업이 처음 ‘우리 회사 전용 AI’를 만든다면, 답은 거의 항상 RAG에서 시작해야 한다. 비용, 속도, 유지보수 세 가지 모두에서 현실적이기 때문이다.

현장이 말해주는 것 — 성공과 실패를 가르는 단 하나의 차이

▶️ 사례 1 — “박 반장님이 퇴직하셨는데, 아직도 여기 계세요”

경남 소재 자동차 부품 기업 O사는 이 연재에서 계속 소개해온 AX 단계를 성실하게 밟아온 회사다. 1단계에서 생성형 AI 구독으로 클레임 대응을 자동화했고, 암묵지 인터뷰로 핵심 기술자의 노하우를 6개월간 녹음·정리했으며, 그 과정에서 용접 공정 데이터도 축적했다.

이 축적된 데이터를 바탕으로 필자와 함께 RAG 기반 사내 AI를 구축했다. 투입된 문서는 세 가지였다. 첫째, 암묵지 인터뷰를 AI로 구조화한 텍스트 파일 87개. 둘째, 과거 5년치 품질 클레임 이력과 원인 분석 보고서. 셋째, 주요 설비 매뉴얼과 내부 작업 표준서. 기술적 구현은 클로드 API와 간단한 벡터 데이터베이스를 활용했고, 외부 개발 비용은 300만 원 이내였다.

결과는 3개월 후에 나타났다. 신입 작업자가 이상 상황에 직면했을 때 챗봇에 물었다. “용접 전류가 평소보다 높게 나오는데 소재 문제일까요, 장비 문제일까요?” 챗봇이 답했다. “박 반장님 인터뷰 기록에 따르면, 이 소재는 기온이 10도 이하일 때 전류 허용 범위가 달라집니다. 오늘 같은 날씨라면 먼저 예열 시간을 확인하세요. 관련 클레임 이력 2건을 참고하세요.”

박 반장은 3개월 전에 퇴직했다. 그러나 그의 30년이 시스템 안에 살아 있었다. 현장 팀장이 필자에게 보낸 메시지가 기억에 남는다. “박 반장님이 퇴직하셨는데, 아직도 여기 계신 것 같아요.”

▶️ 사례 2 — “AI한테 먹일 것이 없었습니다”

울산 소재 금속 가공 기업 P사는 비슷한 시기에 ‘우리 회사 전용 AI’ 구축을 시도했다. 경영자의 의지도 강했고, 예산도 어느 정도 준비했다. 그런데 구축 착수 단계에서 벽에 부딪혔다.

문서화된 데이터가 없었다. 품질 기준은 담당자 머릿속에 있었고, 과거 클레임 이력은 이메일 첨부파일 속에 흩어져 있었으며, 핵심 기술자 두 명이 갖고 있는 노하우는 단 한 줄도 텍스트로 존재하지 않았다. RAG에 올릴 ‘도서관 책’이 없었던 것이다.

결국 P사는 전용 AI 구축을 잠정 중단하고 다시 원점으로 돌아갔다. 지금 이 회사가 하고 있는 일은 주 1회 핵심 기술자 인터뷰 녹음, 클레임 이력 정리, 작업 표준서 문서화다. 6개월 후에 다시 시작하기로 했다.

두 회사의 차이는 기술이 아니었다. 데이터였다. O사가 성공한 것은 RAG 기술이 뛰어나서가 아니라, RAG에 올릴 데이터를 미리 만들어놓았기 때문이다. P사가 멈춘 것은 예산이 부족해서가 아니라, 아직 ‘도서관 책’이 없었기 때문이다. 40년 경력 베테랑 기술자가 은퇴하기 전 그의 노하우를 문서화하여 RAG 시스템에 입력했더니, 신입 엔지니어도 30초 만에 그 노하우에 접근할 수 있게 됐다는 사례가 먼 나라 이야기가 아니다. O사가 바로 그 사례다.

중소 제조기업의 현실적인 ‘전용 AI’ 구축 3단계

그렇다면 지금 당장 시작할 수 있는 현실적인 경로는 무엇인가. 필자가 울산·경남·부산 현장에서 검증해온 3단계를 제시한다.

1단계 — 지금 있는 문서부터 모아라 (0원~수십만 원)

첫 번째 단계에서 필요한 것은 기술이 아니라 수집이다. 작업 표준서, 설비 매뉴얼, 품질 클레임 이력 보고서, 거래처별 납품 사양서, 정부 지원사업 신청서. 이미 회사 어딘가에 존재하는 문서들을 한곳에 모아 PDF나 텍스트 파일로 정리하는 것이다. 번거로운 재학습 없이 사내 문서를 실시간으로 참조하는 RAG의 핵심은 결국 그 문서의 존재와 품질에 달려 있다. 이 단계에서 비용은 거의 들지 않는다. 시간과 의지가 필요할 뿐이다.

2단계 — 가장 쉬운 것부터 올려 써봐라 (월 수만 원)

ChatGPT나 클로드의 커스텀 지식 기능을 이용하면 코딩 없이도 RAG와 유사한 경험을 할 수 있다. ChatGPT GPTs의 ‘Knowledge’ 기능에 문서를 올리면 GPT가 그 문서를 참조 소스로 쓰는데, 내부적으로 RAG와 유사한 방식이 작동한다. 먼저 클레임 이력 보고서 10개를 올리고, “이런 불량이 나왔을 때 과거 원인이 뭐였는지 찾아줘”라고 물어보라. 완벽하지 않더라도 작동하는 것을 직접 경험하는 것이 중요하다. 이 경험이 쌓여야 다음 단계로의 투자 판단이 생긴다.

3단계 — 데이터가 충분해지면 본격 구축하라 (수백만 원)

6개월 이상 데이터를 축적하고 2단계 경험으로 어떤 질문에 어떤 답이 필요한지 감이 생겼다면, 그때 본격적인 RAG 시스템 구축을 검토한다. 벡터 데이터베이스와 API를 연결하는 작업은 이제 전문 개발사 없이도 가능한 영역이 됐다. 바이브 코딩으로 현장 직원이 직접 만들 수도 있고, 소규모 AI 개발사에 의뢰해도 수백만 원 내외로 가능하다. RAG 기반 시스템은 AI 환각 현상을 70~90% 감소시키고 최신 정책 및 정보에 대한 쿼리에서 95~99%의 정확도를 보인다는 분석도 있다. 중요한 것은 이 단계에 진입하기 전 1단계와 2단계가 충분히 선행되어야 한다는 점이다. 순서를 건너뛰면 P사처럼 돈만 쓰고 멈추게 된다.

파인튜닝은 언제 필요한가

중소 제조기업에게 지금 당장 파인튜닝이 필요한 경우는 드물다. 그러나 예외가 있다. 우리 회사만의 특수한 기술 언어나 공정 용어가 너무 많아서 범용 AI가 맥락을 전혀 이해하지 못하는 경우, 혹은 AI가 생성하는 문서의 형식과 어조가 정밀하게 통일되어야 하는 경우다. 예컨대 특수 소재를 다루는 뿌리 업종 기업에서 베테랑 기술자만 아는 공정 언어 수백 개를 AI에게 체화시켜야 한다면, 그때는 파인튜닝을 검토할 수 있다.

그러나 이 경우에도 순서가 있다. RAG로 먼저 시작해서 어떤 영역에서 AI의 답이 지속적으로 틀리는지를 파악한 뒤, 그 특정 영역에 대해서만 파인튜닝을 적용하는 하이브리드 접근이 현실적이다. 파인튜닝으로 말투와 형식을 맞추고 RAG로 최신 정보를 보충하는 하이브리드 구조가 실측 정확도가 가장 높다. 수억 원짜리 파인튜닝부터 시작하는 것은 데이터도 없이 휴머노이드 로봇을 들여오는 것과 같다.

AX 로드맵에서 전용 AI의 위치 — 2단계의 완성

이 연재를 처음부터 읽어온 독자라면 AX 4단계 로드맵을 기억할 것이다. 1단계 AI 문해력, 1.5단계 바이브 코딩, 2단계 우리 회사 전용 AI, 2.5단계 센서 기반 예지보전, 3단계 Physical AI. ‘우리 회사 전용 AI’는 바로 2단계에 해당한다.

이 단계가 중요한 이유는 단순히 편리함 때문이 아니다. 2단계에서 구축된 전용 AI가 2.5단계의 센서 데이터와 결합될 때, “이 진동 패턴이 과거 어떤 고장과 유사한가” 를 묻고 답할 수 있게 된다. 그리고 3단계의 휴머노이드 로봇이 공장에 들어왔을 때, 그 로봇에게 “우리 공장에서는 이런 상황에서 이렇게 판단해왔다” 를 가르칠 교재가 된다. 전용 AI는 그 자체가 목적이 아니라, 다음 계단으로 올라가기 위한 디딤돌이다.

앞선 연재의 O사가 보여준 것이 바로 이 흐름이다. 암묵지 인터뷰(2편)로 만든 데이터가 전용 AI(이번 편)의 원료가 됐고, 용접 공정 센서 데이터(4편)가 그 AI를 더 정교하게 만들고 있다. P사가 멈춘 지점도 명확하다. 2편의 작업이 선행되지 않았기 때문에 이번 단계로 올 수 없었다. 계단은 순서가 있다.

이미지 출처: 이디오그램 생성