AI Agent 도입은 챗봇 하나를 붙이는 일이 아니에요. AI에게 맡길 업무를 정하고, 판단 근거가 될 사내 데이터를 연결한 뒤, 결과가 실제 업무로 이어지도록 흐름을 설계해야 해요. SHIFTONE이 대기업 프로젝트를 수행하며 확인한 핵심 과정을 6단계로 정리했고, 1편에서는 1~3단계 — 업무 선정 · 데이터 연결 · 실행 흐름 설계를 다룰게요.

이 글에 반영된 SHIFTONE 프로젝트

SK이노베이션 — 사내 반복 업무 AI Agent 적용 · AIOps 연계

삼성전자 — 글로벌 CS 콘텐츠 포털 구축 (RAG · 벡터 검색)

KT ds — LLM 모델 관리 및 Serving 플랫폼 구축

한화손해보험 — 차세대 장기보험 가입설계 AI Agent

AI Agent는 챗봇과 무엇이 다른가요?

일반적인 챗봇이 질문에 답하는 데 초점을 둔다면, AI Agent는 정해진 권한 안에서 사내 문서를 검색하고 업무 시스템의 정보를 조회해 다음 작업까지 처리해요.

예를 들어 "지난달 장애 현황을 정리해줘"라는 요청을 받으면 관련 데이터를 찾고, 원인을 분류하고, 보고서를 작성해 담당자에게 전달할 수 있어요. 중요한 의사결정을 AI가 대신한다기보다, 필요한 자료를 모으고 정리해 담당자의 판단을 돕는 역할에 가까워요.

1단계 — AI Agent를 적용할 업무 선정

첫 질문은 "어떤 AI 모델을 사용할까?"가 아니라 "우리 회사의 어떤 업무를 맡길까?" 여야 해요.

적용에 적합한 업무

같은 방식으로 반복되며 처리 기준이 비교적 명확한 업무
여러 시스템에서 정보를 찾아 정리하는 데 시간이 많이 드는 업무
처리시간 · 완료 건수 · 오류율 등 결과를 측정할 수 있는 업무
AI가 처리할 범위와 사람이 최종 확인할 지점을 구분할 수 있는 업무

신중해야 하는 업무

반면 결제 · 계약 · 인사처럼 오류의 영향이 크거나 담당자의 경험과 관계가 중요한 업무는 전면 자동화보다 사람의 승인 절차를 남겨두는 편이 안전해요. 기준이 자주 바뀌는 업무, 데이터가 거의 정리되지 않은 업무도 마찬가지고요.

SHIFTONE CASE 1 | SK이노베이션 사내 AI Agent

SHIFTONE은 SK이노베이션의 사내 반복 업무에 AI Agent를 적용하고, AIOps와 연계해 운영 이슈 대응을 효율화하는 체계를 구축·운영하고 있습니다.

이 사례가 보여주는 핵심은 AI Agent 자체를 먼저 만드는 것이 아니라, 반복 업무와 운영 데이터를 기준으로 적용 대상을 정하고 사용 결과를 바탕으로 계속 개선한다는 점입니다.

2단계 — AI가 판단할 수 있도록 사내 데이터 연결

AI Agent는 회사의 업무와 규정을 저절로 알지 못해요. FAQ, 기술문서, 매뉴얼, 상품 정보처럼 판단에 필요한 자료를 수집하고 검색 가능한 형태로 정리해야 해요.

사용자가 업무를 요청하면 시스템이 관련 자료를 먼저 찾고, AI는 그 자료를 근거로 답변하거나 다음 작업을 수행해요. 이게 RAG(Retrieval-Augmented Generation, 검색 증강 생성) 예요.

흐름 요약

사용자가 질문하거나 업무를 요청해요.
시스템이 관련 회사 자료를 찾아요.
찾은 자료를 AI에게 전달해요.
AI가 해당 자료를 바탕으로 답변하거나 업무를 처리해요.
필요하면 기존 사내 시스템을 통해 결과를 저장하거나 전송해요.

"모델 한 개 연결"로 끝나지 않아요

회사별 데이터와 업무 목적에 맞는 RAG 환경이 필요하고, 여러 AI 모델을 안정적으로 관리하고 제공하는 기반(Serving)도 필요해요.

Serving이란? AI 모델을 개발해 놓는 것에서 끝나지 않고, 실제 직원이나 서비스가 요청할 때 AI가 답변할 수 있도록 서버에서 제공하는 것이에요.

SHIFTONE은 KT ds의 LLM 모델 관리 및 Serving 플랫폼 구축 과정에서 모델별 사내 데이터를 활용한 RAG 환경과 모델 운영 구조를 구현했습니다.

SHIFTONE CASE 2 | 삼성전자 글로벌 CS 콘텐츠 포털

기존 콘텐츠는 FAQ · 기술문서 · 매뉴얼 등 다양한 형태로 작성돼 여러 DB와 시스템에 분산되어 있었습니다. SHIFTONE은 기존 DB 자료는 API와 배치 작업으로 수집하고, 문서 · 표 · 이미지는 AI 문서 인식과 파싱 기술을 활용해 텍스트와 구조를 추출했습니다.

수집한 내용을 그대로 저장하지도 않았습니다. LLM으로 문장을 교정하고 요약 · 번역 · 품질 평가를 거쳐 일정한 형식으로 정제한 후 DB에 저장했습니다. 최신 자료를 우선 활용할 수 있도록 작성일 · 수정일 · 버전 정보도 함께 관리했습니다.

현장에서 확인한 문제 — 유사도 90%가 정확도 90%는 아니에요

가장 어려웠던 부분은 검색 시스템이 계산한 벡터 유사도와 사람이 읽었을 때의 실제 의미가 다를 수 있다는 점이었어요. 유사도 점수가 90% 이상이어도 두 콘텐츠가 전달하는 정보에는 상당한 차이가 생기는 경우가 있었거든요.

그래서 AI의 최종 답변만 확인하지 않았어요. 실제로 검색된 원문과 유사도 점수, 최신 버전 여부, 법인 · 언어 · 등급별 접근 권한을 함께 점검했어요. 문제가 발생한 위치도 아래 네 단계로 나눠 확인하면서 검색 정확도를 개선했고요.

권한은 로그인 여부로 나누지 않았어요

접근 권한 역시 단순히 로그인 여부로만 구분하지 않았어요. Admin · Manager · Agent 역할을 기반으로 소속 법인 · 언어 · 등급에 따른 조회 권한과, 작성 · 수정 · 검토 · 승인 같은 기능 권한을 별도로 설계했어요. 같은 시스템을 쓰더라도 담당 업무에 따라 볼 수 있는 콘텐츠와 수행할 수 있는 작업이 달라지도록 한 거예요.

3단계 — 검색 결과가 실제 업무로 이어지는 흐름 설계

사내 자료를 잘 찾는 것만으로 AI Agent가 완성되지는 않아요. 사용자의 요청을 이해하고, 필요한 정보를 검색하고, 현업 담당자가 활용할 결과를 제공하는 전체 흐름을 연결해야 해요.

사용자가 자연어로 업무를 요청해요.
AI가 요청 의도와 필요한 조건을 파악해요.
RAG로 관련 사내 자료와 최신 정보를 검색해요.
AI가 추천 · 설명 · 보고서 등 업무에 필요한 결과를 만들어요.
담당자가 결과를 확인한 뒤 실제 업무 절차에 활용해요.

SHIFTONE CASE 3 | 한화손해보험 차세대 장기보험 가입설계 시스템

설계사가 챗봇 화면에 상품 문의 · 가입 조건 · 추천 요청 등을 자연어로 입력하면, AI가 관련 상품 지식을 검색해 맞춤형 추천과 설명을 실시간 텍스트로 제공하도록 구성했습니다.

추천의 근거를 높이기 위해 최신 약관 · 상품 설명서 · 설계 기준을 검색하는 RAG를 구축하고, 보험 용어와 가입설계 규칙에 맞게 모델을 세부 조정했습니다. 민감정보 노출이나 부적절한 답변을 걸러내기 위한 보안 · 검증 장치도 적용했습니다.

여기서 중요한 건 AI가 정식 설계서나 견적서를 바로 확정하는 구조가 아니라는 점이에요. 확인된 범위에서 AI는 공식 문서 발행 전 단계의 대화형 추천과 설명을 제공하고, 현업 담당자가 실제 가입설계 업무에 활용하도록 돕는 역할이에요.

기업용 AI Agent의 가치는 사람의 최종 판단을 없애는 데 있지 않습니다. 판단에 필요한 정보를 빠르고 일관되게 제공하는 데 있어요.

기업용 AI Agent 도입 전 확인할 세 가지

AI에게 맡길 업무와 사람이 확인할 지점이 구분되어 있나요?
AI가 참고할 데이터의 최신성 · 품질 · 접근 권한을 관리할 수 있나요?
AI가 만든 결과가 현업의 실제 업무 절차로 이어지도록 설계되어 있나요?

이 세 가지가 준비되어야 AI Agent가 시연용 챗봇에 머물지 않고 실제 업무를 바꾸는 도구가 될 수 있어요.

→ 다음 편에서 계속

2편에서는 전사 도입 이후 필요한 4단계 권한 관리 · 5단계 운영 관제 · 6단계 성과 개선을 SK하이닉스 AI Studio · AIOps 구축 경험을 중심으로 다룰게요. 파일럿에서 운영으로 넘어갈 때 실제로 무너지는 지점은 파일럿은 통과했는데 운영에서 멈춘다에서 따로 정리했어요. SHIFTONE의 구축 사례는 프로젝트 페이지에서 볼 수 있어요.