AI Agent 도입은 챗봇 하나를 만드는 일이 아니라, 업무를 선정하고 회사 데이터를 연결한 뒤 기존 시스템에서 실제 작업을 수행하도록 만들고, 지속적으로 관리하는 일입니다. 이 시리즈는 SHIFTONE이 엔터프라이즈 현장에서 얻은 6단계 프레임워크입니다. 1편에서는 1~3단계 — 업무 선정 · 데이터 연결 · 실행 흐름 설계까지 다룹니다.

관련 프로젝트

SK이노베이션 — 사내 반복 업무 자동화

한화생명 — 추천·견적·제안 업무 실행

KT ds · 삼성전자 — 사내 데이터와 RAG 연결

SK하이닉스 AI Studio — 모델·프롬프트·권한 관리

SK하이닉스 AIOps — 배포 후 모니터링과 개선

AI Agent는 챗봇과 무엇이 다른가?

챗봇은 단순히 “정해진 질문”에 답을 할 수는 있습니다. 하지만 AI Agent는 한 단계 더 나아가 사내 문서를 직접 검색하고, 업무 시스템 내에서 정보를 조회하며, 정해진 절차에 따라 실제 작업을 처리합니다.

우리 회사, 내 업무 맞춤형 AI가 있다는 의미입니다.

예를 들어 “지난달 장애 현황을 정리해줘”라는 요청을 받으면, 정해진 접근 권한에 따라 사내 관련 데이터를 찾고, 주요 원인을 분류하고, 보고서를 작성해 담당자에게 전달합니다. 담당자의 의사결정을 도와주는 역할입니다.

1단계 — AI Agent를 적용할 업무 선정

가장 먼저 정해야 할 질문:

우리 회사의 어떤 업무를 AI Agent에게 맡길 것인가?

AI Agent 적용에 적합한 업무

같은 방식으로 반복되는 업무
여러 시스템에서 정보를 찾아 정리하는 업무
판단 기준이 어느 정도 정해진 업무
처리 결과를 숫자로 측정할 수 있는 업무
사람이 매번 최종 처리하지 않아도 되는 업무

적용에 신중해야 하는 업무

법적 책임이 큰 최종 의사결정
기준이 자주 바뀌는 업무
담당자의 경험과 관계가 중요한 업무
데이터가 거의 정리되지 않은 업무
오류 발생 시 피해가 큰 결제 · 계약 · 인사 업무

2단계 — AI가 업무를 수행할 수 있도록 데이터 연결

AI가 어떤 자료를 보고 판단하게 할 것인가?

AI Agent는 회사 업무를 저절로 아는 것이 아닙니다. 사내 문서, 상품 정보, 고객 상담 자료, 운영 데이터 등을 연결해야 합니다.

흐름 요약

사용자가 질문하거나 업무를 요청합니다.
시스템이 관련 회사 자료를 찾습니다.
찾은 자료를 AI에게 전달합니다.
AI가 해당 자료를 바탕으로 답변하거나 업무를 처리합니다.
필요하면 기존 사내 시스템을 통해 결과를 저장하거나 전송합니다.

기업용 AI는 “모델 한 개 연결”로 끝나지 않는다

회사별 데이터와 업무 목적에 맞는 RAG 환경이 필요하고, 여러 AI 모델을 안정적으로 관리하고 제공하는 기반(Serving)도 필요합니다.

Serving이란? AI 모델을 개발해 놓는 것에서 끝나지 않고, 실제 직원이나 서비스가 요청할 때 AI가 답변할 수 있도록 서버에서 제공하는 것입니다.

SHIFTONE은 KT ds의 LLM 모델 관리 및 Serving 플랫폼 구축 과정에서 모델별 사내 데이터를 활용한 RAG 환경과 모델 운영 구조를 구현했습니다.

데이터 품질이 답변 품질을 결정한다

AI Agent의 답변 품질은 연결한 데이터의 품질에 크게 좌우됩니다. 특히 여러 국가와 조직에서 서로 다른 형식으로 관리하는 자료는 단순히 한 곳에 모으는 것만으로는 부족합니다. 검색 가능한 형태로 가공하고, 문서별 접근 권한과 최신성을 관리해야 합니다.

SHIFTONE은 삼성전자의 글로벌 CS 콘텐츠 포털 구축 과정에서 상담 콘텐츠의 통합 관리, 번역, 벡터 검색과 RAG 검색 환경을 구현했습니다.

3단계 — AI가 실제 업무를 처리하는 흐름 설계

AI가 정보를 찾은 다음, 어떤 순서로 무엇을 실행하게 할 것인가?

기본 구성

사용자 — AI에게 업무 요청
AI 모델 — 요청 의도 파악
RAG — 관련 사내 정보 검색
업무 도구 — DB · ERP · CRM · 메일 등과 연결
Workflow — 작업 순서 제어
승인 절차 — 중요한 단계에서 담당자 확인
결과 — 추천, 보고서, 견적서, 알림 등 제공

실제 사례 — 한화생명 차세대 가입설계 시스템

설계사가 챗봇 인터페이스에 자연어로 조건을 입력하면, 시스템은 아래 순서로 답을 만듭니다.

설계사가 고객 조건을 입력합니다.
AI가 고객의 요청을 이해합니다.
상품 데이터에서 적합한 내용을 검색합니다.
관련 상품을 추천합니다.
견적이나 제안 내용을 구성합니다.
설계사가 결과를 확인하고 고객에게 활용합니다.

결과 형태

챗봇 대화창 안에서 텍스트 메시지 형태로 맞춤형 상품 추천 및 답변이 실시간 출력됩니다 (정식 설계서 · 견적서 PDF 발행 전 단계의 대화형 추천).

사람이 최종 확인하는 단계

챗봇이 제안한 추천 텍스트를 설계사가 확인한 후 실제 가입설계 프로세스로 연결됩니다. AI 결과가 검수 없이 시스템에 직결되지 않도록, 담당자에게 한 번 더 확인을 강제하는 구조입니다.

잘못된 추천을 막기 위한 장치

RAG (검색 증강 생성) — 최신 약관, 상품 설명서, 설계 기준 DB를 검색해 근거 기반으로 답변 생성.
도메인 특화 LLM 파인튜닝 — 보험 도메인 용어 및 가입설계 규칙에 맞게 언어모델을 미세 조정.
보안 · 검증 가드레일 — 민감/개인정보 노출 방지, 부적절한 답변을 걸러내기 위한 다중 · 보조 LLM 기반 실시간 모니터링 · 필터링.

AI Agent의 핵심은 대화 화면 자체가 아니라 대화 이후에 연결되는 업무 흐름입니다. 사내 지식 검색에서 끝나지 않고, 실제 현업 담당자가 사용하는 결과물을 만들어야 합니다.

→ 다음 편에서 계속

4단계 (권한 관리) · 5단계 (운영 관제) · 6단계 (지속 개선) 는 2편에서 이어갑니다.

우리 회사에도 AI Agent를 채용하고 싶다면 도입 상담으로 연락 주세요.