AI Agent는 시범 운영 때보다 전사 적용 이후가 더 어려워요. 사용자가 늘어나면 "누가 어떤 데이터와 모델을 쓸 수 있는가", "오류가 났을 때 어디서 원인을 찾을 것인가", "도입 효과를 무엇으로 증명할 것인가"가 동시에 문제가 되거든요.

1편에서 AI Agent에 적합한 업무를 고르고 데이터와 업무 흐름을 설계하는 방법을 다뤘다면, 2편에서는 실제 운영 단계에서 필요한 기준을 4~6단계로 설명할게요.

이 글에 반영된 SHIFTONE 프로젝트

SK하이닉스 전사 사용자를 위한 AI Studio 플랫폼 구축 및 운영

SK하이닉스 AIOps 기반 IT 운영 지능화 및 품질 개선

4단계 — 기존 조직 체계에 맞춰 권한과 운영 책임을 설계해요

기업용 AI Agent의 권한은 화면 접속 허용 여부만 뜻하지 않아요. 어떤 프로젝트에 들어갈 수 있는지, 어떤 모델과 데이터를 쓸 수 있는지, 개발 · 조회 · 실행 중 어디까지 가능한지를 함께 정해야 해요. 이 기준이 없으면 같은 조직 안에서도 데이터 접근 범위와 실행 권한이 제각각이 돼요.

SHIFTONE CASE 4 | SK하이닉스 AI Studio의 권한 설계

SHIFTONE은 AI Studio의 별도 권한 체계를 새로 만드는 대신, 기존 HCP의 Role과 연계하는 방향으로 설계했습니다. 담당자 확인 내용에 따르면 운영 권한은 세 층위로 구분됩니다.

Project 권한 — 사용자가 참여할 수 있는 프로젝트 범위를 관리

Developer — 모델 · 프롬프트 · 기능을 개발하고 설정하는 역할

Viewer — 만들어진 결과를 조회하고 사용하는 역할

핵심은 AI 플랫폼을 기존 사내 계정 · 역할 체계와 분리하지 않은 것이에요. 사용자는 익숙한 권한 기준을 그대로 쓸 수 있고, 운영자는 중복 계정과 상충하는 권한을 줄일 수 있거든요.

확정된 권한과 아직 협의할 정책을 구분해요

다만 모든 기준이 처음부터 확정되지는 않아요. 담당자와의 커뮤니케이션 과정에서 Agent Model 권한을 기존 HCP 권한과 어느 수준까지 일치시킬지는 추가 협의가 필요한 항목으로 확인됐어요. 모델 사용 권한은 비용과 보안에 직접 연결되니까, 단순히 "접속 가능"으로 끝내기보다 프로젝트 중요도, 참여 인원, 요구 성능과 비용을 기준으로 배분 원칙을 정해야 해요.

운영 책임도 같은 방식으로 명확히 해야 해요. 워크스페이스 · 모델 · 프롬프트를 전체 플랫폼 책임자가 관리할지 각 프로젝트 책임자가 관리할지 정하고, 변경 승인과 이력 관리의 주체까지 지정해야 하고요. 현장에서는 이렇게 확정된 권한과 아직 협의할 정책을 구분해 관리하는 게 중요합니다.

5단계 — 답변 결과가 아니라 전체 실행 과정을 모니터링해요

AI Agent가 틀린 답을 했을 때 모델만 확인해서는 원인을 찾기 어려워요. 사내 문서를 제대로 불러오지 못했을 수도 있고, RAG 검색이 관련 없는 자료를 골랐을 수도 있고, 외부 도구나 API 호출 또는 권한 검사 단계에서 실패했을 수도 있어요. 그래서 입력부터 최종 실행까지 단계별 기록을 남겨야 해요.

SHIFTONE CASE 5 | SK하이닉스 AIOps 운영 경험

SHIFTONE은 SK하이닉스 AIOps 프로젝트에서 흩어진 운영 이벤트를 통합해 모니터링하고, 이상 징후를 탐지하며, 장애의 탐지 · 분석 · 대응 흐름을 자동화하는 체계를 구축했습니다. 또한 운영 품질 지표를 리포트로 확인하고 개선 활동으로 연결했습니다.

AIOps가 IT 인프라 운영을 지능화하는 체계라면, AgentOps는 AI Agent의 답변과 행동을 운영하는 체계예요. 대상은 다르지만 원리는 같아요. 이벤트와 로그를 한곳에서 보고, 이상을 빠르게 발견하고, 원인을 추적해 다음 개선으로 연결하는 거죠.

최소한 함께 봐야 할 네 영역

업무 품질 — 작업 성공률, 답변 정확도, 검색 정확도, 사람의 수정 비율
시스템 안정성 — 오류 · 장애 발생률, 응답 속도, 복구 시간
비용과 자원 — 모델 호출량, 작업 1건당 비용, 불필요한 반복 실행
실제 활용 — 사용자 수, 재사용률, 부서별 이용 패턴

이 지표를 데이터 검색 · 모델 판단 · 도구 실행 · 권한 확인 단계와 연결하면 "결과가 나빴다"에서 끝나지 않고 어느 단계에서 문제가 생겼는지 확인할 수 있어요.

6단계 — 업무 성과와 운영 지표를 함께 측정해 개선해요

AI Agent의 성과를 사용량 하나로 판단하면 안 돼요. 많이 쓰였더라도 사람이 계속 결과를 고쳐야 한다면 자동화 효과가 낮을 수 있고, 정확도가 높더라도 비용과 응답 시간이 지나치게 늘면 확산하기 어렵거든요.

핵심은 도입 전 기준값을 먼저 기록해 두는 것이에요. 비교 대상이 없으면 개선을 증명할 수 없으니까요.

권장 성과 기준

업무 성과 — 처리 시간, 자동화된 단계 수, 반복 작업 감소율
AI 품질 — 업무 성공률, 검색 정확도, 사람의 수정 · 재처리 비율
운영 효율 — 장애 빈도, 탐지 · 복구 시간, 작업당 모델 비용
확산 가능성 — 활성 사용자, 반복 사용, 적용 부서와 업무 수

SK하이닉스 AIOps에서 품질 지표를 리포트와 개선 활동으로 연결했던 것처럼, AI Studio도 측정 결과가 다음 운영 결정으로 이어져야 해요. 정확도가 낮으면 데이터와 검색 구조를, 비용이 높으면 모델 선택과 호출 방식을, 사용률이 낮으면 대상 업무와 사용자 안내를 다시 점검하는 식이에요.

도입 후 반드시 답해야 할 세 가지 질문

누가 어떤 데이터 · 모델 · 기능을 쓸 수 있나요?
오류가 발생하면 어느 단계에서 원인을 찾을 수 있나요?
도입 전보다 업무 시간 · 품질 · 비용이 얼마나 개선됐나요?

AI Agent의 전사 확산은 모델을 연결하는 것으로 끝나지 않습니다. 기존 조직의 권한 체계와 연결하고, 실행 전 과정을 관찰하며, 성과 지표를 다음 개선으로 이어야 비로소 지속 가능한 운영 체계가 돼요.

우리 회사는 AI Agent를 도입할 준비가 됐을까요?

아래 9개 항목에 "예/아니오"로 답해 보세요.

반복적으로 처리하는 업무가 명확한가?
업무 처리 기준을 문서로 설명할 수 있는가?
AI가 참고할 사내 데이터가 정리돼 있는가?
연결해야 할 기존 시스템과 API가 있는가?
AI가 처리할 수 있는 권한 범위를 정했는가?
사람이 승인해야 하는 단계를 구분했는가?
오류 발생 시 대응 담당자가 정해져 있는가?
처리시간 · 정확도 등 성과지표를 측정할 수 있는가?
PoC 이후 운영과 개선을 담당할 조직이 있는가?

5개 이상 "예"라면 파일럿을 시작할 수 있는 조건이에요. 3개 이하라면 PoC 전에 업무 · 데이터 정리부터 권해요.

파일럿을 통과하고도 운영에서 멈추는 구조적인 이유는 파일럿은 통과했는데 운영에서 멈춘다에서 따로 정리했어요. SHIFTONE은 AI Agent의 업무 선정과 데이터 설계부터 권한 · 모니터링 · 성과 개선까지 기업 환경에 맞는 도입과 운영 체계를 함께 설계합니다 — 자세한 범위는 서비스 역량에 있어요.