SHIFTONE BLOG
현장에서 배운 것을 씁니다
AI Agent · AIOps · 클라우드 · 데이터 엔지니어링 —
프로젝트를 굴리며 정리한 실전 원칙과 실험을 공유합니다.
개정된 지 석 달인데 챗봇은 옛 규정을 답해요 — RAG 지식베이스 문서 최신화, 낡은 문서가 색인에 남는 세 자리
규정은 7월에 개정됐는데 챗봇은 옛 한도를 답해요. 개정 전 버전 · 반려 초안 · 회의록이 같은 색인에 남을 때를 40문항으로 재봤더니, 그냥 추가하면 개정 조항 20문항 중 15문항에서 옛 값이 1위였어요. 시간 감쇠는 반쪽이었고, 답은 정본 · 현행 메타데이터 필터였어요.
60일 뒤 사라지는 모델, 설정 한 줄 바꾸고 끝내도 될까요 — LLM 모델 교체를 배포처럼 다루는 평가 게이트
은퇴 공지와 5분의 1 가격 모델이 같은 주에 왔어요. 모델 ID 한 줄을 바꾸면 temperature 가 400 을 내고, 검색 도구 호출은 조용히 줄어요. LLM 모델 교체를 코드 배포처럼 다루는 세 겹, 게이트웨이 역할 이름 · 골든셋 평가 게이트 · 트래픽 일부 비교와 설정 한 줄 롤백을 정리했어요.
AI 에이전트가 발주를 세 번 넣었어요 — 도구 호출 재시도, 멱등성 키는 누가 만들어야 하나요
타임아웃은 실패가 아니라 '모른다'예요. AI 에이전트의 도구 호출 재시도를 세션 2,000개로 재현해 보니, 멱등성 키를 호출 ID 로 만들면 44개 세션이, 인자 해시로 만들면 정상 주문 52건이 어긋났어요. 키를 모델 밖 업무 식별자에서 가져온 기록입니다.
RAG 청킹 전략, 크기보다 경계와 이름표였어요 — '경비 정산'을 물었더니 출장 규정이 답한 이유
RAG 청킹 전략을 고정 길이 · 겹침 · 문장 경계 · 섹션 · 섹션+제목 다섯 가지로 나눠 질문 40개로 재봤어요. 겹침은 색인을 26% 키웠고, 섹션 단위는 LLM에 넘기는 양을 절반으로 줄였지만 조각이 자기 문서 이름을 잃는 문제가 있었어요.
말은 못 해도 판단은 0.1초 — AI 에이전트의 '판단 모델' Jev 가 바꿀 것들
에이전트가 LLM 을 부르는 일 대부분은 글쓰기가 아니라 고르기예요. TypeSafe AI 의 Jev 는 글을 쓰지 않는 대신 0.1초 안팎에 보기와 확률로 답하고, 출력 토큰은 받지 않아요. 에이전트 어디에 넣을 수 있는지, 아직 믿으면 안 되는 부분은 무엇인지 정리했어요.
AI 에이전트 프롬프트 인젝션, 모델을 믿을까요 도구를 잠글까요 — 속은 모델이 실행까지 가는 공격을 재봤어요
메일 한 줄에 숨은 지시로 에이전트가 움직여요. 모델이 항상 속는다고 가정하고 네 가지 방어를 세션 2,000개로 비교했어요. 키워드 필터와 Rule of Two 가 서로 다른 걸 놓쳤고, 도구 인자 범위를 고정하자 유출·피싱은 막혔지만 결과물 내용 오염은 남았어요.
트레이스는 전부 초록색인데 답이 틀렸어요 — AI 에이전트 관측성에서 도구 호출 실패가 사라지는 자리
도구가 권한 오류를 HTTP 200 + 빈 목록으로 돌려주면 스팬은 성공으로 닫혀요. 계측만 네 가지로 바꿔 도구 호출 900회를 돌려보니, 예외만 보는 계측은 실패의 85%를 놓쳤어요. 실패 판정을 계측이 아니라 도구 반환값으로 옮긴 기록입니다.
자연어로 지난달 매출을 물었는데 답이 매번 달라요 — Text-to-SQL 데이터 에이전트에 시맨틱 레이어를 먼저 두는 이유
"지난달 매출" 한 질문을 사람이 봐도 말이 되는 SQL 해석 72가지로 쪼개 가상 데이터에 돌려 봤더니 답이 1.66배 벌어졌어요. 모델이 SQL을 쓰는 대신 지표 정의를 고르게 하는 시맨틱 레이어와, 정의 밖 질문을 막는 골든셋 게이트를 정리했어요.
사내 문서 RAG 권한 관리, 필터는 검색 앞인가요 뒤인가요 — 부서 문서가 남의 답변에 섞이는 걸 20문항으로 재봤어요
사내 문서 RAG 는 검색 품질보다 권한에서 먼저 사고가 나요. 권한 필터가 없을 때 · 검색 뒤에 걸 때 · 검색 앞에 걸 때를 같은 골든셋 20문항으로 실측해 누출률과 답이 사라지는 비율을 비교하고, 선필터가 요구하는 ACL 동기화까지 정리했어요.
RAG 붙였는데 잘 되는지는 누가 판단하나요 — 골든셋 20문항으로 시작하는 RAG 품질 평가
RAG 품질을 '몇 개 쳐봤더니 괜찮더라'로 판단하면 운영에서 어긋나요. 검색과 생성을 따로 재는 네 지표, 실제 질문 로그로 골든셋 20문항을 만드는 법, 청크 경계가 정답을 갈라놓은 걸 30줄 스크립트가 잡아낸 재현 실험을 정리했어요.
토큰 단가는 그대로인데 요금만 늘어요 — AI 에이전트 비용이 대화 길이의 제곱으로 붙는 이유
AI 에이전트 비용을 요청 1건 단가로 잡으면 운영에서 어긋납니다. LLM API는 대화를 기억하지 않아 매 턴 이력 전체를 다시 보내고, 입력 토큰은 턴 수의 제곱으로 쌓이거든요. 공개 단가와 캐시 규칙으로 20턴 세션을 직접 계산해 봤어요.
사내 문서 RAG가 엉뚱한 걸 물어와요 — 범인은 임베딩이 아니라 토크나이저였어요
사내 문서 RAG가 엉뚱한 문서를 물어올 때 범인이 임베딩이 아닌 경우가 많아요. 한국어 복합명사와 띄어쓰기 탓에 BM25가 정답 문서에 0점을 주는 과정을 순수 파이썬으로 재현하고, nori 형태소 분석기와 RRF 융합으로 어디까지 되돌릴 수 있는지 정리했어요.
파일럿은 통과했는데 운영에서 멈춘다 — AI 에이전트 프로덕션 전환에서 무너지는 네 지점
파일럿에서 잘 돌던 AI 에이전트가 운영에서 멈추는 이유는 모델이 아니라 구조예요. 비결정성 검증, 스팬 기반 관측, GPU 자원 선언, 최소 권한까지 프로덕션 전환에서 반복해 무너지는 네 지점을 엔지니어 관점에서 정리했어요.
코드 대신 기준서를 썼다 — 톺톺·떠올라 하네스 엔지니어링 개발기
톺톺과 떠올라를 만들면서 사람이 쓴 건 구현 코드가 아니라 기준서와 루틴이었어요. 에이전트가 일하는 환경을 설계하는 하네스 엔지니어링 — 실제로 만든 문서와 정기 루틴, 중복 실행 사고까지 정리했어요.
MCP 옆에 A2A가 앉았다 — 에이전트 상호운용 표준이 한 지붕으로 모인 뒤 무엇이 달라지나
MCP가 에이전트와 도구를 잇는다면 A2A는 에이전트끼리를 이어요. 2026년 8월 A2A가 MCP와 같은 재단으로 들어오면서 두 축이 한 지붕 아래 놓였어요. 이 조용한 변화가 에이전트 플랫폼 설계에서 무엇을 바꾸는지 정리했어요.
기업용 AI Agent, 어디에 도입해야 할까? — 실제 구축 사례로 보는 6단계 가이드 (2편): 권한 관리부터 성과 개선까지
AI Agent는 시범 운영보다 전사 적용 이후가 더 어려워요. 기존 사내 Role과 연계한 권한 설계, 전체 실행 과정 모니터링, 도입 전 기준값 기반 성과 측정까지 SK하이닉스 AI Studio · AIOps 경험으로 정리한 4~6단계예요.
기업용 AI Agent, 어디에 도입해야 할까? — 실제 구축 사례로 보는 6단계 가이드 (1편)
AI Agent 도입은 챗봇 하나를 붙이는 일이 아니에요. 업무 선정 · 사내 데이터 연결 · 실행 흐름 설계까지, SK이노베이션 · 삼성전자 · 한화손해보험 구축 사례로 정리한 6단계 중 1~3단계예요.
