KT Enterprise B2B Sales AI Agent 구축
㈜휴트리온 · KT ds / Client: KT Enterprise
2026.07 — 2026.12 (진행중)
Overview
KT B2B 사업 부문의 영업 생산성 향상과 기업고객 상담 자동화를 위해 LLM 기반 Enterprise AI Agent를 구축하는 프로젝트입니다. 기존 영업지원 시스템(BizMate)은 KOS(과금/오더) 미연동, 영업정보의 개인 PC 분산 저장에 따른 자산화 미흡, 모바일 현장 활용 제약 등의 한계가 있었고, 월 2천 건의 상담 문의를 시나리오 챗봇과 8명의 상담 인력이 수동 대응하는 구조였습니다. 이를 해결하기 위해 ① DART·뉴스·나라장터 등 외부 데이터와 Teams·Outlook 등 내부 데이터를 연동해 Account Plan 초안 생성 및 영업활동 레코드 등록을 자동화하고, ② 상품 문서를 멀티 RAG(Vector RAG·GraphRAG·LLM Wiki)로 지식화해 LangGraph 기반 에이전트가 24시간 실시간 상담·상품 추천을 수행하는 B2B 특화 AI Agent를 구축하고 있습니다. 전체 11명(휴트리온 4·KT ds 7) 규모에서 AI Agent 개발 3명 중 1명으로 참여하며 RAG 파이프라인을 공동 기획·개발하고 있습니다.
Key Metrics
Highlights
- LangGraph 기반 멀티 노드 에이전트 구현 — AgentState 설계(사용자 질문·연동 툴 목록·수집 정보·검색 컨텍스트 관리), Query Analysis & Routing / Generation / Slot-Filling·Rewrite 노드 개발
- Agent 코어 구성요소 개발 — 의도 분류기, 가드레일 프롬프트 엔진(비로그인 제한·내부/민감 정보 노출 차단), 멀티턴 세션 관리자(최대 5회 대화 컨텍스트 유지)
- 오케스트레이터(Master Agent) ↔ Sub Agent 호출 패턴 구현 — 단일 통신·순차·병렬 멀티에이전트·멀티턴·가드레일 5개 실행 패턴
- BMAD 6종 표준 명세 문서 기반 에이전트 설계 및 도구(Tools) 매핑
- 답변 UI 연계 개발 — 자연어 답변·Product Card·출처(Citation) 스트리밍 출력, 바로가기·가입 상담 링크·상담원 이관 연동
- 멀티 RAG 통합 검색 파이프라인 구축 참여 — 하이브리드 검색(BM25 + Vector / Graph Traversal), Top-K 검색, BGE-Reranker 기반 Re-Ranking
- GraphRAG(Entity·관계 추출, 지식 그래프 적재) 및 LLM Wiki(표준 용어·가이드라인 MD 구조화) 연동 검증 지원
- B2B 세일즈 자동화 에이전트 개발 참여 — Teams/Outlook 일정·회의 감지 → 영업활동 레코드 자동 생성·KOS-CRM 등록, DART·뉴스·나라장터 크롤링 → 기업 인텔리전스 분석 → Account Plan 초안 생성
Key Decisions
LangGraph 기반 멀티 노드 에이전트 코어 설계
문제GPU 서버 스펙·가격 질의처럼 하나의 질문에 상품 검색·조건 비교·지식 조회가 동시에 필요한 케이스에서, 단일 LLM 호출만으로는 툴 선택과 응답 품질을 안정적으로 통제하기 어려웠습니다.
결정사용자 질문·연동 툴 목록·수집 정보·검색 컨텍스트를 관리하는 AgentState를 정의하고, User Chat UI로부터 시작되는 전체 실행 그래프를 설계. Query Analysis & Routing 노드(LLM 의도 분석 기반 툴 라우팅), Generation 노드(답변 생성·유효성 체크), Slot-Filling/Rewrite 노드(필수 정보 누락 시 역질문·쿼리 재작성 루프)로 책임을 분리.
결과질문 의도에 따라 VectorDB RAG Retrieval + LLM Wiki Lookup을 병행 실행하는 등 동적 라우팅을 구현하고, [사용자 발화 → 의도 분류·가드레일 → RAG 검색 → 상품 안내·추천 → 멀티턴 대화 → 답변·UI 연계]의 6단계 프로세스를 완성.
Generation ↔ Slot-Filling 조건부 흐름 (자기 교정 루프)
문제답변 생성에 필요한 필수 정보가 누락된 상태에서 그대로 응답하면 부정확하거나 환각이 섞인 답변이 나갔습니다.
결정Generation 노드에서 정보 충분(Perfect Info) 시 텍스트·Product Card·출처(Citation)를 스트리밍 출력하고, 정보 부족(Info Missing) 시 Slot-Filling 노드로 분기하는 조건부 흐름을 설계. 누락 슬롯이 있으면 역질문(예: "혹시 현재 KT 전용선을 이용 중이신가요?")을 생성하고 쿼리를 재정교화한 뒤 재검색하는 자기 교정 루프를 구현.
결과정보가 충분할 때만 답변을 확정 출력하고, 부족하면 역질문으로 보완해 응답 신뢰도를 확보.
질의 유형별 멀티 RAG 지식 소스 전략
문제FAQ·상품 설명, 관계·종합 질의, 표준 용어·규정은 성격이 달라 하나의 검색 방식으로는 정확도와 일관성을 동시에 확보하기 어려웠습니다.
결정일반 FAQ·상품 설명은 Vector RAG(의미 유사도·대용량 확장), 관계·종합 질의는 GraphRAG(Multi-hop 추론), 표준 용어·규정·정책은 LLM Wiki로 매핑하는 지식 소스 전략을 수립. 문서 유형별 기준과 메타데이터(제목·출처·기준일·카테고리)를 정의·표준화.
결과질의 특성에 맞는 지식 소스를 선택해 검색 정확도를 높이고, 용어 일관성 보장·환각 감소 기반을 마련.
하이브리드 검색 + Re-Ranking 검색 품질 최적화
문제단일 검색 방식으로는 키워드 정합성과 의미 유사도를 모두 잡기 어렵고, Top-K 결과에 불필요한 컨텍스트가 섞여 답변 품질을 떨어뜨렸습니다.
결정BM25 + Vector 하이브리드 검색과 Graph Traversal을 결합한 검색 계층을 구성하고 Top-K 검색·파이프라인 파라미터를 튜닝. BGE-Reranker를 활용해 검색 정보를 점수화하고 불필요 정보를 제거하는 Grade & Rerank 컨텍스트 검증을 적용.
결과검색 정확도와 컨텍스트 품질을 향상시키고, RAG/GraphRAG/Wiki 통합 컨텍스트를 Agent·LLM에 전달해 실시간 답변 생성과 연결되는 End-to-End 파이프라인(문서 수집 → 구조화 → 지식 데이터화 → RAG 검색 → 통합 지식 결과)을 구성.
Challenges & Solutions
문제상품 카탈로그·규정 문서·마스터 데이터 등 정형화되지 않은 문서로 멀티 RAG를 구축하는 과정에서 문서 레이아웃 차이, 출처·기준일 누락, 전처리 기준 불일치가 발생하면 동일한 질문에도 서로 다른 문서가 검색되어 판단 일관성이 흔들렸습니다.
해결문서 유형별 기준과 메타데이터(출처·기준일·카테고리) 정리 방식을 정의하고, Parsing Engine 기반 문서 구조화와 함께 문서 수집→구조화→전처리→검색으로 이어지는 처리 흐름을 표준화. 입력 단계에서부터 오류 가능성을 줄이는 구조 개선에 집중.
문제복잡한 관계 질의·상품 간 연관·종합 질문은 단순 벡터 유사도 검색만으로는 정확히 답하기 어려웠습니다.
해결GraphRAG로 Entity·관계를 추출해 지식 그래프를 구축·적재하고, 표준 용어·고정 가이드라인·마스터 정보는 Markdown 위키(LLM Wiki)로 구조화해 용어 일관성 보장·환각 감소를 지원.
Impact
- 영업사원의 Any Device & Any Time 완결적 영업 수행 체계 구축 및 문서 작성시간 단축
- 개인 PC에 분산되어 있던 영업정보의 전사 자산화·가시성 확보, 담당자 교체 시 고객 히스토리 유실 방지
- 월 2천 건 상담(8명 수동 대응)의 AI 자동화 — AI 에이전트 즉시 응답, 필요 시 상담원 이관으로 처리 시간 단축 및 직원 업무 집중도 향상
- 24시간 상시 대응 챗봇을 통한 고객 데이터 기반 상품 추천 및 영업 기회 발굴·전환
- 멀티 RAG + Re-Ranking 구조로 검색 정확도 및 답변 신뢰도(환각 감소·출처 제시) 확보
- BMAD 표준 문서 체계 기반으로 신규 에이전트·서비스의 확장 가능한 플랫폼 기반 마련
Architecture
- AI/Agent: LangGraph 기반 Agent Orchestration(멀티 에이전트 아키텍처), 프롬프트 가드레일(민감정보 차단·개인정보 마스킹), 멀티턴 세션 관리
- RAG/검색: Vector RAG(Chunking 전략·Embedding·Vector DB), GraphRAG(Entity·관계 추출·지식 그래프), LLM Wiki, 하이브리드 검색(BM25 + Vector·Graph Traversal), BGE-Reranker 기반 Re-Ranking
- 데이터 파이프라인: Parsing Engine 기반 문서 구조화, 메타데이터(제목·출처·기준일·카테고리) 정의·표준화, 정형·비정형 데이터 통합
- Master Agent ↔ Sub Agent 호출 패턴 — 단일 통신(일반/LLM Wiki/BMAD Search/knowledge_app), 순차·병렬 멀티에이전트, 멀티턴 대화, 가드레일 5개 실행 패턴
- B2B 세일즈 자동화 — Account Plan Agent(DART·뉴스·나라장터 크롤링 → 기업 인텔리전스 분석 → Account Plan 초안 생성·CRM 저장), 영업활동 자동화 Agent(Teams/Outlook 감지 → 레코드 자동 생성·KOS-CRM 등록)