휴트리온 · AX·DX사업부 AI개발팀 사원
㈜휴트리온
2026.02 — 재직중
Overview
AX·DX사업부 AI개발팀에서 KT 대화형 AI Agent 개발을 담당하고 있습니다. MyK 'K-Intelligence' 유선가입 에이전트의 AI 백엔드를 아키텍처 설계부터 상용 오픈·운영 이관까지 전 주기로 수행했고, 이어 KT Enterprise B2B Sales Agent의 LangGraph 기반 상담 에이전트와 멀티 RAG 파이프라인을 개발하고 있습니다.
Key Metrics
Highlights
- MyK K-Intelligence 2차 유선가입 에이전트 AI 백엔드 — 아키텍처 설계 → 개발 → QA → 상용 오픈 → 운영 이관 전 주기 수행
- 단일 상태 객체 기반 세션 제어 + 다단계 LLM 오케스트레이션 설계로 KT 기획 테스트셋 답변 성공률 78% → 98%+ 달성
- 상용 API 응답을 경량 표 형식으로 변환하는 TOON 파서 개발로 대화당 평균 입력 토큰 63.4% 절감 (76.59k → 27.97k)
- 상호 의존성 없는 LLM 판정·조회 호출을 병렬 실행하도록 재설계해 단계 누적에 따른 응답 지연 증가를 억제
- KT Enterprise B2B Sales Agent — LangGraph 기반 상담 에이전트 및 멀티 RAG(Vector·Graph·Wiki) 파이프라인 개발 (진행중)
- KT·KTds·내부 팀 등 7개 이해관계자 조율 및 요구사항 정렬
Key Decisions
단일 상태 객체 + 다단계 LLM 오케스트레이션
문제상담·추천·예약·가입이 단절되어 멀티턴·비선형 발화에서 맥락이 끊기고 답변 성공률이 78%에 머물렀습니다.
결정대화 상태를 단일 상태 객체로 응집해 세션을 제어하고, LLM 라우터와 비즈니스 로직을 분리한 다단계 오케스트레이션으로 발화 흐름을 재구성.
결과KT 기획 테스트셋 답변 성공률 78% → 98%+로 향상, 상용 오픈에 성공.
TOON 파서로 API 응답 경량화
문제상용 백엔드 API 응답 JSON을 그대로 LLM에 주입하면서 대화당 입력 토큰이 76.59k까지 치솟아 비용·지연이 컸습니다.
결정상용 API 응답을 경량 표 형식(TOON)으로 변환하는 커스텀 파서를 개발해 프롬프트에 주입.
결과대화당 평균 입력 토큰 63.4% 절감 (76.59k → 27.97k), 응답 비용·지연 동반 개선.
LangGraph 기반 B2B Sales Agent 멀티 RAG
문제B2B 상담은 상품·계약·사내 지식이 서로 다른 저장소에 흩어져 있어 단일 검색으로는 정확한 근거를 확보하기 어려웠습니다.
결정LangGraph로 상담 에이전트 흐름을 그래프로 제어하고, Vector·Graph·Wiki를 결합한 멀티 RAG 파이프라인을 구성.
결과이종 지식 소스를 하나의 상담 흐름에서 근거로 활용하는 구조 확보 (진행중).
Challenges & Solutions
문제KT·KTds·내부 팀 등 7개 이해관계자의 요구사항이 제각각이라 우선순위·범위 정렬이 어려웠습니다.
해결요구사항을 워크플로우 단계 단위로 분해해 영향 범위를 명확히 하고, 답변 성공률·입력 토큰 등 정량 지표로 합의 기준을 통일.
문제상용 출시 후 운영 조직이 시스템을 이어받아야 했으나 비즈니스 로직·연동 규격이 코드에 흩어져 있었습니다.
해결시스템 아키텍처·핵심 로직·API 연동 규격을 인수인계서로 문서화하고 운영자 매뉴얼·데일리 테스트 시나리오를 제정해 무중단 이관.
Impact
- 답변 성공률 78% → 98%+·대화당 평균 입력 토큰 63.4% 절감으로 MyK 유선가입 에이전트 상용 출시 성공
- MyK 유선가입 에이전트 AI 백엔드를 설계 → 개발 → QA → 운영 이관까지 전 주기로 책임
- 정량 지표 기반 의사결정 체계로 7개 이해관계자 조율
- MyK에 이어 KT Enterprise B2B Sales Agent로 대화형 AI Agent 개발 범위를 확장
Architecture
- 단일 상태 객체 세션 제어 엔진 — 대화 상태를 하나의 객체로 응집해 비선형 발화에서도 맥락 보존
- 다단계 LLM 오케스트레이션 — LLM 라우터와 비즈니스 로직을 분리한 라우팅·답변 생성 구조
- TOON 파서 — 상용 API 응답 JSON을 경량 표 형식으로 변환해 입력 토큰 절감
- LangGraph 상담 에이전트 + 멀티 RAG(Vector·Graph·Wiki) 파이프라인 (KT Enterprise, 진행중)