로브로스 · Physical AI 사업부 AI개발팀 인턴
㈜로브로스
2025.06 — 2025.09
Overview
Physical AI 사업부 AI개발팀 인턴으로 페르소나 기반 대화형 로봇 시스템을 개발했습니다. Qwen3-1.7B LoRA/QLoRA 파인튜닝부터 Jetson 온디바이스 배포까지 End-to-End AI 파이프라인을 구축하고, 대화·STT/TTS·Vision을 통합한 FastAPI AI 게이트웨이를 설계해 평균 0.5초 실시간·오프라인 대화를 구현했습니다.
Key Metrics
Highlights
- Qwen3-1.7B LoRA/QLoRA 파인튜닝부터 배포까지 End-to-End AI 파이프라인 구축
- Jetson Orin/NX 온디바이스 모델 경량화(Q4/Q8·FP16) 및 TensorRT 최적화로 평균 응답 0.5초 실시간 대화 구현
- FastAPI 기반 AI 게이트웨이 서버 설계 — 대화·STT/TTS·Vision 모듈 통합
- Ring Buffer 세션 메모리로 장시간 운영 안정성 확보
- 완전 오프라인 동작으로 네트워크 제약 환경에서도 페르소나 대화 서비스 가능
Key Decisions
온디바이스 모델 경량화·최적화
문제서버 GPU용으로 학습한 모델을 Jetson에 그대로 올리면 메모리 초과·지연으로 실시간 대화가 불가능했습니다.
결정Qwen3-1.7B를 LoRA/QLoRA로 경량 파인튜닝하고 Q4/Q8·FP16으로 양자화한 뒤 Jetson Orin/NX에서 TensorRT로 최적화 배포.
결과평균 응답 0.5초의 실시간·오프라인 온디바이스 대화 구현.
FastAPI AI 게이트웨이 통합 설계
문제대화·STT/TTS·Vision이 서로 다른 입출력을 가져 파이프라인이 블로킹되고 응답이 끊겼습니다.
결정FastAPI 기반 AI 게이트웨이 서버를 두어 모달리티별 모듈을 통합하고 비동기로 연결.
결과경로 간 블로킹 없이 대화·음성·비전을 하나의 End-to-End 흐름으로 구성.
Ring Buffer 세션 메모리
문제장시간 운영 시 대화 이력이 무한히 쌓여 메모리가 초과되고 응답 품질이 저하됐습니다.
결정세션 메모리를 Ring Buffer 구조로 설계해 최근 맥락만 고정 크기로 유지.
결과메모리 사용을 일정하게 유지하며 장시간 운영 안정성 확보.
Challenges & Solutions
문제서버 GPU용으로 학습한 Qwen3-1.7B를 Jetson에 그대로 올리면 메모리 초과·지연으로 실시간 대화가 불가능했습니다.
해결LoRA/QLoRA 경량 파인튜닝 후 Q4/Q8·FP16 양자화와 TensorRT 최적화로 Jetson Orin/NX에서 평균 0.5초 응답·오프라인 동작 달성.
문제대화·STT·TTS·Vision이 서로 다른 입출력을 가져 파이프라인이 블로킹되고 응답이 끊겼습니다.
해결FastAPI AI 게이트웨이로 모달리티별 모듈을 비동기 통합하고, Ring Buffer 세션 메모리로 장시간 운영 안정성까지 확보.
Impact
- 온디바이스에서 평균 0.5초 응답·완전 오프라인 동작하는 페르소나 대화 로봇 파이프라인 구축
- Qwen3-1.7B 파인튜닝부터 Jetson 배포까지 End-to-End AI 파이프라인을 단독 수행
- 서버 의존 없이 동작해 네트워크 제약 환경에서도 페르소나 대화 서비스 가능성 입증
Architecture
- Qwen3-1.7B (LoRA/QLoRA 파인튜닝) — Q4/Q8·FP16 양자화 + Jetson Orin/NX TensorRT 최적화
- FastAPI AI 게이트웨이 — 대화·STT/TTS·Vision 모듈을 비동기 통합
- Ring Buffer 세션 메모리 — 고정 크기 맥락 유지로 장시간 운영 안정성 확보