상담 통화 분석 파이프라인

자체 GPU와 클라우드를 묶어, 매일 쌓이는 상담 녹취를 자동으로 읽어 내는 시스템.

개요

소속회사 프로젝트
역할단독 개발
기간2025 — 2026
팀1인
스택Whisper · Pyannote · vLLM · Qwen · Cloudflare Tunnel · AWS · Next.js

맥락

음성 상담 녹취를 분석해 상담 내용과 품질을 파악하는 시스템입니다.

문제

민감한 음성을 외부 API로 보내지 않으면서, 매일 쌓이는 녹취를 사람 손 없이 처리해야 했습니다.

만든 것

  • 음성 인식 → 화자 분리 → LLM 요약·분류·감성·키워드 분석 파이프라인
  • 자체 GPU 서버의 음성 인식·LLM 추론 서버와 보안 터널
  • 매일 아침 자동으로 도는 배치와 분석 대시보드

핵심 결정

  1. 하이브리드: 추론은 자체 GPU, 서비스는 클라우드

    무거운 음성 인식과 LLM 추론은 자체 GPU에서 돌려 데이터와 비용을 통제하고, API와 대시보드는 클라우드에서 확장되게 나눴습니다.

  2. 오픈 모델을 직접 서빙

    외부 LLM API 대신 vLLM으로 오픈 모델을 직접 서빙해, 음성 데이터가 밖으로 나가지 않게 했습니다.