Spker · 2025 – 2026

실제 세션을 재현해 프롬프트 품질을 다시 재는 운영자용 Lab

프롬프트를 바꿀 때마다 Zoom 세션을 새로 진행하는 것은 비효율적이고, 임의로 만든 테스트 문장은 실제 대화와 다르다. 저장된 세션을 특정 시점까지 재현해 같은 조건에서 비교했다.

제원

AI 기능은 프롬프트를 바꾸면 결과가 바뀐다. 그런데 바꿀 때마다 실제 Zoom 세션을 새로 진행해 확인하는 것은 반복할 수 없는 방식이다.

그렇다고 임의로 만든 테스트 문장을 쓰면, 실제 사용자 대화에서 나타나는 맥락과 오류 패턴이 빠진다. 평가 데이터가 실제와 다르면 평가 결과도 실제와 다르다.

S3에 저장된 녹음과 전사로 과거 세션을 불러와 원하는 시점까지 대화를 재현하는 Lab을 만들었다. 예를 들어 30분 세션의 17분 시점까지의 Session State를 구성할 수 있다.
그 상태에서 AI에게 요청을 보내, 당시 컨텍스트에서 어떤 응답이 나오는지 확인한다. 프롬프트를 수정한 뒤 같은 세션, 같은 시점으로 다시 실행해 전후를 비교한다.
세션 전사에서 각 발화를 실제 참가자와 연결하는 화자 매칭은 운영자가 한 번 확정하면 저장해 두고, 이후 리포트 생성에서 다시 사용했다. 같은 화자 정보를 반복해서 수작업으로 확인하는 일을 줄였다.
세션 이후 생성되는 리포트에도 전사와 AI 분석 결과가 쓰인다. 리포트의 교정 이력은 다음 세션의 개인화 컨텍스트로 돌아간다.
AI 기능과 프롬프트가 자주 바뀌는 서비스이므로, 개선 사항을 운영 서비스에 반복적으로 배포할 수 있도록 CI/CD를 구축했다.

그림 replay loop

같은 세션, 같은 시점. 바뀐 것은 프롬프트뿐이다.