## 워크플로우를 어떻게 테스트할까 AI 워크플로우는 비결정적이라 테스트가 어렵다. 같은 입력에도 다른 출력이 나올 수 있다. 그래서 대량의 테스트 케이스를 자동으로 실행하고, 결과를 분석하는 BatchTester를 개발했다. ### BatchTester 구조 설계 ```typescript interface BatchTestConfig { workflowId: string; testCases: TestCase[]; concurrency: number; // 동시 실행 수 evaluationCriteria: EvalCriteria[]; notifyOnComplete: boolean; } interface TestCase { id: string; input: Record; expectedOutput?: string; // 정답이 있는 경우 metadata?: Record; } interface EvalCriteria { type: 'contains' | 'similarity' | 'regex' | 'llm_judge'; config: Record; } ``` ### 테스트 케이스 편집 UI 엑셀처럼 테이블 형태로 테스트 케이스를 편집할 수 있다. CSV 업로드도 지원한다. ```tsx const TestCaseEditor: React.FC = () => { const [testCases, setTestCases] = useState([]); return (

테스트 케이스

); }; ``` ### 배치 실행 진행 상황 테스트가 실행되면 프로그레스 바와 함께 실시간으로 결과가 채워진다. ```typescript interface BatchTestProgress { total: number; completed: number; passed: number; failed: number; errors: number; currentTestId: string | null; estimatedTimeRemaining: number; } ``` ### 결과 분석 뷰 테스트 완료 후 결과를 다양한 관점에서 분석할 수 있다. - **합격/불합격 비율**: 파이 차트로 시각화 - **응답 시간 분포**: 히스토그램으로 표시 - **실패 케이스 상세**: 입력, 기대 출력, 실제 출력을 나란히 비교 - **LLM Judge 채점**: GPT-4를 활용한 자동 평가 결과 ### LLM Judge 평가기 정답이 명확하지 않은 테스트에는 LLM Judge를 활용한다. GPT-4가 출력의 품질을 1~5점으로 평가하고, 이유를 함께 제시한다. 이 방식이 surprisingly effective 했다. ### 회귀 테스트로의 활용 워크플로우를 수정한 후 기존 테스트 세트를 다시 실행해서 성능이 저하되지 않았는지 확인하는 회귀 테스트로도 활용된다. BatchTester 덕분에 워크플로우 변경의 안전성이 크게 향상됐다.