AI가 지어낸 주장을 사용자보다 먼저 잡아내기

필요했던 것

고객사 제품은 참조 문서로 질문에 답했는데, 답변에 문서가 말한 적 없는 내용이 섞이곤 했습니다. 어느 문장이 틀렸는지를 자동으로 알아야 했고, 답변을 버리는 대신 고쳐야 했습니다.

만든 것

답변을 주어–서술어–목적어 주장으로 바꾸고 각 주장을 참조와 대조하는 파이프라인. 너무 많이 실패하면 정확한 실패 지도를 붙여 다시 생성시켜서, 다시 쓴 답변은 틀린 것만 고치고 맞는 것은 지킵니다. 고객사가 자기 데이터로 측정할 수 있도록 기준선과 평가 키트가 딸린 설치형 SDK로 납품했습니다.

달라진 것

고객사는 별 5개 평가를 남겼습니다. 이 컴포넌트는 이식 가능합니다. 참조 텍스트가 있는 어떤 질의응답 시스템에도 끼울 수 있습니다.

기술적으로는

• 주장별 판정: 답변의 각 트리플렛을 모든 참조 트리플렛과 한 번의 제한된 LLM 요청으로 대조. 출력은 triplet_idx:result로 강제하고 판정 지도로 병합.
• 도전과 수정: 임계값을 넘으면 리프롬프터가 질문 + 답변 + 참조 + 트리플렛별 실패 지도로 다시 생성.
• 교체 가능한 부품: CLI 플래그로 답변 생성기, 트리플렛 추출기, 검사기를 바꿈. 비교용 비-LLM 기준선(Stanford OpenIE, 완전 일치, 부분 일치).
• 평가 키트: 합성 환각 주입과 혼동 행렬 채점.
• 패키징: LLMTripletValidator 공개 API, wheel과 sdist로 빌드.