search_knowledge 對 16 題人工標註問題(每份政策文件 2 題,問法都改寫過,不是照抄標題)的即時檢索結果 -- 每次重新評估都是對真實資料庫下的即時查詢,不是預先算好的快照。
24 題(8 份政策文件 × 3 個角度)會實際跑一次完整 agent 對話,再用 Haiku 當裁判評分:Faithfulness 檢查回答有沒有幻覺(是否忠實於檢索到的資料),Answer Relevancy 檢查回答是否真的切題(把答案反推回問題, 再用 embedding 比對語意相似度)。這裡會產生真實 API 費用,不會自動執行,需手動觸發。
19 題人工標註問題(單一意圖、複合意圖、不需要工具的寒暄、邊界案例),檢查 agent 有沒有呼叫正確的工具組合——這是 Faithfulness/Answer Relevancy 看不到的錯誤類型:選錯工具、 漏呼叫工具、或多呼叫了不必要的工具。同樣會產生真實 API 費用,需手動觸發。