How AI Engineers Improve Agentic Products

A: 因為現在用語言模型 API 很容易做出概念驗證，但要將這些 PoC 擴展成成功的產品，並且量化輸出的好壞，卻是個挑戰。

A: 需要定義評估指標、將評估標準從技術轉為以使用者為中心，並追蹤語言模型系統的完整流程，從輸入到最終輸出。

A: 團隊往往對剛推出的 AI 應用期望過高，沒有建立基礎設施來持續檢測數據、新增測試和改進端到端系統。

A: 因為語言模型的輸出本質上是隨機且主觀的，對於相同的輸入，不同使用者可能會得到不同的結果，這使得輸出的驗證變得困難。

A: 首先，要與開發同步定義評估指標；接著，將評估標準從技術轉為以使用者為中心；最後，要仔細檢視語言模型系統的完整執行軌跡。

A: 可以把語言模型想像成實習生或員工來管理，評估它的表現，例如是否理解任務、是否採取正確步驟、是否有有效率的結論等等。

A: 傳統軟體驗證問的是「我們是否正確地構建了產品？」，而現代 AI 評估則問的是「我們是否構建了正確的產品？」，更注重品質、穩定性和使用者信任度。

A: 因為價值評估是主觀的、高度依賴應用場景，並且需要大量的前置作業來建立評估框架，才能對產品進行有意義的改進。

A: 這些圖表可以了解不同模型的效能，但對特定產品的應用幫助不大，因為產品的推理引擎可能只依賴模型的其中一部分能力。

A: 分別是人類回饋 (Human Feedback)、語言模型作為評估者 (LLM as a Judge)，以及傳統的函數 (Functions)。

A: 他花最多時間在收集和分析人類回饋，因為這是了解系統優缺點，並找出改善方向最重要的方式。

A: 這樣才能確保收集到多樣化的查詢範例，涵蓋所有可能的使用者需求，從而更全面地評估系統的表現。

A: 因為在沒有實際系統可以觀察之前，很難有效地判斷要分析或評估什麼，有了基準線才能更有針對性地建立評估體系。

A: 因為領域專家對產品的應用領域有深入的了解，他們的意見對於判斷系統的實際表現，以及找出最佳的優化方向至關重要。

A: 因為評分量表難以解釋，不同的人對同一分數的理解可能不同，而二元指標更清晰明確，能提供更強烈的效能訊號。

A: 錯誤分析是檢視系統失敗的案例，並將失敗模式歸類到常見主題中。這樣可以找出產品的痛點，並針對性地解決問題。

A: 指的是人們在評估輸出的過程中，會逐漸調整和定義自己的評估標準，因此無法在人類評估語言模型輸出之前完全確定評估標準。

A: 因為沒有人類回饋作為基礎，就無法定義評估標準，也無法將 LLM 評估者的結果與人類的判斷對齊，導致評估結果不準確。

A: 使用定義清晰的評估標準、選用強大的語言模型、使用二元評分（通過/失敗），以及針對每個評估指標使用獨立的 LLM 評估者。

A: 可以上傳數據集、執行提示 (Prompts) 並記錄輸出、提供註釋和評估，以及運行各種指標，例如精確匹配函數和語言模型評估函數。