How to debug voice agents with LangSmith

A: 因為語音是最自然的互動方式之一，而且隨著模型越來越厲害，能解鎖更多應用場景和互動模式，特別是在教育和客服這種領域。

A: 其實意外地簡單！影片有用 PipeCat 這個框架來做一個法語家教的語音助理，會一步步示範整個流程。

A: 主要有三個步驟：語音轉文字 (STT)、LLM 呼叫（文字進文字出），以及文字轉語音 (TTS)。

A: 影片展示了一個法語家教的語音助理，使用者可以用法語跟他打招呼，助理會回覆，就像真的在學法語一樣。

A: LangSmith 可以讓你一層層剖析語音助理的運作，看到每個步驟發生了什麼，方便找出問題。

A: LangSmith 的 trace 會按照語音助理的流程，一步一步呈現，就像影片一開始畫的流程圖一樣，方便理解。

A: 因為 demo 裡面用的是本地模型，可能效果沒那麼好。換成 OpenAI 的模型之後，轉錄效果就好很多了。

A: 用 PipeCat 的話，其實很簡單，只要改一行程式碼就可以換不同的語音轉文字模型，很方便測試哪個模型效果最好。

A: System prompt 可以引導 LLM，告訴它目前的上下文是什麼，以及要怎麼回應，讓 LLM 的回答更符合預期。

A: 因為語音是串流回傳的，所以使用者不用等全部的語音都產生完，就可以聽到部分內容，使用者體驗會比較好。

A: PipeCat 是一個即時語音和多模態的開源框架，可以讓你輕鬆替換不同的模型，而且很容易使用。

A: 可以在程式碼裡面宣告要用哪個模型來做語音轉文字、LLM 呼叫，還有文字轉語音。

A: Span processors 可以記錄語音對話，讓你把錄音檔跟 LangSmith 的 trace 一起上傳，方便 debug。

A: 可以對照錄音檔和轉錄文字，看看是不是轉錯了，或者是有其他問題，也可以把錄音檔送到語音分析的 pipeline 裡面做分析。

A: PipeCat 用 OpenTelemetry 把資料送到 LangSmith，只要 import 相關的模組就可以自動處理。

A: 有，影片建議要記錄語音對話，然後把錄音檔和 LangSmith 的 traces 一起上傳，這樣才能更有效地 debug。

A: 影片使用了 PipeCat 框架來建立語音助理，並結合 LangSmith 進行偵錯和追蹤，同時使用了 OpenTelemetry 來傳輸資料。

A: 影片鼓勵大家多多嘗試，開發出更多有趣的應用，像是客服機器人、語音遊戲等等。

A: 可以先去 PipeCat 和 LangSmith 的官網看看，他們都有提供文件和範例，可以照著做。

A: 語音助理的開發門檻不高，而且有很多有趣的應用場景。PipeCat 和 LangSmith 可以讓你更輕鬆地開發和 debug 語音助理，鼓勵大家試試看。