← 返回首頁

MCP 動態管線法

融合 Code Execution 與 Unix Pipe 的終極工作流程
📅 2025-11-15 👤 波特人小隊 🏷️ MCP / Agentic AI / Pipeline
核心概念
MCP 動態管線法融合兩大技術優勢:MCP Code Execution 的漸進揭露與 tokens 節省,以及 Unix Pipe + GNU Parallel 的管線複用與平行運算,實現智慧工作流程的自動化與模板化。

一、三種方法對比

MCP 動態執行法

  • 漸進揭露工具定義
  • 動態組合彈性工作流
  • 精省 98% tokens 用量
  • 中間過程無需過 LLM

平行管線法

  • 管線總指揮最小化 LLM
  • 輕易組合既有 CLI 工具
  • 千錘百鍊模板可複用
  • LLM 節點智慧串場

MCP 動態管線法

  • 優先使用模板快速執行
  • 無模板則動態生成腳本
  • 通過試煉後儲存模板
  • 日後可重複高效運用

二、MCP Code Execution 核心奧義

傳統 MCP 架構會將所有工具定義載入 context window,導致 tokens 消耗巨大。以 Anthropic 官方案例為例,47 個工具的直接呼叫消耗約 150,000 tokens。

技術突破:程式碼優先 (Code-First) 架構

將 20 個 MCP tools 存放於 disk folder,讓 LLM 依據使用者意圖「漸進揭露」:
  1. LLM 瀏覽 ./servers/ 目錄樹狀結構
  2. 僅讀取任務相關的工具定義檔案
  3. 動態撰寫腳本組合所需工具
  4. 在執行環境中運行,結果直接返回

效益驗證:同一工作流程從 150,000 tokens 降至 2,000 tokens,減少 98.7%。中間資料處理完全不經過 LLM context,大幅降低成本與延遲。

傳統 MCP (150K tokens) 載入 47 個工具定義 → Context 每次工具呼叫 → LLM 處理 中間結果 → 回傳 Context ❌ Tokens 爆炸、延遲高 MCP Code Execution (2K tokens) 漸進揭露:僅讀取需要的工具 LLM 撰寫腳本組合工具 執行環境運行,僅返回結果 ✓ 節省 98% tokens 漸進揭露流程示意 使用者意圖 「計算保證金」 瀏覽目錄 ./servers/ 讀取工具 procurement.ts 動態生成腳本 執行並返回結果

三、Unix Pipe + GNU Parallel 奧義

Unix 管線設計哲學:管線總指揮,而非大模型總指揮。將既有的 CLI 工具透過 pipe 串接,利用 GNU Parallel 實現平行運算,LLM 僅在需要智慧決策時介入。

三大優勢
  • 最小化 LLM 呼叫:管線自動化處理資料流,LLM 僅智慧串場
  • 輕易組合 CLI:grep、awk、jq 等千錘百鍊工具無縫整合
  • 模板可複用:成功管線儲存為模板,日後高效運用

實例:處理 1000 個政府採購案件的保證金計算

# 傳統作法:逐筆呼叫 LLM (1000 次 API 呼叫)
for case in *.json; do
  curl -X POST llm-api --data "@$case"
done

# 平行管線法:僅關鍵決策呼叫 LLM
cat cases.json | \
  jq -r '.[] | "\(.id),\(.amount)"' | \
  parallel --pipe --block 10M \
    'python calculate.py | grep "複雜案件"' | \
  xargs -I {} curl -X POST llm-api --data "{}"

# 結果:僅 50 個複雜案件需要 LLM,節省 95% API 呼叫

四、融合優勢:MCP 動態管線法

結合兩者優勢,建立「模板優先 + 動態生成」的智慧工作流程:

MCP 動態管線法執行流程 使用者提問 檢驗是否有 千錘百鍊的平行管線模板? 直接使用 模板執行 MCP 動態 生成腳本 (pipe+parallel) 執行腳本 查看結果 LLM 彙整驗證 答案通過考驗? 否,loop 儲存為模板 + 地雷經驗 日後可重複運用 高效能模板庫

完整執行流程

  1. 使用者提問:「計算這 500 筆採購案的保證金,標記異常案件」
  2. 檢驗模板庫:搜尋是否有「採購保證金批次處理」模板
  3. 有模板 → 直接執行:載入模板快速處理,節省 LLM tokens
  4. 無模板 → MCP 動態生成
    • 漸進揭露:讀取 ./servers/procurement/ 相關工具
    • LLM 撰寫 Unix pipe + parallel 腳本
    • 執行腳本:cat cases.json | parallel calculate | grep abnormal
  5. LLM 最終驗證:彙整結果,檢查是否符合業務邏輯
  6. 通過試煉:將腳本與地雷經驗儲存為模板 ./templates/procurement-batch.sh
  7. 日後複用:下次相同任務直接使用模板,效率提升 10 倍

五、關鍵技術優勢總結

為何 MCP 動態管線法是終極解法?
  • 98% Tokens 節省:漸進揭露 + 執行環境處理,僅必要資訊過 LLM
  • 模板化複用:千錘百鍊的管線儲存後可重複使用,效率倍增
  • 動態彈性:遇到新場景可即時生成客製化腳本
  • 平行運算:GNU Parallel 處理大批量資料,速度提升數十倍
  • 地雷經驗累積:每次試煉通過後記錄知識,系統越用越聰明

六、實戰應用場景

政府採購案件批次審查

多來源資料整合與匿名化

七、實作建議

建立 MCP 工具目錄結構

./servers/
├── procurement/
│   ├── calculate.ts      # 保證金計算
│   ├── validate.ts       # 法規驗證
│   └── classify.ts       # 案件分類
├── data/
│   ├── fetch_sheets.ts   # Google Sheets
│   ├── anonymize.ts      # 資料匿名化
│   └── upload_crm.ts     # CRM 上傳
└── llm/
    └── summarize.ts      # 智慧彙整

建立管線模板庫

./templates/
├── procurement-batch.sh       # 採購批次處理
├── data-integration.sh        # 資料整合管線
└── anomaly-detection.sh       # 異常偵測管線

# 每個模板包含:
# 1. 管線腳本
# 2. 地雷經驗文件
# 3. 使用說明與適用場景

設計驗證機制

# 在管線中加入 LLM 驗證節點
cat results.json | \
  jq '.[] | select(.confidence < 0.8)' | \
  llm-verify --prompt "檢查此採購案是否異常" | \
  tee verification.log

結語

MCP 動態管線法代表 Agentic AI 工作流程的範式轉移:從「所有任務都過 LLM」轉變為「管線主導 + LLM 智慧點綴」

透過漸進揭露與程式碼執行,我們實現 98% tokens 節省;透過 Unix Pipe 與模板化,我們建立可重複運用的知識資產。這不僅是技術優化,更是政府級 AI 系統邁向可持續性、可擴展性的關鍵架構

下一步行動
  1. 建立你的 MCP 工具目錄結構
  2. 識別組織內的「高頻任務」並建立管線模板
  3. 記錄每次試煉的地雷經驗,累積知識庫
  4. 監控 tokens 用量與執行時間,持續優化

「最好的程式碼是不需要寫的程式碼;最好的 LLM 呼叫是不需要的呼叫。」
— Unix 哲學 + MCP 動態管線法