2026-10-14 11:15 - 00:00 BC 會議室

自己刻 Agent 框架:最難的不是呼叫 LLM

自己刻 Agent 框架時,很多人第一時間會想到的是 Prompt 和 LLM API;但當流程開始串起來後,才會發現框架還需要處理許多一開始可能不會想到的事情。

當 Agent 執行長任務、資訊整理或分析輸出時,焦點已從『模型能否回答』轉為『產出是否精確』。同時,過程的可觀察性、可評估性,以及是否支援後續調整,也是非常重要考量。

開發會遇到的痛點,通常在實際把 Agent 跑起來之後,最常卡住的不是「如何拿到模型的回答」,而是這幾類問題:

- 幻覺產生:LLM 回答的內容摻雜了幻覺,讓結果無法直接使用。

- 定位困難:結果不如預期時,不知道該從哪裡開始調整——是 prompt 寫得不好?工具回傳的資料有問題?還是某一個過程把 context 搞壞了?

- 過程黑盒:多步驟流程中,很難定位是哪一個環節出錯,因為中間狀態沒有留下來,只看得到最後輸出。

- 缺乏基準:每次調 prompt 或換流程後,沒有客觀依據判斷這次到底是變好還是變壞,只能靠人工的操作後主觀的認定。

本場分享將從 Agent 框架的實作經驗出發,介紹幾個對應這些痛點的框架層能力:

- Context 管理 — 資訊節流:關注模型每一步應該看見哪些資訊,而不是把資料全部塞進 prompt,避免模型被無關內容干擾或漏掉關鍵資訊。

- Guardrails — 品質防線:用於摘要與分析型任務,協助建立基本的品質防線,讓明顯不合格的輸出在框架層就能被攔下來。

- Trace Log — 過程留痕:保留執行過程,讓後續能回放流程、定位問題,並找到優化框架的方向。

- Eval — 量化判準:讓每次 prompt 或流程的調整都有依據可以判斷,而不是只能靠主觀感覺。

剛開始做 Agent 框架時,我們對框架的想像往往只有 480P 的畫質。一旦遇到輸出不穩定,很容易陷入盲目調整 Prompt 的無限迴圈。

這場分享的目標,就是幫各位把這張模糊的草圖,升級成高解析度的系統藍圖。當你的框架具備了『可追蹤、可防禦、可量化評估』的能力。

面對模型的黑盒,你手邊就有了明確的除錯指標。這能確保我們每一次的迭代,都是朝著讓系統真正落地的方向前進。


聽眾收穫:

開發 Agent 最難的不是呼叫模型,而是掌控黑盒與不確定性。

本場分享將為你提煉資訊節流、品質防線、過程留痕與量化評估四大核心能力。

我們會將 480P 的模糊開發草圖,升級為高解析度的系統藍圖。

確保框架運作皆具備可追蹤與可防禦的特性。

帶你告別盲目調 Prompt,掌握讓系統真正落地的工程指標。

Jamis Liao

Jamis Liao

街口支付 (JKOPay)
平台工程師

資深後端工程師,具 10+ 年後端系統、平台工程、雲端架構與 DevOps 實務經驗。長期投入高流量分散式系統、雲端基礎設施、CI/CD、內部開發平台與 AI Agent Platform 的設計與開發,熟悉從架構規劃、系統實作到上線維運的完整流程。近年專注於任務排程平台、工程效率數據化、系統標準化與 AI workflow automation。

  • LEVEL
  • 中階
  • LANGUAGE
  • 中文
  • SUBTOPIC
  • 探索 AI 共生共創的面向
  • TAGS
  • AI 與系統架構設計