2026-10-14 13:30 - 14:00 A 會議室

LLM Wiki:企業內部知識問答系統的架構演進

去年,我們以 LangGraph 建立 Agentic RAG 架構,將企業內部文件接入知識問答系統,讓 Agent 能透過查詢規劃、工具調用與自我修正,協助同仁查找制度、流程、系統文件與部門知識。然而在實際使用過程中,我們逐漸發現,企業知識問答的瓶頸不只在 RAG pipeline,也在於知識源本身多半是「為人類閱讀」而編寫,對 LLM 來說容易產生脈絡斷裂、引用不穩、更新困難與除錯成本高等問題。

今年,我們受到 Andrej Karpathy 提出的 LLM Wiki 概念啟發,開始嘗試將這個思維應用在內部部門知識庫,將原有文件、流程說明與常見問題,重構為更適合 LLM Agent 理解、導航、引用與維護的知識結構。

本場演講將分享這段從 Agentic RAG 到 LLM Wiki 的架構演進,包括 LangGraph Agentic RAG 的實作經驗、企業知識問答遇到的限制、LLM-native Wiki 的設計原則,以及如何在企業環境中處理文件結構、知識更新、來源追蹤、權限控管、token 成本與回答品質等實務挑戰。聽眾將能了解企業導入知識問答 Agent 時,為什麼不能只優化檢索流程,也必須重新思考知識本身的組織方式。


聽眾收穫:

參與本場演講的聽眾將了解企業知識問答系統從 Agentic RAG 演進到 LLM Wiki 的完整思考脈絡。首先,聽眾會學到如何使用 LangGraph 建立 Agentic RAG 流程,包括查詢規劃、工具調用、狀態管理、自我修正與企業知識問答的基本架構設計,並理解這類方法在實務環境中可能遇到的限制。

其次,聽眾將認識 LLM Wiki 的核心概念,以及如何將原本為人類閱讀而設計的部門文件、流程說明與常見問題,轉換為更適合 LLM Agent 使用的知識結構。內容將涵蓋 Markdown 結構設計、語意標題、文件顆粒度、metadata、來源引用、版本資訊與知識更新流程。

最後,演講將分享企業落地時的架構取捨與治理挑戰,包括如何降低幻覺與錯誤引用、如何處理權限控管與資料追蹤、如何平衡 token 成本與回應速度,以及如何讓內部知識庫能長期維護並持續支援同仁查詢。聽眾將能帶走一套從 Agentic RAG 到 LLM-native 知識庫的架構演進藍圖。

張維峻 (Justin)

張維峻 (Justin)

國泰金控
助理架構師

熱衷於 AI 應用與技術創新的工程師,具備扎實的機器學習與深度學習背景,專注將前沿技術快速落地為可擴展系統。於國泰金控主導醫療收據 OCR 建置,涵蓋資料前處理、繁中模型訓練與表格解析優化,顯著提升辨識準確率與處理效率。

近年聚焦 LLM 與 AI IDE 開發模式,導入 LLM as a Judge 於回饋平台實現質化量化;建構 Agentic RAG 支援即時語音客服;開發新聞趨勢整理工具與數字人影片應用。持續研究 AI Agent 架構與 MCP ,Agent Skills前沿技術,在高速開發下兼顧安全與穩定,打造可持續演進的企業級 AI 解決方案。

  • LEVEL
  • 通識
  • LANGUAGE
  • 中文
  • SUBTOPIC
  • 探索 AI 共生共創的面向
  • TAGS
  • AI 開發工具實戰和流程改造