2024-09-13 | 16:10 - 16:50

揭秘LLMOps:讓LLM服務像火箭般穩定高效的祕密

自ChatGPT出世,大型語言模型成為許多企業喜愛的AI應用。然而,如何有效管理這些複雜的模型及prompt,成了一個重要議題。我們將深入探討優化LLM專案上的合作流程,並圍繞在通過開源工具建立LLMOps簡化以上操作,縮短從概念到產品的周期,並確保生成質量穩定。

完成服務後,加強安全性且讓生成內容合乎法規也是一大挑戰。過程將說明如何應對服務潛在的風險,設計符合標準的檢查流程,並通過自動化工具進行持續改進。

本次將透過案例分析來了解LLM在企業中的應用與挑戰,並提供實用的解決方案和工具。

聽眾收穫

聽眾將透過實際案例分享,來更好地理解並應用LLM技術,幫助企業在導入LLM技術的過程中避開常見的陷阱,從而在實際業務中取得更好的成果。內容將涵蓋如何在不同業務場景中靈活應用LLM,包括行銷、客服、自動化流程等,以及如何持續優化來提升表現,同時確保服務安全性。

講者

李婕瑜(Maggie Lee)

台灣連線股份有限公司
Machine Learning Engineer

現於 LINE Taiwan 的資料工程團隊,曾在中央研究院中文詞知識庫小組和 Intel Software Graphics 團隊實習。目前主要負責大型語言模型的應用專案,除了優化公司內部的工作流程,也致力於開發創新且有趣的服務,以提升用戶體驗。