In this session, will introduce how to build an advanced RAG with fine-tuned Gemma. We will show how to customize the model, how to monitor the performance, and how to handle the challenges during performance tuning. We will also show an example with Gemma and LowCode Tool (Dify)

#Gemini #Gemma #RAG #GenerativeAI #FineTune #PerformanceTuning

隨著生成式 AI 和雲端原生技術的迅速發展，為軟體開發帶來了前所未有的敏捷性和擴展性，也使得企業在軟體開發和部署上面臨前所未有的挑戰和機遇。Arm 架構憑藉其卓越的能源效率和和專為雲端原生設計的特性，加速實現雲端原生 DevOps 和生成式 AI 的創新實踐，成為協助開發者驅動創新轉型的理想平台。

本次演講將深入探討 Arm 架構如何驅動雲端原生 DevOps 和生成式 AI 應用，以實現高效能與低功耗的雙贏。我們除了將介紹 Arm 的硬體特性和軟體生態系統，並說明如何與主流 DevOps 和 AI 工具鏈無縫整合，為開發者和企業提供便捷的開發、測試和部署體驗。

同時，我們將分享 Arm 在雲端原生和生成式 AI 領域的最新技術進展和成功案例，剖析在 AI 時代至為重要的資料中心架構由其他架構逐步轉移到 Arm 架構過程中的關鍵技術考量，透過分享來自全球與亞洲市場的成功案例，展示 Arm 如何幫助企業降低成本、提升效能，並在雲端環境中實現可持續發展，亦能幫助開發者在雲端環境中實現高效能、低功耗的應用部署，加速創新。

這次演講將為開發人員、雲端服務供應商、AI 研究人員、以及企業決策者提供寶貴的見解和實踐經驗，助力他們在技術轉型和創新浪潮中把握先機，釋放無限創意。

In this session, will introduce how to build an advanced RAG with fine-tuned Gemma. We will show how to customize the model, how to monitor the performance, and how to handle the challenges during performance tuning. We will also show an example with Gemma and LowCode Tool (Dify)

#Gemini #Gemma #RAG #GenerativeAI #FineTune #PerformanceTuning

本次工作坊將帶領參與者理解 RAG（Retrieval-Augmented Generation）技術，並使用 Python 程式語言及 LangChain 框架進行實作，最終將文件轉化為可以進行互動問題的知識庫。

Why is SRE important to 17LIVE?

The evolution of 17LIVE SRE

What’s the next of 17LIVE SRE?

The contributions

Eval-Driven Development (EDD) 是一種通過特定任務評估，來引導開發 LLM-based 的應用軟體。我們會合成和製作資料集，設計評估指標，然後在評估的輔助下，實現 LLM 應用功能。簡單來說，就是先寫評估再開發。

在評估機制的支持下，我們可以自動最佳化超參數，包括自動提示詞生成 ，來提高應用性能。我們也可以透過這個機制，確保提示詞變更或升級更換模型時，AI 性能不會退化。

最後，評估流程還可以搭配 LLMOps 收集線上數據，進行數據飛輪不斷迭代改進，持續提升 AI 性能。

在生成式AI蓬勃發展的時代，確保其回應品質和準確性成為一項重要挑戰。蛻變測試是一種有效的方法，可以用來驗證生成式AI回覆的強健性和一致性。這種測試方法通過微小的改變輸入，觀察生成的回覆是否有所變化，從而評估模型的表現。

本次案例將探討如何使用蛻變測試，在於生成式AI回覆上提升信心值，將以實際例子分析運用蛻變測試的效果及重要性，並探討生成式AI自動化測試方法和蛻變測試的關係，如何在每次的驗證過程中，修改prompt及如何問問題達到最終的答案目的。

最終希望透過蛻變測試，我們可以更全面地了解生成式AI的回覆品質，發現模型的潛在問題並提出改進建議。這將有助於提高生成式AI的品質和可靠性，為其應用提供更大的信心和價值。

我們用Gemini Code Assist進行了一場有趣的實驗！我們將一群人直接自行摸索使用工具，並比對在接受原廠教育訓練後再使用的情形。並深入探討了這兩種不同的導入方式對同仁的使用效果的影響。

不僅如此，我們還利用了酷炫的RAG技術，打造了一個AI助教，幫助教育訓練期的同仁們。這位AI助教能夠隨時隨地提供訓練期間所需的相關資訊和支援，讓學習變得更加輕鬆有趣。

本次工作坊將帶領參與者理解 RAG（Retrieval-Augmented Generation）技術，並使用 Python 程式語言及 LangChain 框架進行實作，最終將文件轉化為可以進行互動問題的知識庫。

生成式AI銀行知識庫管理系統的RAG架構風險及實作分析

一、引言

• 介紹生成式AI及RAG架構
• 國泰世華銀行的應用背景

二、銀行知識庫管理系統的需求

• 高效檢索
• 準確回答
• 合規性要求

三、RAG架構在銀行系統中的應用

• 數據檢索與生成答案
• 實例說明

四、風險分析

• 數據安全性
• 合規性問題
• 生成內容準確性
• 網絡安全風險

五、實作分析

• 技術步驟
• 性能測試
• 用戶反饋與改進

六、防禦措施

• 多層次提示詞護欄
• 代理人審核機制

七、結論

• RAG架構的價值
• 未來改進方向

LangServe 是 LangChain 生態系中強大的 web 框架，開發者只要簡單使用「add_routes」，就可以把開發好的 Chain 整合到 LangServe 裡，並且能快速部署成一個 web API，甚至還有一個 playground 可以測試。

本次工作坊會一步步帶大家學習與使用 LangChain 和 LangServe ，快速打造 Generative AI 的 web API，讓開發者可以理解 LangServe 的強大優勢。

雖然像是github copilot這類生成式AI已經被普遍的應用在開發中，但這不是生成式AI重塑開發生產力的唯一方法，這堂課將帶領您探索更多生成式AI的特性並揭示一些鮮為人知的技巧和策略，聚焦於如何全面提升您的開發生產力，讓您在開發流程中不僅能夠減少重複性工作，且提升產出的品質。無論您是初次接觸生成式AI還是已有經驗，都能在這堂課中掌握生成式AI正確的打開方式

1.引言

• 介紹生成式AI和RAG的基本概念，強調RAPTOR與GraphRAG等架構的優勢和挑戰。
• 說明研究目標：提升信息檢索和生成質量。

2.文獻回顧

• 回顧現有RAG架構的技術特點和局限性。
• 探討近年來的研究進展。

3.架構解析

• 詳細解析RAPTOR架構及其在大規模文本數據處理中的表現和應用。

4.從RAPTOR到下一代RAG模型

• 提出改進方向，探討新技術應用，設計改進的RAG模型架構。

5.技術實現與實驗

• 描述新模型的技術實現，設計實驗評估新模型的性能。

6.應用與案例研究

• 提供實際應用案例，展示新模型在不同領域的效果。

7.挑戰與未來展望

• 討論開發和應用過程中的挑戰，展望未來RAG技術的發展趨勢。

LLM 洗捲世界對 AI 的認知之後，對開發 LLM 相關應用的人趨之若鶩，不過由於 LLM 需要的硬體要求實在太高，很難落地運行更別說放到裝置上運行，因此發展 SLM 逐漸受到重視。

SLM 雖然叫做小型語言模型，但它的能力可是一點也不小，Phi-3 SLM 是由 Microsoft 所開發的語言模型，可以在你的電腦、手機等裝置來運行，這場議程將帶你瞭解如何使用 .NET 開發框架來體驗 Phi-3 SLM 模型所帶來的魅力。

LangServe 是 LangChain 生態系中強大的 web 框架，開發者只要簡單使用「add_routes」，就可以把開發好的 Chain 整合到 LangServe 裡，並且能快速部署成一個 web API，甚至還有一個 playground 可以測試。

本次工作坊會一步步帶大家學習與使用 LangChain 和 LangServe ，快速打造 Generative AI 的 web API，讓開發者可以理解 LangServe 的強大優勢。

目前已經進入 AI 大時代，產品中免不了會套上一些 AI 的應用。最理想的情況是，資料科學家可以透過 AI 應用讓產品更加的完善，而且資料科學家生產出來的 AI 模型可以直接被工程師使用。但實際上我們碰到了幾個問題：

1. Request 量
2. 執行效率
3. 機器效能

上面的問題，花錢就可以解決，但是要怎麼花？而我做了什麼？

多一點前情提要，資料科學家用的語言是 Python，而工程師用的語言是 C#，接下來能做什麼？我做了什麼？再思考一下該做嗎？

最簡單的解法，當然是大錢花下去就好，加 CPU、加記憶體、加 GPU。但是這樣的解法，不是我想要的，我想要的是——花最少的錢，達到最好的效果！

再來就只能改程式碼了，程式碼部分分別有 Python 和 C# 的部分。Python 的部分，有什麼可以優化的？

1. 改非同步
2. 改演算法
3. 調整模型⋯⋯等等

上面這些有什麼好處？我做了什麼？又值得嗎？

再從我比較熟悉的 C#，又有什麼可以下手的地方？

1. 改非同步（但跟 Python 有什麼差異？）
2. 資料前處理
3. 改用 C# 跑模型？怎麼做？有比較好嗎？

上面的改動花更多的是開發人員的時間，時間就是金錢，怎麼讓錢花在刀口上？工程師和資料科學家的合作又該怎麼合作？這些我都將在議程中與大家做分享。

引言

• 介紹生成式AI和RAG的基本概念，強調RAPTOR與GraphRAG等架構的優勢和挑戰。
• 說明研究目標：提升信息檢索和生成質量。

文獻回顧

• 回顧現有RAG架構的技術特點和局限性。
• 探討近年來的研究進展。

架構解析

• 詳細解析RAPTOR架構及其在大規模文本數據處理中的表現和應用。

從RAPTOR到下一代RAG模型

• 提出改進方向，探討新技術應用，設計改進的RAG模型架構。

技術實現與實驗

• 描述新模型的技術實現，設計實驗評估新模型的性能。

應用與案例研究

• 提供實際應用案例，展示新模型在不同領域的效果。

挑戰與未來展望

• 討論開發和應用過程中的挑戰，展望未來RAG技術的發展趨勢。

• 透過 2024 年 Claude API Contest 得獎作品的簡易實作，理解 STORM 長文寫作的精髓，並分享在將它簡單產品化過程中的經驗與所得。
• Agentic Article Writer 專案簡介
• 長文寫作精彩範例
• 長文寫作可以拿來做什麼？
• 人們是怎麼寫作的？
• STORM 是怎麼思考的
• STORM 原理說明
• 產品化 & 改進實驗經驗談

介紹 WWDC 24 上，Apple 發表的 AI 框架與功能。這些功能包含但不限於 CreateML 中新的 models 與應用場景。CreateML 是 Apple 包含在 Xcode 中的功能，可以讓開發者透過數量不大的訓練資料，製作出可以發佈在 iOS or 其他 Apple 裝置的 ML model。在演講中會示範如何使用 Create ML 訓練出模型，驗證模型的準確率，最後將模型放在 iOS or macOS App 上，讓大家知道在 App 上整合 Apple 的 Machine learning model 是非常簡單的。

From spec to code, unleashing the power of AI in Software Development Life Cycle. Understand from structured feature spec and code explanation in GitHub code space, using AI assisted tool to support software feature planning and code generation. In CD stage, using AI assisted tool to adjust testing/production cloud native infrastructure with deployment recommendation, especially of K8S.

Elasticsearch 是世界最受歡迎的搜尋引擎，原先是以關鍵字搜尋為核心處理的能力，近年來不斷加入許多 AI 相關的處理能力，特別是 LLM 爆發之後，更是推出 ESRE (ElasticSearch Relevance Engine)，讓 Elasticsearch 更容易將 AI 搜尋的能力整合到我們的應用程式當中，甚至是與外部 LLM 進行整合應用。

在這場工作坊中，我們專注在如何在 Elasticsearch 當中建構語意搜尋、混合式(關鍵字+語意)搜尋，以及如何將 Elasticsearch 當成 Vector Database 與 LLM 進行結合使用。

LLM (Large Language Model) continues to lead the trend in the AI field. 

Maybe you enter this field for the first time through interacting with ChatGPT.

Today, I introduce the development of NLP in the Chinese based on the NLP technique evolution in LINE Taiwan e-commerce.

Also, I explain the core concepts, pros and cons of the algorithms or models.

I hope everyone can understand NLP more and get suitable solutions for your application scenarios.

• 生成式AI依然是今年科技圈的熱門話題，LLM模型的能力無庸置疑的強大。這次，我將以 Semantic Kernel 框架為基礎，展示如何運用LLM模型的能力來打造 AI Agent。這些人工智慧代理主要設計用於模仿人類的決策過程，能夠在完全無需人類(程式規則撰寫)介入的情況下，進行自動化且智慧化的判斷過程。
• 過去的應用程式的開發上,必須撰寫許多規則判斷,才能完成任務,現在程式碼的編寫不再需要像過去那樣依靠規則判斷,你只需給予LLM模型一個明確的目標，它就能自動完成任務。
• 我將透過具體案例展示 AI Agent 如何利用 LLM模型進行深層語義理解，進而達成最終任務。這樣的 AI Agent 模式將為程式開發領域帶來一種全新的體驗，前所未有。

推薦系統隨著產品與技術的發展，已從單純的物品推薦演變成為複雜的個性化服務，涉及深度學習、數據處理及跨平台整合等多方面技術。在演講中，我們將深入探討當前推薦系統面臨的技術挑戰，並展望未來的發展趨勢，包括如何實現更精準的個性化推薦，以及如何解決系統可擴展性的問題。

Agenda

1. Challenges in LINE Shopping

3. Mulit-Stage Recommender

4. Scaling the ML Pipeline

4. Scaling the recommendations system

在Gen AI 產品與技術大爆發的時代，有許多加速開發的工具，例如Github Copilot與Google Code Assist ，在眾多工具中，該如何選擇最適合自己的工具，又該如何將工具發揮出最大價值，一直是大家最想了解的。本次議程將會深入介紹Github Copilot Workspace與Google Code Assist，帶大家了解如何透過AI助手，解決在開發過程中最煩人的測試、寫文件的工作，並且說明兩款助手的各項優勢，讓大家可以選擇最適合自己的產品。

1. Introduction to LINE Shopping
2. Problem Definition
3. Build ML Model
4. A / B test
5. Evaluation
6. Experiment Decision

Elasticsearch 是世界最受歡迎的搜尋引擎，原先是以關鍵字搜尋為核心處理的能力，近年來不斷加入許多 AI 相關的處理能力，特別是 LLM 爆發之後，更是推出 ESRE (ElasticSearch Relevance Engine)，讓 Elasticsearch 更容易將 AI 搜尋的能力整合到我們的應用程式當中，甚至是與外部 LLM 進行整合應用。

在這場工作坊中，我們專注在如何在 Elasticsearch 當中建構語意搜尋、混合式(關鍵字+語意)搜尋，以及如何將 Elasticsearch 當成 Vector Database 與 LLM 進行結合使用。

介紹 WWDC 24 上，Apple 發表的 AI 框架與功能。這些功能包含但不限於 CreateML 中新的 models 與應用場景。CreateML 是 Apple 包含在 Xcode 中的功能，可以讓開發者透過數量不大的訓練資料，製作出可以發佈在 iOS or 其他 Apple 裝置的 ML model。在演講中會示範如何使用 Create ML 訓練出模型，驗證模型的準確率，最後將模型放在 iOS or macOS App 上，讓大家知道在 App 上整合 Apple 的 Machine learning model 是非常簡單的。

In my upcoming talk, I will explore methods to boost the trustworthiness of recommendation systems, focusing on our Brickmaster system, alongside our detailed model evaluation framework involving both offline and online strategies. Offline evaluations leverage historical data to verify that the model satisfies all set performance and reliability standards before deployment. Online evaluations, on the other hand, provide continual real-time feedback essential for enhancing the system's effectiveness. Additionally, I will cover the integration of Large Language Models (LLMs) into our system, highlighting how this has markedly improved the accuracy and personalization of our recommendations, thereby boosting overall system performance. This presentation aims to demonstrate how cutting-edge AI technologies and systematic evaluations drive the development of strong, dependable, and efficient recommendation systems in our increasingly data-centric world.

補足 "一支API提供多項應用服務，玉山通用型GenAI平臺大解密" 這個故事背後的奇聞逸事，從組織、制度、人才、系統、模型各個角色的各種期待與願望。談的是技術、說的都是人性，從各種看似難以進行 AI 轉型的狀況，逐步走向能在 AI 時代永續發展的銀行。

自ChatGPT出世，大型語言模型成為許多企業喜愛的AI應用。然而，如何有效管理這些複雜的模型及prompt，成了一個重要議題。我們將深入探討優化LLM專案上的合作流程，並圍繞在通過開源工具建立LLMOps簡化以上操作，縮短從概念到產品的周期，並確保生成質量穩定。

完成服務後，加強安全性且讓生成內容合乎法規也是一大挑戰。過程將說明如何應對服務潛在的風險，設計符合標準的檢查流程，並通過自動化工具進行持續改進。

本次將透過案例分析來了解LLM在企業中的應用與挑戰，並提供實用的解決方案和工具。