2024-09-12 | 14:30 - 14:55

AI模型的理想化和實用性妥協

目前已經進入 AI 大時代,產品中免不了會套上一些 AI 的應用。最理想的情況是,資料科學家可以透過 AI 應用讓產品更加的完善,而且資料科學家生產出來的 AI 模型可以直接被工程師使用。但實際上我們碰到了幾個問題:

  1. Request 量
  2. 執行效率
  3. 機器效能

上面的問題,花錢就可以解決,但是要怎麼花?而我做了什麼?

多一點前情提要,資料科學家用的語言是 Python,而工程師用的語言是 C#,接下來能做什麼?我做了什麼?再思考一下該做嗎?

最簡單的解法,當然是大錢花下去就好,加 CPU、加記憶體、加 GPU。但是這樣的解法,不是我想要的,我想要的是——花最少的錢,達到最好的效果!

再來就只能改程式碼了,程式碼部分分別有 Python 和 C# 的部分。Python 的部分,有什麼可以優化的?

  1. 改非同步
  2. 改演算法
  3. 調整模型⋯⋯等等

上面這些有什麼好處?我做了什麼?又值得嗎?

再從我比較熟悉的 C#,又有什麼可以下手的地方?

  1. 改非同步(但跟 Python 有什麼差異?)
  2. 資料前處理
  3. 改用 C# 跑模型?怎麼做?有比較好嗎?

上面的改動花更多的是開發人員的時間,時間就是金錢,怎麼讓錢花在刀口上?工程師和資料科學家的合作又該怎麼合作?這些我都將在議程中與大家做分享。

聽眾收穫

以個人的經驗做為引子,提供我的解決方案,以及我在其中的考量和拉扯,希望能引起大家的共鳴,也希望其中的一些做法可以給聽者做為參考,再來可以共同討論、研究,讓我們在AI大時代中,能夠更加的順利

講者

賴志銘(Vincent)

新加坡商鈦坦科技
Senior Product Developer

做過銀行業、製造業、FinTech,工作內容包含 Infra、DevOps、DBA、PM、PG、資料工程師、資料科學家⋯⋯等等,大概跟軟體有關的職業都做過了。

在軟體界遊盪,現在來到鈦坦科技,喜歡這個地方,現在還可以兼一下 ScrumMaster,經常性提供一條龍服務,而我,就是那條龍!