2024-09-12 | 14:30 - 14:55
AI模型的理想化和實用性妥協
目前已經進入 AI 大時代,產品中免不了會套上一些 AI 的應用。最理想的情況是,資料科學家可以透過 AI 應用讓產品更加的完善,而且資料科學家生產出來的 AI 模型可以直接被工程師使用。但實際上我們碰到了幾個問題:
- Request 量
- 執行效率
- 機器效能
上面的問題,花錢就可以解決,但是要怎麼花?而我做了什麼?
多一點前情提要,資料科學家用的語言是 Python,而工程師用的語言是 C#,接下來能做什麼?我做了什麼?再思考一下該做嗎?
最簡單的解法,當然是大錢花下去就好,加 CPU、加記憶體、加 GPU。但是這樣的解法,不是我想要的,我想要的是——花最少的錢,達到最好的效果!
再來就只能改程式碼了,程式碼部分分別有 Python 和 C# 的部分。Python 的部分,有什麼可以優化的?
- 改非同步
- 改演算法
- 調整模型⋯⋯等等
上面這些有什麼好處?我做了什麼?又值得嗎?
再從我比較熟悉的 C#,又有什麼可以下手的地方?
- 改非同步(但跟 Python 有什麼差異?)
- 資料前處理
- 改用 C# 跑模型?怎麼做?有比較好嗎?
上面的改動花更多的是開發人員的時間,時間就是金錢,怎麼讓錢花在刀口上?工程師和資料科學家的合作又該怎麼合作?這些我都將在議程中與大家做分享。
聽眾收穫
以個人的經驗做為引子,提供我的解決方案,以及我在其中的考量和拉扯,希望能引起大家的共鳴,也希望其中的一些做法可以給聽者做為參考,再來可以共同討論、研究,讓我們在AI大時代中,能夠更加的順利

講者
賴志銘(Vincent)
新加坡商鈦坦科技
Senior Product Developer
做過銀行業、製造業、FinTech,工作內容包含 Infra、DevOps、DBA、PM、PG、資料工程師、資料科學家⋯⋯等等,大概跟軟體有關的職業都做過了。
在軟體界遊盪,現在來到鈦坦科技,喜歡這個地方,現在還可以兼一下 ScrumMaster,經常性提供一條龍服務,而我,就是那條龍!