Data obeservisibility by OpenLineage
隨著資料處理與 AI 工作負載中日益複雜,資料可觀測性成為平台穩定性與信任度的關鍵。OpenLineage 作為一套開源標準,提供了追蹤資料流向與血緣(Lineage)關係的新方式,協助團隊掌握資料流動、快速定位問題並提升透明度。
本議程將分享我們探索與導入 OpenLineage 的實務經驗,涵蓋其在雲原生環境中的整合策略、遇到的挑戰與應對方式,以及對可觀測性、資料品質與跨團隊協作的實際影響。我們也會探討其在 AI 或資料平台中的潛在應用可能。
無論您關注的是可觀測性、資料治理,或是 AI/ML pipeline 的穩定性,這場分享將提供可參考的實務觀點與思考方向。
聽眾收穫:
- 認識 OpenLineage 在資料可觀測性中的角色與價值
- 探索在 Kubernetes 環境中導入資料血緣追蹤的實務考量
- 瞭解如何提升資料平台的透明度、可靠性與跨團隊協作效率
- 對 AI 與資料治理需求下的 Observability 發展有更多策略思考

講者
林樹熙 (Shuhsi)
Micron
Data Engineering Manager
目前主要負責促進資料工程團隊在智慧製造應用上的協同合作。對軟體/資料架構、物聯網應用、雲端服務和工程文化有廣泛的興趣,樂於參加各開發相關社群活動,是sciwork的主要成員之一。