Data obeservisibility by OpenLineage

隨著資料處理與 AI 工作負載中日益複雜,資料可觀測性成為平台穩定性與信任度的關鍵。OpenLineage 作為一套開源標準,提供了追蹤資料流向與血緣(Lineage)關係的新方式,協助團隊掌握資料流動、快速定位問題並提升透明度。

本議程將分享我們探索與導入 OpenLineage 的實務經驗,涵蓋其在雲原生環境中的整合策略、遇到的挑戰與應對方式,以及對可觀測性、資料品質與跨團隊協作的實際影響。我們也會探討其在 AI 或資料平台中的潛在應用可能。

無論您關注的是可觀測性、資料治理,或是 AI/ML pipeline 的穩定性,這場分享將提供可參考的實務觀點與思考方向。


聽眾收穫:

  • 認識 OpenLineage 在資料可觀測性中的角色與價值
  • 探索在 Kubernetes 環境中導入資料血緣追蹤的實務考量
  • 瞭解如何提升資料平台的透明度、可靠性與跨團隊協作效率
  • 對 AI 與資料治理需求下的 Observability 發展有更多策略思考
講者

林樹熙 (Shuhsi)

Micron
Data Engineering Manager

目前主要負責促進資料工程團隊在智慧製造應用上的協同合作。對軟體/資料架構、物聯網應用、雲端服務和工程文化有廣泛的興趣,樂於參加各開發相關社群活動,是sciwork的主要成員之一。