2024-09-11 | 14:30 - 14:55
運用 dbt 確保 End-to-End 資料品質
- dbt 介紹
- 公司的業務
- Data tech stack 及 Data Pipeline 介紹
- 碰過的資料錯誤案例
- 運用 dbt 導入資料品質檢查的兩個情境
- 介紹兩個情境準備工作及用到的工具
- 導入資料品質檢查的效益
聽眾收穫
- DataOps 中如何運用 dbt 做資料品質檢查
- dbt 搭配 CI/CD 的情境及用法
講者
黃郁豪(Bruce Huang)
Migo
Data Engineer
超過3年資料工程師經驗，經歷過EC、交通、MarTech 公司，目前為 MIGO Corp. 資料工程師 (2021/12至今)：
- 建立10+ELT data pipeline
- 導入 dbt 於團隊 data pipeline ，提高團隊資料流程效率
- 在CI/CD流程中整合dbt，實現End-to-End的資料品質管理，確保 data pipeline 的品質和可靠性