Eval-Driven Development (EDD) 是一種通過特定任務評估，來引導開發 LLM-based 的應用軟體。我們會合成和製作資料集，設計評估指標，然後在評估的輔助下，實現 LLM 應用功能。簡單來說，就是先寫評估再開發。

在評估機制的支持下，我們可以自動最佳化超參數，包括自動提示詞生成 ，來提高應用性能。我們也可以透過這個機制，確保提示詞變更或升級更換模型時，AI 性能不會退化。

最後，評估流程還可以搭配 LLMOps 收集線上數據，進行數據飛輪不斷迭代改進，持續提升 AI 性能。

聽眾將掌握先寫評估再開發的方法論，確保開發出的 AI 軟體能夠達到預期的性能指標。在開發初期就確立明確的目標，從而提高開發效率和結果的可靠性。並且透過自動最佳化超參數技術，可以顯著減少人工調參的工作量，並提升和保障軟體的整體 AI 性能。