sciwork 2026

從自然語言到空間音訊:用 Codex 打造可驗證的瀏覽器聲學原型
2026-12-05, 11:00–11:30 (UTC), 402

當 AI Agent 能夠協助產生大量程式碼,開發者如何確認一個跨越幾何、聲學與即時互動的應用,真的符合原先的設計?

本演講以 OpenAI Build Week 期間開發的 Echo Canvas 為案例,分享如何與 Codex 協作,將自然語言描述與可編輯的空間場景,轉換成能在瀏覽器中操作與試聽的空間音訊原型。使用者可以調整牆面、開口、音源與聆聽位置,觀察聲音路徑,並比較遮蔽、早期反射與殘響帶來的變化。

演講將說明兩個互相配合的設計:以規格、資料契約與測試約束 Codex 的開發工作;在應用內,讓 GPT-5.6 負責編譯候選場景及解釋結果,並透過結構與領域驗證,把模型輸出交給確定性的幾何與聲學計算,再由 Web Audio 完成瀏覽器 HRTF 渲染。

透過架構拆解與 Demo,我們將討論如何界定 AI 的責任、檢查生成結果,以及區分自動測試與人耳驗收所能證明的事情。

Echo Canvas 定位為用於空間音訊原型設計與預視的互動式聲學近似;演講也會交代近似方法與使用限制。聽眾將帶走一套把 AI 協作、可驗證計算與互動展示連接起來的工程實作思路。


本演講以 Echo Canvas 的 Build Week 版本為主,從一個具體問題出發:當音源移到牆後,或房間材質改變時,如何讓使用者在瀏覽器裡看見計算路徑、聽見效果,並理解系統做了哪些近似?

內容將涵蓋從需求到驗證的開發流程,包括如何把功能範圍、資料契約與驗收條件交給 Codex,如何以幾何與聲學測試檢查實作,以及如何保留人工試聽作為另一層驗證。在系統架構上,將介紹自然語言到 SceneSpec 的驗證邊界、Worker 中的確定性計算,以及 Web Audio 音訊渲染的分工,並以直接路徑遮蔽、開口感知聲音傳播與一階早期反射說明即時互動下的工程取捨。

預計內容:
- 問題背景、Build Week 目標與 Echo Canvas 使用情境
- 與 Codex 協作:需求拆解、資料契約、測試與修正
- GPT 場景編譯、確定性聲學計算與瀏覽器音訊架構
- Demo:移動音源與聆聽者、調整場景,對照聲音路徑及 Raw/Simulated 效果
- 近似方法的限制、驗證盲點與開發心得
- Q&A

目標聽眾:對 AI Agent 輔助開發、Web Audio、互動媒體或科學與工程軟體有興趣的開發者。具備基本程式設計概念即可,不需聲學專業背景,也不需事先安裝工具。

預期收穫:
1. 能區分 AI 生成內容、領域驗證與確定性計算各自應負責的工作。
2. 理解如何用規格與測試支援 AI 協作,並辨識自動測試未涵蓋的感知體驗。
3. 認識瀏覽器空間音訊原型的基本架構,以及互動式聲學近似的用途與限制。

測試連結:
https://echo-canva.vercel.app/

目前就讀大學三年級,兼具混音工程師、音樂製作人與軟體工程師背景,也是 Echo Canvas 開發者與 AI 人機互動研究者。從聲音製作的實務出發,探索音訊技術、互動介面與 AI 協作如何結合,讓創作想法轉化為可操作、可驗證的工具。

在 OpenAI Build Week 期間,與 Codex 協作開發 Echo Canvas,將自然語言場景描述、空間編輯與確定性聲學計算整合為瀏覽器空間音訊原型。關注開發者如何向 AI 表達意圖、檢查生成結果,並結合工程測試與實際聆聽評估使用體驗。希望透過跨越音樂製作、軟體工程與人機互動的實作經驗,與社群交流 AI 輔助創作及開發的可能性與限制。