CASE 02 ・ 研究開發｜IEEE GCCE 2024
VR × ChatGPT
AI 語音助理
規劃語音對話流程，讓 VR 裡的角色可以即時和使用者對話，協助腦力激盪，並在日本 IEEE GCCE 2024 國際研討會以英文發表。
完成一個能在 VR 中即時語音對話的 AI NPC 系統
成果論文於 IEEE GCCE 2024 以英文發表，收錄於 IEEE Xplore
做法規劃語音對話流程（語音辨識 → ChatGPT → 語音合成），並設計總結與提供來源的互動
TIMELINE時間軸
階段 1
定義問題
傳統腦力激盪受限於參與者既有的知識，討論容易停滯，想用 AI NPC 當協作助手。
階段 2
設計系統架構
規劃語音輸入 → 轉文字 → AI 回應 → 語音回饋的流程，決定每一段要用的服務。
階段 3
Unity 整合與互動設計
在 VR 場景中串起整條流程，並加入總結重點、提供來源兩個按鈕。
發表
IEEE GCCE 2024
整理成論文，在日本國際研討會以英文上台報告並回答提問。
PROBLEMS遇到的問題與解法
在 VR 裡打字很不方便
問題戴著頭盔很難用鍵盤輸入，如果只能打字跟 AI 對話，腦力激盪的節奏會一直被打斷。
解法改成語音互動，VR 收音 → Whisper 轉文字 → ChatGPT 4o 產生回應 → Amazon Polly 轉成語音回饋，對話內容同時寫入資料庫保存。
結果使用者用說的就能和 NPC 討論，不用離開 VR 場景。
對話越長，想法越難整理
問題AI 一次會給很多點子，討論久了，使用者反而很難掌握重點。
解法設計「總結重點」和「提供參考來源」兩個按鈕，需要的時候一鍵整理。
結果降低使用者組織想法的負擔，讓討論可以繼續往下走。
RESULT結果
完成可即時語音對話的 VR AI NPC，並在 IEEE GCCE 2024 以英文發表。
這個專案讓我練習規劃語音對話流程，也第一次在國際研討會用英文說明系統架構。