軟硬整合系列 · 開源專案 · ESP32-S3 · 語音 · 3D 列印 · 伺服器
兒童 AI 問答機:
按住就問,不用螢幕
按住大圓鈕說話,放開後由你自己的伺服器聽懂、回答、念出來。每一站只做一件事,產出交給下一站。先看一句話和圖;想懂細節,再點「看深度」。
狀態:尚未實機驗證。零件預計 11/17–11/20 到貨。目前完成的是設計、編譯、電腦上的單元測試與文件;沒有燒錄過、沒有量過延遲,外殼也還沒印。
- 2–4 秒預期回答延遲(估計,未實測)
- 16 條線6 樣模組,免焊接
- 283 項測試韌體 19+伺服器 264,全在電腦上跑
操作:← → 或頁尾按鈕翻頁;上方角色列可以直接跳到任一站。右上角可切換深淺色。
01 — 產品設計師
決定要什麼|需求方本人
先決定要什麼、不做什麼,後面每一站才知道往哪裡做。
孩子就能
,回答要
,伺服器
。
隱含條件:
點畫線的詞:看它變成哪個決定、交給哪一站(上方角色列會一起亮)。
看深度
範圍刻意收窄:這台不做什麼範圍
- 不做喚醒詞,也不一直聽:只有按住按鈕時才錄音。
- 不離線回答:沒有網路就只會顯示「沒有網路」、嗶兩聲。
- 裝置不存錄音、不存歷史;伺服器預設也不存錄音檔。
- 不做帳號、不收姓名或位置;裝置 ID 是亂數,不是 MAC。
- 這一版不做 OTA 線上更新、不做電池(USB 供電)。
限制(誠實版)限制
- 一定要網路和伺服器。伺服器停了,問答機就只是一個會嗶的盒子。
- 延遲約 2–4 秒是估計值:上傳錄音+語音辨識+AI 回答+第一段語音。實際看伺服器與網路,還沒量過。
- 內容安全靠伺服器規則。參考伺服器的關鍵字過濾是粗篩,會誤擋也會漏掉;不能取代大人陪伴,也不能取代 AI 供應商自己的安全機制。
- ESP32 只支援 2.4 GHz Wi‑Fi。
- 沒有回音消除:播放時不能同時聽,要等它講完或按一下插話。
這一頁的決定,後面在哪裡兌現扣合
- 按住說話 → 、
- 問問題 →
- 安全 → 、
- 自己管 → 、
- 拿得動、拆不壞 → 、
02 — 採購
把需求變成買得到的模組|需求方下單;AI 查規格與資料表
六樣市售模組,排針都已焊好,杜邦線一插就能接。
東西還在路上,所以這一站先把規格查清楚:哪些數字有官方資料、哪些要等實物量。
- ESP32-S3-DevKitC-1 N16R8(Espressif 原廠,44 腳)×1
- 16 MB flash、8 MB Octal PSRAM、Wi‑Fi 2.4 GHz;官方板是兩個 Micro‑USB 口
- INMP441 I2S MEMS 麥克風模組×1
- 數位輸出、3.3 V 供電;L/R 腳決定左右聲道
- MAX98357A I2S 功放模組×1
- 5 V 供電時 4 Ω 約 3.2 W(資料表 10% THD)
- 喇叭 4 Ω 3 W,Ø50 mm×1
- 0.96" 4 針 I2C OLED(SSD1315,SSD1306 相容)×1
- 128×64 單色;I2C 位址 0x3C
- 12×12 輕觸按鍵(4 腳)+大帽×1
- 杜邦線(母‑母)約 20
- M3×10、M3×6 自攻螺絲/Ø10 腳墊4/4/4
- 雙面泡棉膠、3 mm 泡棉片、熱熔膠少量
- 建議:470–1000 µF 電解電容(功放電源旁)×1
BOM 只列通用規格,不列價格與購買通路;完整表在 GitHub repo 的 bom/。
看深度
板子是原廠 v1.0、v1.1,還是相容板?查證
- Espressif 官方 v1.0 與 v1.1 原理圖的兩個 USB 口都是 Micro‑USB(UART 口接 CP2102N、另一口是 ESP32-S3 原生 USB)。
- 如果收到的是 USB‑C,多半是相容板(第三方設計),腳位大致相同但要對絲印。
- 板載 RGB LED:v1.0 在 GPIO48、v1.1 在 GPIO38。這兩支我們都不用,所以哪一版都可以。
- 外殼的 USB 開口做成兩種插頭都插得進(見 )。
到貨後要先量的東西(依影響大小排序)待量
- 喇叭:外徑、框厚、總高、是不是圓框(方框裝不進圓座圈)。
- ESP32 板:數排針(每邊 22 支)、USB 型式、板寬。
- 按鍵:含帽高度(決定墊幾片墊片)。
- OLED:4 針順序(VCC/GND 各家不同)、玻璃位置。
- INMP441:板寬、收音孔位置。
- 功放:板寬、板厚。
每一項量到不同的值要怎麼調(多半不用重印),寫在 。
規格數字從哪裡來來源
- 開發板腳位、供電、PSRAM:Espressif 官方 user guide、原理圖、模組與晶片 datasheet。
- 麥克風:TDK INMP441 datasheet(每個 WS 週期 64 個時脈、L/R 選聲道)。
- 功放:MAX98357A datasheet(增益、SD 腳門檻、只吃 8/16/32/44.1/48 kHz)。
- OLED:Solomon SSD1315 datasheet(I2C 位址、需要上拉)。SSD1315 與 SSD1306 命令相容是社群慣例,沒找到原廠聲明,到貨後實測。
- 完整網址清單在 repo 的
wiring/PINMAP.md。
03 — 接線
讀懂腳位、畫出照著插就對的圖|AI 交叉查官方文件;圖由程式產生,線端一定落在真的腳位上
44 支腳裡有 13 支不能碰。先排除它們,再挑 9 支訊號腳。
- 讀官方腳位表。J1、J3 各 22 支,第 1 腳在天線端。
- 排除不能用的腳。開機設定腳、USB、PSRAM、板載 LED、序列埠。
- 對齊開源板型。腳位跟 xiaozhi-esp32 的 bread-compact-wifi 一樣,之後換韌體不用改線。
- 程式畫圖、逐張目視校稿。修掉文字重疊與交叉。
- 到貨後對絲印接。OLED 的 VCC/GND 順序各家不同。
config.h 的腳位,編譯時自動擋危險腳WROOM-1J1 | J3UART|USB
- 這次用(顏色=訊號群組)
- 可用,沒選
- 避開
| 接到 | 電壓 | 為什麼 |
|---|---|---|
| 麥克風 VDD、OLED VCC | 3V3 | ESP32-S3 的腳不耐 5 V;OLED 板上的 I2C 上拉接在 VCC,VCC 接 5 V 會把訊號線拉到 5 V |
| 功放 Vin | 5V(約 4.6 V) | 5 V 才推得到約 3 W;3.3 V 時約 1.3 W。I2S 訊號仍是 3.3 V,功放輸入門檻 1.3 V,相容 |
| 整機 | USB 5 V | 官方:USB、5V 腳、3V3 腳三種供電只能擇一 |
| 功放旁 | 470–1000 µF+0.1 µF | 喇叭大聲時電流突增,USB 電壓會掉;電容幫忙頂住,避免 ESP32 重開機 |
5V 腳經過板上一顆蕭特基二極體才接到 USB,實際約 4.6 V(依官方原理圖推論)。音量在韌體裡有上限,也是為了壓低電流尖峰。
看深度
13 支不能碰的腳,各自為什麼腳位
- GPIO0、3、45、46:開機時讀的設定腳(strapping)。GPIO45 開機時被拉高,會把 flash/PSRAM 電壓設成 1.8 V。
- GPIO19、20:原生 USB 的 D−/D+。
- GPIO35、36、37:N16R8 用 Octal PSRAM,這三支被 PSRAM 佔用。
- GPIO38、48:板載 RGB LED(v1.1 在 38、v1.0 在 48)。
- GPIO43、44:序列埠 TX/RX,燒錄和看 log 用。
韌體的 config.h 用 static_assert 擋這些腳:誰改錯腳位,編譯就會失敗。
I2S 的兩個細節:64 個時脈、功放挑取樣率音訊
- INMP441 規定每個左右聲道週期要 64 個時脈(24 bit 資料放在 32 bit 槽),所以麥克風用 32 bit 槽讀,再轉成 16 bit。
- L/R 腳接 GND=左聲道;韌體只讀左聲道。
- MAX98357A 不吃 24 kHz、22.05 kHz(資料表只列 8/16/32/44.1/48/88.2/96 kHz)。很多語音合成預設輸出 24 kHz,所以韌體遇到 24 k/22.05 k 會先做 2 倍升頻再播。
- 功放 SD 腳不接=左右平均;如果完全沒聲音,把 SD 在模組上接到 Vin(固定左聲道),韌體左右送同一份,不影響。
通電前檢查安全
- 數排針:每邊 22 支;模組上印 ESP32-S3-WROOM-1、標籤有 N16R8。
- 對絲印接線,不憑位置猜;OLED 的 VCC/GND 特別注意。
- 按鍵接「對角」兩支腳一定對;不確定就用電表量按下才導通的那一對。
- 三用電表:3V3 對 GND、5V 對 GND 都不該嗶。
- 第一次只插 USB,看序列埠的 PSRAM 大小(約 8 MB)。
腳位資料來源與圖的授權來源
- Espressif ESP32-S3-DevKitC-1 v1.1/v1.0 user guide、v1.1 原理圖、ESP-FAQ。
- ESP32-S3-WROOM-1 datasheet v1.8、ESP32-S3 datasheet v2.2。
- INMP441、MAX98357A、SSD1315 datasheet;輕觸開關參考 Omron B3F。
- 接線圖全部自繪(CC0),沒有使用授權不明的第三方板圖。
04 — 機構/3D
建模、選結構、顧可印性|AI 協助 OpenSCAD 建模;自動檢查把關
零件還沒到,尺寸都是典型值,所以每個卡位都留了調整空間。
精準口袋
照典型尺寸挖剛好的槽:好看、裝起來很緊;但實物差 1 mm 就裝不進去,只能重印。
容差結構這次採用
側擋+壓條+泡棉、可折的墊片、長孔:零件偏大偏小 ±1 mm 都能用銼刀、泡棉或墊片補,多半不用重印。
- 上殼、前面板白色;底座、大圓鈕、內部小件黑色
- 螺絲鎖合,小件都在殼內,小孩拆不出來
- 全部免支撐;所有 STL 都是封閉網格
- 3 種板型組合各跑 35 項干涉檢查;容差 12 項、反向對照 13 項
- USB 開口 Micro‑USB 與 USB‑C 都插得進
同一份 Onshape 文件裡也留著 R1 工作室,可對照兩版差在哪。
看深度
到貨後尺寸不合怎麼調(先試不重印的方法)容差
- USB:背面兩個開口各 12.7×9.5、中間 1 mm 肋。插頭殼特別大就用銼刀修開口外緣。
- 開發板:兩側擋柱+USB 端兩個彈性壓角。太緊磨楔口 0.2–0.3;太鬆加一層泡棉膠。
- 喇叭(Ø50 ±1、高 18 ±3):座圈 Ø52+壓環夾泡棉;框薄夾 2 mm、框厚夾 1 mm。方形框的喇叭裝不進去。
- OLED:視窗每邊多 1.2 mm;壓條兩端是長孔、可左右調;定位銷對不到就切掉。
- 按鍵:0.56 mm 墊片連在一起印、用手折開,墊 0–4 片涵蓋開關高 6.2–8.4 mm。
組裝順序(簡版)組裝
- 喇叭放進後腔座圈、壓環扣上、出線孔用熱熔膠封住。
- 前面板臉朝下:先裝麥克風(泡棉環對準收音管)、再裝 OLED,各用壓條+M3×6 鎖住。
- 大圓鈕從外插進導管、殼內扣卡圈;開關座套上導管,按壓確認有「喀」。
- 開發板下方先插好杜邦線,貼 VHB 放上底座;功放滑進卡槽、接喇叭線。
- 依接線表接線,線沿底板走、不經過天線;底座推進上殼,鎖 4 支 M3×10,貼腳墊。
給小孩用的機構考量安全
- 所有小件(壓條、卡圈、墊片、螺絲)都在殼內,要先拆 4 支螺絲才拿得到。
- 大圓鈕從外面插、裡面扣卡圈,拔不出來。
- PLA 約 55–60 °C 會軟化:不要放窗邊曝曬、暖爐旁或車內。
- 喇叭格柵不要貼牆、左側通風孔不要堵。
模型檔與授權檔案
- GitHub repo 的
cad/:OpenSCAD 原始檔、組裝座標 STL(每件一個檔)、列印姿態 STL、算繪圖、這個檢視器用的 GLB。 - 硬體設計以 CERN-OHL-P-2.0 釋出。
- STEP(約 65 MB,壓縮後約 12 MB)與 G‑code 太大,不放進 git,附在 GitHub Release v0.1.0。
- G‑code 是作者那台 Ender‑3 的版本,換一台印表機請用 STL 自己切片(見 05 列印)。
05 — 列印
排盤、排順序、印完先檢查|切片:CAD R2 分頁;自動檢查 G‑code
兩個姊妹模組一起排成兩盤:先印白盤,再印黑盤。
- 印表機
- Creality Ender-3(0.4 mm 噴嘴)
- 材料
- PLA,只有黑、白兩色
- 切片
- Cura 5.6「Low 0.28」、2 道牆、免支撐
- 風扇
- 第 1–3 層關、第 4 層起全速
- 兩盤合計
- —
- 上殼最大、最高、最容易翹,也是唯一不能靠泡棉或墊片補救的件:放第一盤,有問題先發現
- 黑盤的底座、大圓鈕、開關座都要和上殼一起才試得了配合,所以排第二
- 同盤還有姊妹專案「Wi‑Fi 偵測節點」的件,一次印完兩個模組
- 只想印問答機:用
ASK_WHITE.stl、ASK_BLACK.stl自己切片
下載(GitHub Release v0.1.0)
- 問答機 STL 全部(組裝座標+列印姿態+試配片)
- 1 白盤 G‑code・2 黑盤 G‑code(作者那台 Ender‑3 用;別台請自己切)
- STEP(R2,壓縮檔)
看深度
印完先檢查什麼(白盤 9 項、黑盤 8 項)檢查
白盤:上殼四角翹曲、鈕孔導管、USB 開口、收音孔;黑盤:底座試裝、大圓鈕滑動、卡圈、開關座舌片、墊片厚度。
G‑code 與 STEP 放哪裡、能不能直接用檔案
- 兩盤 G‑code 附在 GitHub Release,是作者那台 Ender‑3 的版本:含兩個模組的件,以及那台機器專屬的起始碼與擺位。換一台印表機就可能撞機或印歪,請用 STL 自己切。
- G‑code 只清掉了註解裡切片電腦的路徑;所有運動與溫度指令和切片結果逐位元組相同(驗證過 sha256)。
- STEP 約 65 MB,壓縮後附在 Release;git 主樹只放 OpenSCAD 原始檔、STL、渲染圖與 GLB。
兩盤都超過 10 小時怎麼辦風險
白天開印、盯第 1 層 15–20 分鐘、中段巡一次;不要整夜無人看管。
時間與重量怎麼來數字
時間與用料取自切片軟體的估計,換印表機會不同。
06 — 韌體
錄、傳、播、顯示|AI 撰寫;只做過編譯與電腦上的測試
按住錄音、放開上傳、邊收邊播;螢幕告訴孩子現在輪到誰。
精簡自製這次採用
Arduino-ESP32、約 1,000 行、MIT。一般 HTTPS+WAV,伺服器好接;網址預設空白,沒設定就不連網。
xiaozhi-esp32(選配,不改線)
功能多(串流 Opus、喚醒詞、表情),腳位跟本專案完全一樣;但預設連官方雲、要 ESP-IDF 6、伺服器要實作它的協議。
- 設定複製
secrets.example.h成secrets.h,填 Wi‑Fi 與你的伺服器網址 - 編譯
sh firmware/build.sh(arduino-cli、esp32 core 3.3.12) - 燒錄插「UART」口,
PORT=… sh firmware/build.sh --upload - 確認序列埠看到 PSRAM 約 8 MB、
health -> 200
POST /v1/ask 上傳 WAV、收 WAV畫面用的是韌體裡一模一樣的中文字點陣(Cubic 11 字型預先算成點陣);是模擬,不是實機照片。
看深度
伺服器網址怎麼設定、為什麼預設空白設定
- Wi‑Fi(最多 3 組)、伺服器網址、裝置 token、根憑證都寫在
secrets.h;這個檔不進版控。 - 範本全部是空字串:沒填就停在「尚未設定」,不會連任何網址。
- HTTPS 預設用內建的 Mozilla 根憑證驗證;自簽憑證可以貼自己的根憑證。
- Wi‑Fi 帳密不寫進 NVS;裝置 ID 是第一次開機產生的亂數,不是 MAC。
編譯結果數字
- arduino-cli 1.5.1、esp32 core 3.3.12、U8g2 2.36.19;
--warnings all0 個警告。 - 程式 1,202,667 B(app 槽 3 MB 的 38%);全域變數 60,468 B(18%)。
- 錄音緩衝放 PSRAM:12 秒約 384 KB(8 MB 的 4.6%)。播放邊收邊播,不整段存。
- 沒有
secrets.h也能編譯;另用假帳密在暫存複本編一次,確認帳密只會出現在那份 binary。
電腦上的測試:19 項、573 個檢查測試
- 狀態機、按鈕去彈跳、32→16 bit、直流阻隔、音量、錄音緩衝、升頻。
- WAV 串流解析:用 1–17 B 的各種切法餵進去結果都一樣;略過 LIST、長度填 0 或 0xFFFFFFFF 的串流。
- HTTP chunked 解碼、錯誤碼分類、重試規則、網址組合、base64 點陣。
- 用 clang+AddressSanitizer/UBSan 跑;變異測試 10/10:故意把程式改壞 10 種,測試全部抓到。
為什麼不直接用 xiaozhi-esp32決策
- 它很成熟(MIT、很活躍),而且腳位跟我們一樣,想換隨時可以換,不用改線。
- 但它開機一定先打 OTA 端點,預設是官方雲;要鎖定自架伺服器得改設定,伺服器也要實作 WebSocket+Opus 協議。
- 需要 ESP-IDF 6 與大量元件,其中語音元件的授權限用於 Espressif 晶片。
- POC 要快、要看得懂、要只連自己的伺服器,所以主線用精簡自製。
07 — 伺服器
聽懂、回答、念出來,兒童規則在這裡|協議公開;附一份 Python 參考實作
兩個端點就夠:問一題,回一段語音。換 AI 引擎不用動裝置。
- 上傳 10 秒錄音約 320 KB
- STT
- LLM
- TTS 第一段
兒童模式(全部在伺服器端)安全
- 系統提示:對象 4–10 歲、回答最多 3 句、用簡單的話;不提供危險步驟;不問、不記個資。
- 輸入與輸出都過關鍵字規則;命中時不送 AI,改回一句溫和的轉向(「我們去問爸爸媽媽好不好?」),仍回 200,孩子聽到的是一句話不是錯誤畫面。
- 偵測到電話、地址、email 之類的個資:提醒孩子不要說,紀錄裡也遮掉。
- 每台裝置每分鐘、每天的次數上限;可設定允許使用的時段。
- 規則是粗篩:會誤擋也會漏掉,不能取代大人陪伴。
看深度
隱私:存什麼、不存什麼隱私
- 不存錄音檔。
- 提問紀錄只存:時間、亂數裝置 ID、辨識文字(個資遮蔽後)、回答文字、是否被過濾、延遲;保留天數可設(預設 30 天),也可以整個關掉。
- 裝置不傳 MAC、SSID、位置。
- 錄音仍會送到你設定的語音辨識引擎;選引擎時要看它的資料政策。
參考伺服器:怎麼跑、怎麼換引擎實作
- 只用 Python 標準函式庫;預設是假引擎(固定文字+提示音),不連網、不用金鑰,拿來測裝置與協議。
- STT/LLM/TTS 是可替換介面;附 OpenAI 相容 HTTP 設定,金鑰只從環境變數讀。
- 預設只綁本機
127.0.0.1;正式使用要放在 HTTPS 反向代理後面。 - 264 項單元測試:WAV 驗證、端到端 HTTP、過濾、個資遮蔽、額度、紀錄保留、外部引擎請求格式。
逾時與重試協議
- 連線 5 秒、等第一個位元組 20 秒、播放中 5 秒沒資料就停。
- 只有「還沒送出去就斷了」才重送一次;等回應逾時不重送,免得孩子多等 20 秒;拿到任何狀態碼都不重送。
08 — 驗證
分清楚「做過了」和「還沒做」|每一項都附證據檔
能在電腦上驗的都驗了;要摸到實物才能驗的,全部列成待辦。
- 已完成韌體編譯通過,
--warnings all0 個警告 - 已完成韌體純邏輯 19 項測試(573 個檢查)+變異測試 10/10
- 已完成參考伺服器 264 項測試
- 已完成腳位用官方 user guide、原理圖、datasheet 交叉查證
- 已完成外殼自動檢查(封閉網格、干涉、容差、反向對照)
- 已完成公開前掃描:沒有帳密、內網位址、私人資訊
- 待實機燒錄、開機、PSRAM 與 OLED 顯示
- 待實機錄音品質、喇叭音量、大聲時供電穩不穩
- 待實機從放開按鈕到開始回答的實際延遲
- 待實機外殼列印、組裝、按鈕手感
- 待實機孩子實際使用、兒童規則調整
| 到貨後先做 | 預期 | 不對時 |
|---|---|---|
| 序列埠看 PSRAM | 約 8 MB | 燒錄設定不是 OPI PSRAM,或板子不是 R8 |
| 看 OLED | 字是正的 | 上下顛倒改 OLED_ROTATE_180;全黑查 SDA/SCL、位址 |
| 按住說話 | 音量條跟著跳 | 一直 0:查麥克風接線與 L/R;一直滿:調 MIC_SHIFT |
| 開機嗶聲 | 高音短嗶 | 查功放 5V 與 SD 腳 |
| 問一題 | 2–4 秒開始回答 | 看序列埠 [NET] 的狀態碼與毫秒 |
| 大聲播放 | 不重開機、不斷線 | 加電容、換 1 A 以上電源、降音量上限 |
兒童使用安全提醒安全
- 小零件:殼內有螺絲與小件,3 歲以下不適用;組好後螺絲要鎖緊、腳墊貼好。
- 音量:韌體預設 60、上限 80(可再調低);不要貼著耳朵使用。
- 內容:過濾在伺服器端,而且只是粗篩;請大人陪同、定期看提問紀錄。
- 個資:裝置不收集個資;提醒孩子不要說出姓名、學校、地址、電話。
- 電與熱:只用 USB 5 V;不要放窗邊、暖爐旁或車內(PLA 會軟化)。
✎ — 製作紀錄(邊做邊記)
每一棒做了什麼、哪裡失敗、怎麼修,照時間記下來。
時間是臺灣時間;「約」是依檔案時間推估。到目前為止全部尚未實機驗證:零件預計 11/17(二)到 11/20(五)陸續到貨,外殼也還沒印,之後印製與到貨的狀況會繼續補在這裡。
原始紀錄:repo 的 docs/JOURNAL.md。角色用通稱(產品、採購、接線、機構、切片、韌體、軟體、AI,以及各分頁與 agent 的名字),不放私人帳號。
↺ — 回扣
一個會回答問題的小盒子,背後要懂的東西其實很多。
一句需求→六樣模組→16 條線→12 件外殼→黑白兩盤→錄傳播顯示→伺服器與兒童規則→驗證清單↺回到孩子的那一句「為什麼」
01產品
02採購
03接線
04機構
05列印
06韌體
07伺服器
08驗證
✎紀錄
硬體與韌體都開源。韌體與參考伺服器 MIT;外殼、接線、BOM 為 CERN-OHL-P-2.0;OLED 中文字點陣 OFL-1.1。
GitHub:h2ocloud/mod-ask-kids-ai → Onshape 3D 文件(R2)→ Release v0.1.0(STL、G‑code、STEP)→
姊妹專案:Wi‑Fi 偵測節點(外殼一起排盤)— GitHub・專案頁
參考專案:機房溫濕度感測器(參考專案)




