JEV 本地架設調研報告

日期:2026-10-06 | 撰寫:Howard 的 pi 助理 | 主機:本機 Mac(Apple M3, 8GB)+ Spark(DGX Spark, 128GB)

0. 名稱校正(重要)

JEV 不是 Java Embedded Viewer,而是 TypeSafe AI 的 System One 決策模型:

1. 本地環境檢查結果

主機:本機 Mac(Apple M3, 8GB RAM, 可用磁碟 177GB)

專案版本路徑
openjdk@17 (brew)17.0.19/opt/homebrew/opt/openjdk@17/bin/java
openjdk (brew, latest)26.0.1/opt/homebrew/opt/openjdk/bin/java
Maven3.9.16(預設跑 JDK 26)/opt/homebrew/bin/mvn

2. JEV 架設可行性評估

2.1 Java SDK 層面(API client)

Java SDK 只是 雲端 API 的 client,模型本身跑在 TypeSafe 雲端(early access,$0.042/MTok in,output free)。
→ 本機 Java 整合可行,但這不是「本地架設模型」。

2.2 模型端「真正本地架設」選項

選項位置需求本地可行性
autotrust/JEV-9B(Apache-2.0,Qwen3.5-9B fine-tune,~18GB BF16,含 LoRA adapter 160MB、dual-head 決策頭);另有 JEV-27B、JEV-27B-VLSpark(DGX Spark, 128GB)transformers / vLLM + pip✅ 建議正式本地架設放 Spark;本機 M3 8GB 跑不動
Meanblock/JEV-CPU(Qwen3-0.6B 語意決策,讀 logits,~1s,含 web UI,MIT)本機 M3 MacCPU 即可✅ 可跑適合 demo / 驗證模式
TypeSafe 雲端 API雲端early access token✅Java SDK 直連
Ollama / 本地 Qwen + System One wrapper本機或 Spark自建 wrapper⚠️非官方 JEV 權重,僅模擬模式

結論:本機 Mac 只能跑 JEV-CPU 級 demo;正式本地架設 = Spark 上跑 JEV-9B(Apache-2.0);Java 整合走 spring-ai-typesafe(Java 17+ 已備)。

3. 安裝步驟建議

3.1 本機 Java demo(已就緒)

# Java 17 已存在,不需安裝;若要系統可見:
brew link --force openjdk@17

Maven 專案引入 org.springaicommunity:typesafe-java-sdk:0.4.0 即可連 TypeSafe 雲端 API(需 early access token)。

3.2 本機 CPU demo(JEV-CPU)

# HuggingFace: Meanblock/JEV-CPU(MIT,含 web UI)
# 下載後依 repo 說明啟動,CPU 推論約 1s/次

3.3 Spark 正式本地架設(JEV-9B)

# 於 Spark(128GB)上:
pip install transformers torch accelerate   # 或改用 vLLM
# 下載 autotrust/JEV-9B(BF16 ~18GB 或 LoRA adapter 160MB)
# 注意 dual-head 決策頭需自訂推理腳本,非標準 chat pipeline

4. 風險與注意事項

  1. Early access 限制:TypeSafe 雲端 API 需 token,價格/條款可能變動,不適合當永久依賴。
  2. JEV-9B 非標準 chat 模型:dual-head 決策頭需要特定推理程式;transformers 標準 generate 流程不一定直接可用,需照 HF repo 範例改寫。
  3. 本機 8GB RAM 限制:9B BF16 ~18GB 完全放不下;不要試圖在本機量化硬跑,品質存疑。
  4. Spark 記憶體共用:Spark 目前跑主力模型,要跑 JEV-9B 需評估記憶體排程(vLLM 常駐會擠壓)。
  5. 生態很新:spring-ai-typesafe 僅 ★51,API 可能不穩定(0.4.0 版本);正式案要留退路。
  6. 名稱混淆風險:對外文件建議寫明「JEV = TypeSafe 決策模型」,避免 Java Embedded Viewer 誤解。
  7. 授權:JEV-9B/27B 為 Apache-2.0(可商用);JEV-CPU 為 MIT;皆無授權疑慮。

5. 後續行動建議

本頁為調研靜態報告,非互動工具。資料截至 2026-10-06,JEV 生態變化快,使用前請複查 HuggingFace / GitHub 最新版本。