PLAY AI 筆記Cohere 推出 Model Vault 機密運算功能，確保 AI 推理資料全程加密，連 Cohere 也無法存取
Cohere 在 Model Vault 單租戶推理服務中推出機密運算支援，透過 Intel TDX/AMD SEV-SNP CPU 與 NVIDIA confidential GPU 結合的可信執行環境，將企業客戶的 AI 提示與模型激活在處理過程中全程加密，並透過硬體證明讓客戶可驗證資料未被存取，且不額外收費。
本篇內容
Cohere Model Vault 現在支援機密運算，確保 AI 推理資料在處理過程中全程加密
Cohere 推出 Model Vault 的機密運算功能，使企業客戶的 AI 推理資料在整個處理流程中保持加密狀態，連 Cohere 自身、雲端供應商或基礎設施管理員都無法在記憶體中存取未加密的提示或模型激活值。此功能透過結合 Intel TDX 或 AMD SEV-SNP CPU 的可信虛擬機與 NVIDIA 在機密運算模式下運行的 GPU，在受保護的執行環境中進行解密與運算。[1][3][5]
如何透過硬體證明讓客戶驗證資料未被竊取或竄改
每次推理請求都會附帶一份證明報告（attestation report），詳細說明保護工作負載的硬體、軟體與安全政策，客戶可驗證該報告是否來自經 Intel Trust Authority 註冊的「金標準」配置，確認機密虛擬機在啟動時未被竄改。此機制讓客戶能夠在資料離開自身環境前，就確認後端基礎設施符合安全預期。[1][3][5]
無額外成本且未來將開放原始碼供獨立審計
現有 Model Vault 客戶可在不額外付費的情況下啟用加密層，Cohere 並未調整標準服務的定價。此外，公司計畫將 Model Vault 的完整伺服器堆疊開放原始碼，讓第三方稽核團隊能驗證該系統是否確實不會紀錄、匯出或洩漏客戶資料，進一步強化透明度。[1][3]
Model Vault 如何與既有 Cohere SDK 整合，免除客戶改動程式碼
為降低導入門檻，Cohere 提供一個 OHTTP proxy（可獨立運行或以 Python 套件形式使用），客戶只需將 API 請求導向此 proxy，即可在不修改既有 Cohere SDK 呼叫的情況下，將資料送進受保護的機密運算環境進行處理，這樣既有應用程式即可無縫過渡至加密推理模式。[5]
機密運算在企業 AI 市場中的戰略意義與限制
隨著企業對資料主權與隱私法規（如歐盟 AI Act）的關注日益增加，能夠證明「零資料保留」且連服務提供者都無法存取處理中資料的 AI 供應商，正在獲得競爭優勢。然而，數據顯示資料主權與隱私合規問題仍將拖慢企業 AI 市場成長，預計對年複合成長率有 -1.8% 的影響，尤其在歐洲、亞太地區較為顯著。[7][8][9]
當前部署狀況與未來擴展方向
Model Vault 加密層目前處於限制性測試階段（beta），僅透過 Cohere 銷售團隊授權存取，且必須在支援機密運算的 NVIDIA GPU 上運行。具體支援的 Cohere 模型、區域可用性、一般可用時間、以及效能開銷（如延遲與吞吐量影響）仍未在公開說明中披露，企業客戶需直接洽詢取得詳細資訊。[5][9]
資料來源與延伸閱讀
以下來源用於核對本文的技術背景與關鍵事實；正文中的編號可直接跳到對應來源。產品規格與時效性資訊仍以原始官方頁面最新版本為準。
查看 10 個來源
- Cohere's Model Vault now encrypts AI inference so even Cohere cannot see enterprise customers' data
- VentureBeat on X: "Cohere's Model Vault now encrypts AI inference so even Cohere cannot see enterprise customers' data https://t.co/zGmCHkagSO" / X
- Cohere Adds Encrypted AI Inference It Says Even It Cannot Read | Superpower Daily
- Cohere's Model Vault now encrypts AI inference so even ...
- Cohere's Model Vault Now Encrypts AI Prompts Even From Cloud Admins | AlphaSignal
- Cohere launches North Small Translate in translation push
- Enterprise AI Market - Share, Trends & Size 2025 - 2031
- AI Cycle at a Crossroads: Enterprise Adoption and Economic Reality
- "Same mission, bigger stage": OpenAI hires Git AI founders…
- RJ Martinez