genai / news / / The Manila Times
在 OCI H100 基礎設施上的聯合基準測試顯示，無需增加 GPU 即可實現 10 倍更多同時用戶、10 倍更高的標記吞吐量及 7 倍更多標記服務量。
WEKA 在 OCI 上的 NeuralMesh 結合增強記憶網格，無需額外 GPU 即可服務 10 倍更多同時用戶。
重點
- 該平台提供 10 倍更高的標記吞吐量，達到每秒兩百萬標記，相較基線的二十萬標記。
- NeuralMesh 使總標記服務量提升 7 倍——在一小時內以 2,400 名用戶處理五十億標記。
- 系統將快取從 8.64 TiB DRAM 擴展至 287 TiB 可用 NVMe，消除 GPU 記憶體瓶頸。
- OCI 的完整基準測試證明在高並發與持續吞吐下，服務水平目標（SLO）穩定且快取持久。
相關公司
由 Newsio 自 The Manila Times 摘要整理。 摘要方式說明 →