genai / news / / Wccftech
vLLM-ATOM 是一款專為提升多種 AI 大型語言模型推論效能而設計的外掛，基於 AMD 高效能 Instinct GPU 加速器打造。
AMD 的 vLLM-ATOM 外掛可在不更改 vLLM 程式碼的情況下，為 MI350 與 MI400 GPU 啟用原生核心優化。
重點
- vLLM-ATOM 立即提供 FP4 精度及機架級推論等功能，適用於 AMD 最新 GPU。
- 該外掛驗證新硬體與核心功能，並將成熟優化上游至 vLLM 的 ROCm 後端。
- 使用者可將 vLLM-ATOM 作為獨立伺服器或在 vLLM 工作流程中作為外掛後端運行。
- vLLM-ATOM 透過統一推論管線，在 AMD 硬體上同時支援大型語言模型（LLM）與視覺語言模型（VLM）。
相關公司
由 Newsio 自 Wccftech 摘要整理。 摘要方式說明 →