genai / news / / VentureBeat
MLCommons 發布了 MLPerf 4.0 推理基準測試。
MLPerf 4.0 現在針對 Llama 2 70B 進行問答基準測試，並新增 Stable Diffusion 影像生成測試。
重點
- Nvidia 的 H100 GPU 使用 TensorRT-LLM，在六個月內達成近三倍的文字摘要推理效能提升。
- Nvidia 新款 H200 GPU 在 Llama 2 工作負載上，推理效能比 H100 快最多 45%。
- Intel 第五代 Xeon 處理器在 GPT-J 推理效能上比前代提升最多 1.9 倍。
相關公司
由 Newsio 自 VentureBeat 摘要整理。 摘要方式說明 →