genai / news / / Wccftech
一家台灣公司宣布其新款 PCIe AI 加速卡，能以僅 240W 功耗本地運行 700B 參數大型語言模型。
Skymizer 的 HTX301 可在本地以僅 240W 功耗運行 700B 參數大型語言模型。
重點
- 每張 HTX301 PCIe 卡使用六顆晶片，支援最高 384 GB 標準 LPDDR 記憶體。
- HTX301 可實現每秒 30 個標記的生成速度，多卡併用時可達每秒 1200 個標記。
- HTX301 的權重壓縮技術比 llama.cpp 高出最多 17.8%，降低記憶體需求。
- HTX301 的功耗不到領先的 NVIDIA 和 AMD PCIe AI 加速卡的一半。
相關公司
由 Newsio 自 Wccftech 摘要整理。 摘要方式說明 →