genai / news / / Analytics India Magazine
蘋果研究人員發表了大規模多任務代理理解（MMAU）基準。
蘋果推出MMAU基準，以評估大型語言模型在五個專業領域的五項能力。
重點
- MMAU包含20項任務及超過3,000個提示，能比以往基準提供更細緻的評估。
- GPT-4及其他基於API的模型在挑戰性領域中持續優於開源模型。
- 自我修正仍是重大挑戰，而解決問題能力則是目前大型語言模型較普遍能達成的目標。
- 蘋果同時推出LazyLLM，一種在不犧牲準確度下加速大型語言模型推理的新技術。
相關公司
由 Newsio 自 Analytics India Magazine 摘要整理。 摘要方式說明 →