genai / news / / iTWire
近七成公司（69%）現在同時使用三種或更多模型，並且流程也變得越來越複雜。
目前，約 70% 的公司已經在生產流程中使用三個或以上的 AI 模型。
重點
- 約 5% 的 AI 模型請求在實際應用中失敗，其中 60% 的失敗原因是容量限制。
- 在人工智慧系統中採用代理框架的比例逐年翻倍，這也增加了運營的複雜性。
- 平均團隊的每筆模型請求使用的 token 數量增加了兩倍多，而高使用者的 token 數量則增加了四倍。
- 在大多陣列織中，像是提示快取和更精巧的上下文設計等最佳化技術，仍然被廣泛應用程度不高。
相關公司
由 Newsio 自 iTWire 摘要整理。 摘要方式說明 →