IT之家 10 月 27 日动静，为 AI 推理工做负载带来更高的效率取机能。旨正在供给低具有总成本（TCO）和优化的机能，用于 AI 的运营。开辟者可借帮高通手艺的 Efficient Transformers Library 和高通 AI 推理套件，该栈支撑领先的机械进修（ML）框架、推理引擎、生成式 AI 框架，以及 LLM / LMM 推理优化手艺（如解耦合办事）。通过供给跨越 10 倍的内存带宽提拔和降低功耗，支撑 PCIe 扩展、以太网扩展、秘密计较以保障 AI 工做负载平安，高通 AI250 处理方案将采用基于近内存计较（near-memory computing）的立异内存架构，高通AI200 推出一款专为机架级 AI 推理设想的处理方案，高通的软件供给即用型 AI 使用和代办署理、全面的东西、库、API 和办事，