据 IT 之家 9 月 19 日报道，AI 软件公司 Anyscale 周一宣布将英伟达 AI 引入 Ray 开源和 Anyscale 平台中。英伟达 AI 还将在 Anyscale Endpoints 中运行，该服务可帮助应用程序开发人员使用流行的开源模型（如 Code Llama、Falcon、Llama 2、SDXL 等）嵌入 LLMs 到其应用程序中。

据悉，英伟达 Triton Interence Server 软件支持在 GPU、CPU 和其他处理器上跨云、数据中心、边缘和嵌入式设备进行推理。当与 Ray 集成时，开发人员可以提高来自各种框架的 AI 模型（包括 TensorRT、TensorFlow、PyTorch、ONNX、OpenVINO 等）的效率。

Anyscale 首席执行官兼联合创始人 Robert Nishihara 在一份声明中表示：“我们与英伟达的合作将为 Anyscale 的产品组合带来更多性能和效率，以便开发人员随处创建具有前所未有速度和效率的 LLMs 和生成 AI 应用程序。”

原文链接