据品玩网10月18日消息，美国英伟达公司推出新款AI软件工具Tensor RT-LLM，可提升大模型在本地PC平台上的性能。英伟达曾在2023年9月推出面向数据中心的Tensor RT-LLM，而此次推出的版本面向家用电脑。Tensor RT-LLM for Windows是一个开源库，可加快最新AI大模型（如Llama 2和Code Llama）的推理性能，使其推理速度提升4倍。同时，英伟达还发布了帮助开发人员加速大语言模型（LLM）的工具，包括使用TensorRT-LLM优化自定义模型的脚本、TensorRT优化的开源模型以及展示LLM响应速度和质量的开发人员参考项目。

消息来源：https://www.pingwest.com/w/289270