CTranslate2

CTranslate2 是一个用于高效推理的 C++ 和 Python 库，适用于 Transformer 模型。

该项目实现了一个自定义运行时，应用了许多性能优化技术，如权重量化、层融合、批处理重排序等，以加速并减少 Transformer 模型在 CPU 和 GPU 上的内存使用。

完整的功能和支持的模型列表包含在 项目的代码库 中。要开始，请查看官方的 快速入门指南.

安装与设置

安装 Python 包：

pip install ctranslate2

LLMs

查看 使用示例。

from langchain_community.llms import CTranslate2