OpenLLM

本页面演示如何使用 OpenLLM 与 LangChain。

OpenLLM 是一个用于在生产环境中操作大型语言模型（LLMs）的开放平台。它使开发人员能够轻松地使用任何开源 LLM 进行推理，部署到云端或本地，并构建强大的 AI 应用程序。

安装和设置

通过 PyPI 安装 OpenLLM 包：

pip install openllm

LLM

OpenLLM 支持广泛的开源 LLM 以及用户自己微调的 LLM。使用 openllm model 命令查看所有为 OpenLLM 预优化的可用模型。

包装器

有一个 OpenLLM 包装器，支持在进程中加载 LLM 或访问远程 OpenLLM 服务器：

from langchain_community.llms import OpenLLM

OpenLLM 服务器的封装

此封装支持通过 HTTP 或 gRPC 连接到 OpenLLM 服务器。OpenLLM 服务器可以在本地或云端运行。

要在本地试用，请启动 OpenLLM 服务器：

openllm start flan-t5

封装用法：

from langchain_community.llms import OpenLLM

llm = OpenLLM(server_url='http://localhost:3000')

llm("What is the difference between a duck and a goose? And why there are so many Goose in Canada?")

本地推理的封装器

您还可以使用 OpenLLM 封装器在当前 Python 进程中加载 LLM 以进行推理。

from langchain_community.llms import OpenLLM

llm = OpenLLM(model_name="dolly-v2", model_id='databricks/dolly-v2-7b')

llm("What is the difference between a duck and a goose? And why there are so many Goose in Canada?")

使用方法

有关 OpenLLM Wrapper 的更详细说明，请参见 示例笔记本