Anyscale

Anyscale 是一个通过生产就绪的 API 运行、微调和扩展 LLM 的平台。 Anyscale Endpoints 以具有成本效益的方式服务许多开源模型。

Anyscale 还提供了 一个示例， 说明如何将 LangChain 与 Anyscale 设置为高级聊天代理。

安装和设置

• 获取 Anyscale 服务 URL、路由和 API 密钥，并将它们设置为环境变量（ANYSCALE_SERVICE_URL，ANYSCALE_SERVICE_ROUTE，ANYSCALE_SERVICE_TOKEN）。
• 有关更多详细信息，请参见 Anyscale 文档。

我们需要安装 openai 包：

pip install openai

LLM

查看用法示例。

from langchain_community.llms.anyscale import Anyscale

聊天模型

查看使用示例。

from langchain_community.chat_models.anyscale import ChatAnyscale

嵌入

查看使用示例。

from langchain_community.embeddings import AnyscaleEmbeddings