Llama.cpp

本页面介绍如何在 LangChain 中使用 llama.cpp。 它分为两个部分：安装和设置，以及对特定 Llama-cpp 包装器的引用。

安装和设置

• 使用 pip install llama-cpp-python 安装 Python 包
• 下载一个 支持的模型，并按照 说明 将其转换为 llama.cpp 格式

包装器

LLM

存在一个 LlamaCpp LLM 包装器，您可以通过以下方式访问它：

from langchain_community.llms import LlamaCpp

有关更详细的说明，请参见 此笔记本

嵌入

存在一个 LlamaCpp Embeddings 包装器，您可以通过以下方式访问它

from langchain_community.embeddings import LlamaCppEmbeddings

有关更详细的操作指南，请参见 此笔记本