Skip to main content

Llama.cpp

本页面介绍如何在 LangChain 中使用 llama.cpp。 它分为两个部分:安装和设置,以及对特定 Llama-cpp 包装器的引用。

安装和设置

  • 使用 pip install llama-cpp-python 安装 Python 包
  • 下载一个 支持的模型,并按照 说明 将其转换为 llama.cpp 格式

包装器

LLM

存在一个 LlamaCpp LLM 包装器,您可以通过以下方式访问它:

from langchain_community.llms import LlamaCpp

有关更详细的说明,请参见 此笔记本

嵌入

存在一个 LlamaCpp Embeddings 包装器,您可以通过以下方式访问它

from langchain_community.embeddings import LlamaCppEmbeddings

有关更详细的操作指南,请参见 此笔记本


此页面是否有帮助?


您还可以留下详细的反馈 在 GitHub 上