📄️ AI21SemanticTextSplitter
本示例介绍了如何在 LangChain 中使用 AI21SemanticTextSplitter。
📄️ Beautiful Soup
Beautiful Soup 是一个用于解析 HTML 和 XML 文档的 Python 包（包括处理格式错误的标记，即未闭合的标签，因此得名标签汤）。它为解析的页面创建一个解析树，可以用于从 HTML 中提取数据，这对于网络爬虫非常有用。
📄️ Cross Encoder Reranker
本笔记本展示了如何在检索器中实现重排名器，使用您自己的来自 Hugging Face cross encoder models 的 cross encoder 或实现 cross encoder 功能的 Hugging Face 模型（示例：BAAI/bge-reranker-base）。SagemakerEndpointCrossEncoder 使您能够使用这些在 Sagemaker 上加载的 HuggingFace 模型。
📄️ DashScope Reranker
本笔记本展示了如何使用 DashScope Reranker 进行文档压缩和检索。DashScope 是阿里云的生成式 AI 服务。
📄️ Doctran: 提取属性
我们可以使用 Doctran 库提取文档的有用特征，该库使用 OpenAI 的函数调用功能来提取特定的元数据。
📄️ Doctran：审问文档
在向量存储知识库中使用的文档通常以叙述或对话的格式存储。然而，大多数用户查询是以问题的形式出现。如果我们在向量化之前将文档转换为问答格式，我们可以增加检索相关文档的可能性，并减少检索不相关文档的可能性。
📄️ Doctran: 语言翻译
通过嵌入比较文档的好处在于可以跨多种语言进行工作。“Harrison says hello”和“Harrison dice hola”在向量空间中将占据相似的位置，因为它们在语义上具有相同的含义。
📄️ Google Cloud Vertex AI Reranker
Vertex Search Ranking API 是 Vertex AI Agent Builder 中的独立 API 之一。它接受一组文档，并根据文档与查询的相关性对这些文档进行重新排序。与仅关注文档与查询语义相似性的嵌入不同，排名 API 可以为文档回答特定查询的效果提供精确的评分。排名 API 可用于在检索初始候选文档后提高搜索结果的质量。
📄️ Google Cloud Document AI
Document AI 是 Google Cloud 的文档理解平台，用于将文档中的非结构化数据转化为结构化数据，从而更易于理解、分析和使用。
📄️ 谷歌翻译
谷歌翻译 是由谷歌开发的多语言神经机器翻译服务，用于将文本、文档和网站从一种语言翻译成另一种语言。
📄️ HTML to text
html2text 是一个将 HTML 页面转换为干净、易读的纯 ASCII 文本 的 Python 包。
📄️ Jina Reranker
本笔记本展示了如何使用 Jina Reranker 进行文档压缩和检索。
📄️ Markdownify
markdownify 是一个 Python 包，可以将 HTML 文档转换为 Markdown 格式，并提供可自定义的选项来处理标签（链接、图片等）、标题样式和其他内容。
📄️ Nuclia
Nuclia 自动索引来自任何内部和外部来源的非结构化数据，提供优化的搜索结果和生成的答案。它可以处理视频和音频转录、图像内容提取和文档解析。
📄️ OpenAI 元数据标记器
将摄取的文档标记为结构化元数据（例如文档的标题、语气或长度）通常是有用的，以便在后续进行更有针对性的相似性搜索。然而，对于大量文档，手动执行此标记过程可能会很繁琐。
📄️ OpenVINO Reranker
OpenVINO™ 是一个开源工具包，用于优化和部署 AI 推理。OpenVINO™ Runtime 支持各种硬件 设备，包括 x86 和 ARM CPU 以及 Intel GPU。它可以帮助提升计算机视觉、自动语音识别、自然语言处理和其他常见任务中的深度学习性能。
📄️ RankLLM Reranker
RankLLM 提供了一系列基于列表的重排序器，重点是针对该任务微调的开源 LLM，RankVicuna 和 RankZephyr 是其中两个。
📄️ Volcengine Reranker
本笔记本展示了如何使用 Volcengine Reranker 进行文档压缩和检索。Volcengine 是字节跳动（TikTok 的母公司）开发的云服务平台。
📄️ VoyageAI Reranker
Voyage AI 提供尖端的嵌入/向量化模型。