Skip to main content

Airbyte JSON(已弃用)

注意:AirbyteJSONLoader已弃用。请使用AirbyteLoader代替。

Airbyte是一个用于从API、数据库和文件到数据仓库和湖泊的ELT管道的数据集成平台。它拥有最大的ELT连接器目录,支持数据仓库和数据库。

这部分介绍如何将Airbyte中的任何源加载到可以作为文档读取的本地JSON文件中。

前提条件: 已安装Docker Desktop。

步骤:

1) 从GitHub克隆Airbyte - git clone https://github.com/airbytehq/airbyte.git

2) 切换到Airbyte目录 - cd airbyte

3) 启动Airbyte - docker compose up

4) 在浏览器中访问 http://localhost:8000。系统会要求输入用户名和密码。默认情况下,用户名为 airbyte,密码为 password

5) 设置您希望的任何源。

6) 将目标设置为本地JSON,并指定目标路径 - 比如说 /json_data。设置为手动同步。

7) 运行连接。

8) 要查看创建了哪些文件,您可以导航到: file:///tmp/airbyte_local

9) 找到您的数据并复制路径。该路径应保存在下面的文件变量中。应以 /tmp/airbyte_local 开头。

from langchain_community.document_loaders import AirbyteJSONLoader
!ls /tmp/airbyte_local/json_data/
_airbyte_raw_pokemon.jsonl
loader = AirbyteJSONLoader("/tmp/airbyte_local/json_data/_airbyte_raw_pokemon.jsonl")
data = loader.load()
print(data[0].page_content[:500])
abilities: 
ability:
name: blaze
url: https://pokeapi.co/api/v2/ability/66/

is_hidden: False
slot: 1


ability:
name: solar-power
url: https://pokeapi.co/api/v2/ability/94/

is_hidden: True
slot: 3

base_experience: 267
forms:
name: charizard
url: https://pokeapi.co/api/v2/pokemon-form/6/

game_indices:
game_index: 180
version:
name: red
url: https://pokeapi.co/api/v2/version/1/



game_index: 180
version:
name: blue
url: https://pokeapi.co/api/v2/version/2/



game_index: 180
version:
n

相关


此页面是否有帮助?


您还可以留下详细的反馈 在 GitHub 上