Neum AI

Neum AI 是一个数据平台，旨在帮助开发者通过检索增强生成（RAG）技术，利用其数据为大型语言模型提供上下文信息。 这包括从现有数据源（如文档存储和 NoSQL 数据库）中提取数据、将内容处理为向量嵌入，并将这些向量嵌入导入向量数据库以进行相似性搜索。

它为您提供了一套全面的 RAG 解决方案，能够随您的应用扩展，并减少在集成数据连接器、嵌入模型和向量数据库等服务上所花费的时间。

功能

• 🏭 高吞吐量分布式架构，可处理数十亿条数据。支持高度并行化，以优化嵌入生成和数据摄取。
• 🧱 内置数据连接器，支持常见数据源、嵌入服务和向量存储。
• 🔄 实时数据同步，确保您的数据始终是最新的。
• ♻ 可定制的数据预处理，包括加载、分块和选择。
• 🤝 一体化的数据管理，支持结合元数据的混合检索。Neum AI 会自动增强并跟踪元数据，从而提供丰富的检索体验。

联系我们

您可以通过电子邮件 (founders@tryneum.com)、Discord 或 预约通话 联系我们的团队。

开始使用

Neum AI 云

立即在 dashboard.neum.ai 注册。请参阅我们的 快速入门指南，开始使用。

Neum AI 云支持大规模分布式架构，可对数百万份文档进行向量嵌入处理。有关完整功能集，请参阅：云与本地

本地开发

安装 neumai 包：

pip install neumai

要创建您的第一个数据管道，请访问我们的 快速入门指南。

从高层次来看，一个管道由一个或多个数据源、一个嵌入连接器（用于将内容向量化）以及一个目标连接器（用于存储这些向量）组成。以下代码片段将展示如何构建并运行一个管道：

from neumai.DataConnectors.WebsiteConnector import WebsiteConnector
from neumai.Shared.Selector import Selector
from neumai.Loaders.HTMLLoader import HTMLLoader
from neumai.Chunkers.RecursiveChunker import RecursiveChunker
from neumai.Sources.SourceConnector import SourceConnector
from neumai.EmbedConnectors import OpenAIEmbed
from neumai.SinkConnectors import WeaviateSink
from neumai.Pipelines import Pipeline

website_connector =  WebsiteConnector(
    url = "https://www.neum.ai/post/retrieval-augmented-generation-at-scale",
    selector = Selector(
        to_metadata=['url']
    )
)
source = SourceConnector(
    data_connector = website_connector, 
    loader = HTMLLoader(), 
    chunker = RecursiveChunker()
)

openai_embed = OpenAIEmbed(
    api_key = "<OPEN AI KEY>",
)

weaviate_sink = WeaviateSink(
    url = "your-weaviate-url",
    api_key = "your-api-key",
    class_name = "your-class-name",
)

pipeline = Pipeline(
    sources=[source], 
    embed=openai_embed, 
    sink=weaviate_sink
)
pipeline.run()

results = pipeline.search(
    query="What are the challenges with scaling RAG?", 
    number_of_results=3
)

for result in results:
    print(result.metadata)

from neumai.DataConnectors.PostgresConnector import PostgresConnector
from neumai.Shared.Selector import Selector
from neumai.Loaders.JSONLoader import JSONLoader
from neumai.Chunkers.RecursiveChunker import RecursiveChunker
from neumai.Sources.SourceConnector import SourceConnector
from neumai.EmbedConnectors import OpenAIEmbed
from neumai.SinkConnectors import WeaviateSink
from neumai.Pipelines import Pipeline

website_connector =  PostgresConnector(
    connection_string = 'postgres',
    query = 'Select * from ...'
)
source = SourceConnector(
    data_connector = website_connector, 
    loader = JSONLoader(
        id_key='<your id key of your jsons>',
        selector=Selector(
            to_embed=['property1_to_embed','property2_to_embed'],
            to_metadata=['property3_to_include_in_metadata_in_vector']
        )
    ),
    chunker = RecursiveChunker()
)

openai_embed = OpenAIEmbed(
    api_key = "<OPEN AI KEY>",
)

weaviate_sink = WeaviateSink(
    url = "your-weaviate-url",
    api_key = "your-api-key",
    class_name = "your-class-name",
)

pipeline = Pipeline(
    sources=[source], 
    embed=openai_embed, 
    sink=weaviate_sink
)

pipeline.run()

results = pipeline.search(
    query="...", 
    number_of_results=3
)

for result in results:
    print(result.metadata)

from neumai.Client.NeumClient import NeumClient
client = NeumClient(
    api_key='<your neum api key, get it from https://dashboard.neum.ai',
)
client.create_pipeline(pipeline=pipeline)

自行托管

如果您有兴趣将 Neum AI 部署到您自己的云环境中，请通过 founders@tryneum.com 联系我们。

我们在 GitHub 上发布了一个示例后端架构，您可以将其作为起点。

可用连接器

如需查看最新列表，请访问我们的 文档。

路线图

我们的路线图会根据需求不断调整，如果您觉得有遗漏的功能，请随时提交问题或联系我们。

Neum 工具

Neum AI 的其他工具可以在这里找到：

• neumai-tools：包含用于在生成向量嵌入之前对数据进行加载和分块的预处理工具。

Neum AI 快速上手指南

Neum AI 是一个专为检索增强生成（RAG）打造的数据平台，帮助开发者从现有数据源（如文档存储、NoSQL）提取数据，处理为向量嵌入，并注入向量数据库以支持相似度搜索。

环境准备

• 系统要求：支持 Python 3.8+ 的操作系统（Linux, macOS, Windows）。
• 前置依赖：
  • Python 包管理工具 pip。
  • 有效的 OpenAI API Key（用于生成向量嵌入）。
  • 一个可用的向量数据库实例（如 Weaviate, Qdrant, Pinecone 等）或使用 Neum AI Cloud。

安装步骤

使用 pip 安装核心库：

pip install neumai

提示：国内用户若下载缓慢，可使用清华或阿里镜像源加速安装：

pip install neumai -i https://pypi.tuna.tsinghua.edu.cn/simple

如需使用额外的数据预处理工具，可安装辅助包：

pip install neumai-tools

基本使用

以下示例展示如何构建一个简单的 RAG 管道：从网站抓取内容，使用 OpenAI 进行向量化，并存入 Weaviate 向量数据库，最后执行搜索。

1. 构建并运行管道

from neumai.DataConnectors.WebsiteConnector import WebsiteConnector
from neumai.Shared.Selector import Selector
from neumai.Loaders.HTMLLoader import HTMLLoader
from neumai.Chunkers.RecursiveChunker import RecursiveChunker
from neumai.Sources.SourceConnector import SourceConnector
from neumai.EmbedConnectors import OpenAIEmbed
from neumai.SinkConnectors import WeaviateSink
from neumai.Pipelines import Pipeline

# 1. 配置数据源 (例如抓取网页)
website_connector = WebsiteConnector(
    url="https://www.neum.ai/post/retrieval-augmented-generation-at-scale",
    selector=Selector(to_metadata=['url'])
)

source = SourceConnector(
    data_connector=website_connector, 
    loader=HTMLLoader(), 
    chunker=RecursiveChunker()
)

# 2. 配置嵌入模型 (OpenAI)
openai_embed = OpenAIEmbed(
    api_key="<OPEN AI KEY>", # 请替换为你的真实 Key
)

# 3. 配置向量数据库接收端 (Weaviate)
weaviate_sink = WeaviateSink(
    url="your-weaviate-url",       # 替换为你的 Weaviate 地址
    api_key="your-api-key",        # 替换为你的 API Key
    class_name="your-class-name",  # 替换为你的类名
)

# 4. 创建并运行管道
pipeline = Pipeline(
    sources=[source], 
    embed=openai_embed, 
    sink=weaviate_sink
)

pipeline.run()

2. 执行相似度搜索

数据入库后，可直接通过管道对象进行查询：

results = pipeline.search(
    query="What are the challenges with scaling RAG?", 
    number_of_results=3
)

for result in results:
    print(result.metadata)

进阶场景：连接 PostgreSQL

若需从数据库读取数据，可切换 SourceConnector：

from neumai.DataConnectors.PostgresConnector import PostgresConnector
from neumai.Loaders.JSONLoader import JSONLoader
# ... 其他导入保持不变

postgres_connector = PostgresConnector(
    connection_string='postgres', # 替换为实际连接字符串
    query='Select * from your_table'
)

source = SourceConnector(
    data_connector=postgres_connector, 
    loader=JSONLoader(
        id_key='<your id key>',
        selector=Selector(
            to_embed=['property1_to_embed', 'property2_to_embed'],
            to_metadata=['property3_to_include']
        )
    ),
    chunker=RecursiveChunker()
)

# 后续嵌入和 Sink 配置同上，创建 Pipeline 并运行即可

部署到 Neum Cloud

若希望利用云端分布式架构处理大规模数据，可将本地定义的管道发布至 Neum Cloud：

from neumai.Client.NeumClient import NeumClient

client = NeumClient(
    api_key='<your neum api key>', # 从 dashboard.neum.ai 获取
)

client.create_pipeline(pipeline=pipeline)