使用大语言模型与您的企业数据进行对话

本示例展示了几种基于您自有数据构建类似 ChatGPT 体验的方法。它使用 Azure OpenAI 服务访问 ChatGPT 模型（gpt-35-turbo 和 gpt3），并结合向量存储（如 Pinecone、Redis 等）或 Azure 认知搜索来实现数据索引和检索。

该仓库提供了一种上传您自有数据的方式，方便您从头到尾进行端到端的尝试。

更新

• 2024年3月30日 - 重构以保留聊天、聊天流、问答、上传和管理功能。其他功能将被移至独立的代码库。
• 2024年3月10日 - 将Prompt Flow版本迁移到entaoaipf。
• 2024年3月9日 - 高级RAG技术和多模态RAG模式的初始版本。
• 2024年2月28日 - 移除SEC分析功能，并将其移至独立的代码库sec。
• 2024年1月28日 - 移除PitchBook功能，这些功能已被移至独立的代码库pib。
• 2024年1月19日 - 更新了Python包及OpenAI > 1.0。针对OpenAI和Langchain引入的破坏性变更，对所有Python API进行了相应调整。
• 2023年10月12日 - Autonomous PromptFlow的初始版本。目前支持Pinecone索引，未来将很快支持认知搜索和Redis。
• 2023年9月29日 - 添加了Evaluate PromptFlow。在Azure ML中创建Prompt Flow后，可以将其附加到现有运行中，以根据以下评估流程进行评估：
  • Groundness - Q&A Groundedness评估流程利用最先进的大型语言模型（LLM）来评估Q&A检索增强生成系统的质量和安全性，从而衡量响应的质量和安全性。使用GPT-3.5作为语言模型辅助测量，旨在实现与传统数学测量相比更高的与人类评估的一致性。gpt_groundedness（相对于上下文）：衡量模型预测答案相对于上下文的 groundedness程度。即使LLM的回答是真实的，如果无法通过上下文验证，则这些回答被视为ungrounded。
  • Ada Similarity - Q&A ada_similarity评估流程同样利用最先进的大型语言模型（LLM）来评估Q&A检索增强生成系统的质量和安全性。使用GPT-3.5作为语言模型辅助测量，旨在实现与传统数学测量相比更高的与人类评估的一致性。Ada Similarity评估流程允许您使用LLM辅助的ada similarity指标来评估您的模型。ada_similarity：衡量模型预测与真实答案之间ada嵌入的余弦相似度。ada_similarity的值范围为[0, 1]。
  • Coherence - Q&A Coherence评估流程利用最先进的大型语言模型（LLM）来评估Q&A检索增强生成系统的质量和安全性。使用GPT-3.5作为语言模型辅助测量，旨在实现与传统数学测量相比更高的与人类评估的一致性。Coherence评估流程允许您使用LLM辅助的Coherence指标来评估您的模型。gpt_coherence：衡量模型预测答案中所有句子的质量以及它们之间的自然连贯性。Coherence评分范围为1到5，1表示最差，5表示最好。
  • Similarity - Q&A Similarity评估流程利用最先进的大型语言模型（LLM）来评估Q&A检索增强生成系统的质量和安全性。使用GPT-3.5作为语言模型辅助测量，旨在实现与传统数学测量相比更高的与人类评估的一致性。Similarity评估流程允许您使用LLM辅助的Similarity指标来评估您的模型。gpt_similarity：衡量用户提供的真实答案与模型预测答案之间的相似度。Similarity评分范围为1到5，1表示最差，5表示最好。
  • F1 Score - Q&A f1-score评估流程基于预测答案和真实答案中的词数计算f1分数。该评估流程允许您通过标准化后的真实答案和预测答案之间的共同标记数量来确定f1分数。F1-score：根据预测答案和真实答案中的标记计算f1分数。F1-score的值范围为[0, 1]。 Groundedness指标的评分范围为1到5，1表示最差，5表示最好。
• 2023年9月22日 - 为SqlAsk添加了PromptFlow。请确保在部署的端点中添加PFSQLASK_URL和PFSQLASK_KEY配置值，以启用此功能。同时，请确认已将SynapseName、SynapsePool、SynapseUser和SynapsePassword配置值添加到entaoai PromptFlow连接中。将ChatGpt的会话能力删除功能移至管理页面。
• 2023年9月20日 - 添加了配置，允许最终用户根据我们分享的最佳实践更改认知搜索向量存储索引的搜索类型（混合、相似度/向量以及混合重排）。问答、聊天和Prompt Flow均进行了修改。问答和聊天正在实施Langchain的自定义向量存储实现，而Prompt Flow则使用辅助函数。修复了问答/聊天/Prompt Flow无法生成后续问题的问题。
• 2023年9月18日 - 重构了SQL NLP，不再使用Langchain数据库代理/链条，而是采用自定义提示。
• 2023年9月15日 - 将Azure搜索包更新至11.4.0b9，Langchain更新至最新版本。为Prompt Flow添加了评估功能，适用于问答和聊天。可以使用Bert PDF和评估数据在Prompt Flow中执行批量和评估操作。展示流程和端到端过程的示例笔记本可供使用。Bert Chat文件夹允许您以笔记本形式测试E2E Prompt Flow、批量运行和评估。
• 2023年9月3日 - 为Chat使用Prompt Flow添加了API。允许最终用户在Azure Functions作为API（Web应用中的ApiType配置）或使用Prompt Flow托管端点之间进行选择。
• 2023年9月2日 - 为Question Answering使用Prompt Flow添加了API。允许最终用户在Azure Functions作为API（Web应用中的ApiType配置）或使用Prompt Flow托管端点之间进行选择。
• 2023年8月31日 - 添加了使用Prompt Flow的LLMOps示例。该仓库将增加灵活性，允许将部署的Prompt Flow模型用作当前Azure Functions的替代方案。
• 2023年8月20日 - 添加了对Markdown文件（作为zip文件）的支持，并从Azure OpenAiEmbedding中移除了chunk_size=1。
• 2023年8月11日 - 修复了流式聊天功能的问题。
• 2023年8月10日 - 重大变更 - 重构所有代码，使用OpenAiEndPoint配置值代替OpenAiService。此举旨在支持通过Azure API管理在Enterprise Logging中概述的最佳实践。如果您使用APIM，您的OpenAiEndPoint将是API网关URL，而OpenAiKey将是产品/无限密钥。如果不使用APIM，您无需更改密钥，但请确保OpenAiEndPoint是您AOAI部署的完整合格URL。OpenAiService已不再使用。这些变更影响了聊天流功能的运行，因此暂时禁用，待测试并修复后再启用。
• 2023年8月9日 - 在ChatGpt界面中添加了函数调用复选框。示例展示了调用函数的能力。目前支持Weather API、Stock API和必应搜索。函数调用处于预览阶段，仅支持“2023-07-01-preview”版本的API，因此请确保更新现有部署以使用该版本。有关调用函数的详细信息。对于现有部署，在Azure Function App中添加WeatherEndPoint、WeatherHost、StockEndPoint、StockHost和RapidApiKey配置。
• 2023年8月5日 - 添加带有“Stream”选项的聊天界面。此功能允许您将对话流式传输给客户端。要为现有部署启用此功能，您需要在Azure App Service（Webapp）中添加OpenAiChat、OpenAiEmbedding、OpenAiEndPoint、OpenAiKey、OpenAiApiKey、OpenAiService、OpenAiVersion、PineconeEnv、PineconeIndex、PineconeKey、RedisAddress、RedisPassword、RedisPort属性。
• 2023年7月30日 - 删除了未使用的代码 - SummaryAndQa和Chat。
• 2023年7月28日 - 开始逐步取消Davinci模型的使用。目前除研讨会外，所有功能均已停止使用。根据反馈重构了摘要功能，允许用户指定提示和预定义的主题来进行摘要。
• 2023年7月26日 - 从开发者工具中移除OpenAI Playground，因为其高级功能已在ChatGPT部分提供。
• 2023年7月25日 - 添加聊天功能标签，以直接从模型支持ChatGpt功能，而不是“基于数据的聊天”。要在不部署新的Azure Function的情况下启用此功能，您需要在Azure App Service（Webapp）中添加CHATGPT_URL属性。
• 2023年7月23日 - 添加了PIB UI的其余功能以及生成PowerPoint演示文稿输出的初始版本。对于新功能，请确保在Webapp配置中添加FMPKEY变量。
• 2023年7月20日 - 添加了与Pib Data（Sec Filings & Earning Call Transcript）对话的功能。由于部署了新的Azure Function，请确保在Azure WebApp中添加PIBCHAT_URL属性，并填写您已部署的Azure Functions的URL。
• 2023年7月18日 - 重构了PIB代码，以解决一些性能问题和错误修复。
• 2023年7月17日 - 随着“Davinci”模型的退役，移除了GPT3聊天界面。
• 2023年7月16日 - Pib UI的初始版本（目前支持5个步骤 - 公司简介、电话会议记录、新闻稿、Sec Filings和评级/建议）。您需要访问付费订阅（FMP或其他企业可访问的服务）。若使用FMP，您需要在Azure Functions中添加FmpKey。由于循环依赖关系，您还需要手动在Azure Functions中添加SecDocPersistUrl和SecExtractionUrl。
• 2023年7月14日 - 添加对GPT3.5 16K模型的支持，以及将文档分块>4000标记且重叠>500的能力。对于ChunkSize > 4000，问答和聊天功能将默认使用16K标记。为应用程序添加了身份提供商，并为问答和聊天界面实现了认证。对于GPT3.5 16k模型，您需要在Azure Function app中添加OpenAiChat16k属性。
• 2023年7月13日 - 允许最终用户选择ChunkSize和ChunkOverlap配置。初始版本的覆盖提示模板。
• 2023年7月11日 - 以笔记本的形式实现了功能性PIB CoPilot。
• 2023年7月8日 - 添加了为ChatGPT重命名会话的功能。同时添加了评估工具的UI。此功能专注于基于LLM对您的文档进行评估。它会自动生成测试数据集（包含问题和答案），并使用不同参数对该文档进行评分，最终生成评估结果。该功能基于Azure Durable Functions构建，并采用Function Chaining模式。要为现有部署启用评估功能，您需要在Azure Web App中添加BLOB_EVALUATOR_CONTAINER_NAME（确保在存储账户中创建相同的容器名称）和RUNEVALUATION_URL（持久化函数部署的URL）配置。在Azure function部署中，还需设置AzureWebJobsFeatureFlags（值为EnableWorkerIndexing）和OpenAiEvaluatorContainer设置。
• 2023年7月5日 - 添加了删除会话的功能。该功能处于预览阶段，您需要在自己的CosmosDB账户上启用该功能。添加了一个简单的try/catch块，以防您尚未启用/部署CosmosDB时继续实施ChatGPT。
• 2023年7月4日 - GPT3.5/ChatGpt界面首次实现了“会话”的存储。会话和消息存储/检索于CosmosDb。请确保已提供CosmosDb服务或新建一个（用于现有部署）。您需要在Azure Functions App和Web App中分别添加CosmosEndpoint、CosmosKey、CosmosDatabase和CosmosContainer设置。
• 2023年6月25日 - 笔记本展示了系统性地评估答案质量的方法（自动生成问题和评估链），支持LLM QA设置（分块大小、重叠、嵌入技术）。更多信息请参阅评估者笔记本。
• 2023年6月18日 - 添加了支持知识库管理的管理页面。
• 2023年6月17日 - 为“提问”功能添加了“问题列表”按钮，用于显示知识库中的所有问题。要启用“问题列表”按钮功能，需在Azure App Service中添加三个属性：SEARCHSERVICE和KBINDEXNAME（默认值为aoaikb）。
• 2023年6月16日 - 添加了使用Azure Cognitive Search作为向量存储来存储缓存知识库的功能。不在KB中的问题会被发送到LLM模型以通过OAI寻找答案，否则将从缓存的数据存储中返回答案。需要在Azure Function app中添加新属性KbIndexName。作为研讨会的一部分，添加了测试该功能的笔记本。待办事项：添加从聊天界面将问题添加到KB的功能（并使其基于会话）。不久还将添加一项从LLM重新生成答案的功能（而非使用缓存的答案）。
• 2023年6月7日 - 在开发者工具中添加了OpenAI Playground，并初步构建了CoPilot（目前以笔记本形式呈现，但最终将作为CoPilot功能推出）。添加了实时语音分析用例的脚本、录音和示例。更多内容即将推出。
• 2023年5月27日 - 添加了研讨会内容，以笔记本形式呈现，可用于学习和执行各种场景。这些笔记本可在研讨会文件夹中找到。关于研讨会内容的详细信息可在READMEWORKSHOP.md中查阅。
• 2023年5月26日 - 添加了摘要功能，可通过stuff、mapreduce或refine摘要等方式对文档进行摘要。要使用此功能（在现有部署中），请确保在Function app中添加OpenAiSummaryContainer配置，并在Azure App Service中添加BLOB_SUMMARY_CONTAINER_NAME配置（确保输入的值与Azure存储中的容器名称一致，并已创建该容器）。此外，您还需在Azure App Service中添加PROCESSSUMMARY_URL配置（确保输入的值与Azure Function URL一致）。
• 2023年5月24日 - 添加了上传CSV文件和CSV Agent的功能，用于解答/聊天关于表格数据的问题。智能Agent也支持解答关于CSV数据的问题。
• 2023年5月22日 - 初始版本的“智能Agent”，让您能够灵活地与解决方案中上传的所有文档进行对话。它还允许您与SQL数据库场景进行对话。随着更多功能的添加，该Agent将继续扩展其能力（例如处理CSV/Excel或表格数据）。
• 2023年5月21日 - 添加了开发者工具板块 - 实验性代码转换和Prompt guru。
• 2023年5月17日 - 将edgar源改为认知搜索向量存储，而非Redis。
• 2023年5月15日 - 添加了将“认知搜索”用作向量存储来存储索引的选项。Azure认知搜索提供纯向量搜索和混合检索——以及由必应驱动的复杂重排序系统，所有功能集成在一个解决方案中。注册。支持上传WORD文档。
• 2023年5月10日 - 添加了关于如何对文档进行分块的选项。如果您想使用表单识别器，请确保已创建表单识别资源，并配置适当的应用设置FormRecognizerKey和FormRecognizerEndPoint。
• 2023年5月7日 - 提供了选择使用Azure OpenAI或OpenAI的选项。对于OpenAI，请确保在Azure Functions设置中拥有OpenAiApiKey。对于Azure OpenAI，您需要OpenAiKey、OpenAiService和OpenAiEndPoint等端点设置。您也可以从开发者设置页面选择该选项，用于聊天/提问/SQL NLP/语音分析等功能。
• 2023年5月3日 - 上传功能需要密码，并引入了从索引管理开始的管理页面。
• 2023年4月30日 - 添加了任务Agent功能的初始版本。自主Agent是专为长期运行设计的Agent。您为它们设定一个或多个长期目标，它们便会独立地朝着这些目标执行。这些应用结合了工具使用和长期记忆。初始功能实现了Baby AGI及其执行工具。
• 2023年4月29日 - 使用S3、AWS Lambda Function和Azure Data Factory实现了AWS S3流程集成（自动化部署尚未可用，脚本可在/Deployment/aws文件夹中找到）。
• 2023年4月28日 - 修复了QA和聊天中的错误、引用和后续问题。提示稍显严格，以限制从文档中回复。
• 2023年4月25日 - Power Virtual Agent的初始版本。
• 2023年4月21日 - 在SQL NLP中添加了SQL查询和SQL数据标签，并修复了聊天和提问功能中的引用和后续问题。
• 2023年4月17日 - 为聊天和提问功能提供了实时语音分析、语音转文本和文本转语音功能。（您可以在开发者设置中配置文本转语音功能。您需要Azure Speech Services）
• 2023年4月13日 - 添加新功能，支持使用向量QA Agent就多份文档提问。
• 2023年4月8日 - 向您的SQL提问 - 使用SQL数据库Agent或使用SQL数据库链。
• 2023年3月29日 - 自动化部署脚本。
• 2023年3月23日 - 添加认知搜索作为存储文档的选项。
• 2023年3月19日 - 添加GPT3聊天实现。
• 2023年3月18日 - 用于生成文档摘要的API及示例QA。
• 2023年3月17日
  • 支持上传多份文档
  • 错误修复 - Redis向量存储实现
• 2023年3月16日 - 初始发布，向您的数据提问并与您的数据聊天。

测试网站

基于您的数据进行聊天和提问

功能特性

功能列表

架构

Azure 架构

带缓存的数据问答

QA LLM 评估

入门指南

入门指南

配置

应用程序与函数应用配置

参考资料

• 用 ChatGPT 彻底革新企业数据：结合 Azure OpenAI 和认知搜索的下一代应用
• Azure 认知搜索
• Azure OpenAI 服务
• Redis Search
• Pinecone
• 认知搜索向量存储

贡献

我们欢迎各种形式的贡献，无论是新增功能、更新现有功能，还是改进文档。请创建一个拉取请求，我们将对其进行审查并合并。

注

改编自以下仓库：OpenAI-CogSearch、呼叫中心分析、自动评估器以及Edgar 爬虫

entaoai 快速上手指南

entaoai 是一个基于大语言模型（LLM）的企业级数据对话工具。它利用 Azure OpenAI Service 访问 ChatGPT 模型，并结合向量数据库（如 Pinecone、Redis）或 Azure Cognitive Search 实现数据的索引与检索，让用户能够针对自有数据进行类似 ChatGPT 的问答和聊天体验。

环境准备

在开始之前，请确保满足以下系统要求和前置依赖：

• 操作系统: Linux, macOS 或 Windows (推荐 Linux 环境部署)
• Python: 版本 3.8 或更高 (建议 3.10+)
• 云服务平台:
  • Azure 订阅: 必须拥有有效的 Azure 订阅。
  • Azure OpenAI Service: 已部署并获取密钥（支持 gpt-35-turbo 等模型）。
  • 数据存储与检索: 需准备以下任一服务：
    • Azure Cognitive Search
    • Pinecone (向量数据库)
    • Redis (向量数据库)
• 开发工具:
  • Git
  • Azure CLI (用于资源管理和部署)
  • Python 包管理工具 (pip)

注意: 本项目深度依赖 Azure 生态，目前暂无官方提供的中国国内镜像源或加速方案。如遇网络问题，请配置合适的代理环境以确保能访问 Azure API 和 PyPI。

安装步骤

1. 克隆代码仓库

git clone https://github.com/akshata29/entaoai.git
cd entaoai

2. 创建虚拟环境并安装依赖

建议使用 Python 虚拟环境来隔离依赖：

python -m venv venv
source venv/bin/activate  # Windows 用户请使用: venv\Scripts\activate

pip install -r requirements.txt

3. 配置环境变量

项目核心功能依赖于 Azure 服务的配置。你需要在 Azure App Service (WebApp) 或本地 .env 文件中配置以下关键变量（具体取决于你的部署方式）：

• OpenAI 配置:
  • OpenAiEndPoint: Azure OpenAI 的端点 URL (若使用 APIM 则为 API Gateway URL)。
  • OpenAiKey: Azure OpenAI 的密钥 (若使用 APIM 则为 Product Key)。
  • OpenAiChat: Chat 模型部署名称 (例如: gpt-35-turbo)。
  • OpenAiEmbedding: Embedding 模型部署名称。
• 向量存储配置 (根据选择的存储类型填写其一):
  • Pinecone: PineconeEnv, PineconeIndex, PineconeKey
  • Redis: RedisAddress, RedisPassword, RedisPort
  • Azure Cognitive Search: 需在代码或连接字符串中配置相应的 Search Service 信息。
• 应用配置:
  • ApiType: 选择 API 类型 (AzureFunctions 或 PromptFlow)。

提示: 具体的配置项请参考项目根目录下的示例配置文件或 Azure Portal 中的应用设置页面。自 2023-08-10 更新后，主要使用 OpenAiEndPoint 替代旧的 OpenAiService 配置。

4. 初始化与部署

如果是首次运行，需要上传数据以建立索引。可以通过 Web 界面的 "Upload" 功能上传文档（支持 PDF, Markdown zip 等），或者通过命令行/Notebook 进行预处理。

若部署到 Azure Web App，可使用 Azure CLI：

az webapp up --name <your-app-name> --runtime "PYTHON|3.10"

(注：具体部署命令需根据实际架构调整，上述为通用参考)

基本使用

完成安装和配置后，你可以通过以下方式开始使用：

方式一：通过 Web 界面交互

启动应用后（本地运行或访问部署后的 Azure Web App URL），你将看到主界面。

1. 上传数据: 点击界面上的 Upload 标签页，上传你的企业文档（如 PDF、TXT 或包含 Markdown 的 ZIP 文件）。系统会自动进行分块（Chunking）并向量化存储。
2. 开始对话:
   • 切换到 Chat 标签页：进行基于上下文的流式对话。
   • 切换到 QnA 标签页：针对文档内容进行精准的问答检索。
3. 高级功能:
   • 在设置中可调整搜索类型（混合搜索 Hybrid、向量相似度 Similarity 等）。
   • 管理员可通过 Admin 页面管理会话或删除索引。

方式二：通过 Prompt Flow 评估 (可选)

如果你需要评估 RAG 系统的回答质量，可以使用内置的 Prompt Flow 评估功能。

1. 准备测试数据集（格式参考 ./api/PromptFlow/QuestionAnswering/bert.jsonl）。
2. 在 Azure Machine Learning 中运行评估流程，支持以下指标：
   • Groundedness: 衡量回答是否基于上下文依据。
   • Coherence: 衡量回答语句的通顺度和逻辑性 (1-5 分)。
   • Similarity: 衡量预测回答与真实答案的相似度 (1-5 分)。
   • F1 Score: 基于词元的精确率与召回率调和平均数。

简单代码示例 (本地调试)

若需通过 Python 脚本直接调用后端逻辑（假设已配置好环境变量）：

# 伪代码示例，具体导入路径请参考 api 目录结构
from api.core import initialize_chain, ask_question

# 初始化检索链
chain = initialize_chain(
    openai_endpoint="YOUR_ENDPOINT",
    openai_key="YOUR_KEY",
    vector_store_type="pinecone" # 或 "redis", "cognitive_search"
)

# 提问
query = "这份财报中的净利润是多少？"
response = ask_question(chain, query)

print(response)

现在，你已经成功搭建并使用了 entaoai，可以开始探索基于私有数据的 LLM 应用了。