YiVal

⚡ 自动提示生成 ⚡

👉 关注我们： |

👉 由 Discord AIGC 社区赞助：

什么是 YiVal？

YiVal：面向生成式 AI 应用的自动提示工程助手 YiVal 是一款最先进的工具，旨在简化您生成式 AI 应用的提示词以及循环中的任何配置的调优过程。借助 YiVal，手动调整将成为过去。这种数据驱动且以评估为中心的方法可确保获得最佳提示、精确的 RAG 配置和精细调优的模型参数。通过 YiVal，您可以轻松地让您的应用实现 更优异的结果、更低的延迟以及更少的推理成本！

YiVal 试图解决的问题：

1. 提示词开发挑战：“我无法创建更好的提示词。目前提示词的得分只有 60 分，这对我毫无帮助🤔。”
2. 微调困难：“我不知道如何进行微调；相关的术语和众多的微调算法让我感到不知所措😵。”
3. 自信与可扩展性：“我学习了 Langchain 和 LlamaIndex 的教程来构建智能体，但这样做真的正确吗？上线后我的钱会不会被机器人烧光？用户会喜欢我的生成式 AI 应用吗🤯？”
4. 模型与数据漂移：“模型和数据总是在变化；我担心现在表现良好的生成式 AI 应用以后可能会失效😰。”
5. 相关指标与评估器：“针对我的使用场景，我应该关注哪些指标和评估器📊？”

查看我们的快速入门指南！

演示链接

TikTok 标题自动调音

安装

Docker 运行时

安装 Docker 并从 Docker Hub 拉取我们的镜像：

docker pull yival/release:latest

运行我们的镜像：

docker run --it yival/release:latest

建议使用带有 Docker 扩展的 VSCode 来运行和开发。如果您是使用 PyTorch 和 GPU 的开发者，或者需要 Jupyter Lab 进行数据科学：

docker pull yival/release:cu12_torch_jupyter
docker run --gpus all --it -p 8888:8888 yival/release:cu12_torch_jupyter

先决条件

• Python 版本：请确保已安装 Python 3.10 或更高版本。
• OpenAI API 密钥：从 OpenAI 获取 API 密钥。获取密钥后，请将其设置为名为 OPENAI_API_KEY 的环境变量。

安装方法

使用 pip（推荐给用户）

直接使用 pip 安装 yival 包：

pip install yival

使用 Poetry 进行开发环境搭建

如果您希望参与贡献或搭建开发环境：

1. 安装 Poetry：如果您尚未安装，请先安装 Poetry。

2. 克隆仓库或使用 CodeSpace：

   2.1 使用 CodeSpace 这是获取 YiVal 开发环境最简单的方式。点击下方链接使用 GitHub Codespace，然后进入下一步。

   

   2.2 克隆仓库

   git clone https://github.com/YiVal/YiVal.git
   cd YiVal
   

3. 使用 Poetry 设置环境：初始化 Python 虚拟环境并使用 Poetry 安装依赖项。请务必在 /YiVal 目录下运行以下命令：

   poetry install --sync
   

尝试使用 YiVal

设置完成后，您可以通过生成随机科技初创公司名称的数据集来快速开始使用 YiVal。

运行第一个 YiVal 程序的步骤

1. 导航到 yival 目录：

   cd /YiVal/src/yival
   

2. 设置 OpenAI API 密钥：将 $YOUR_OPENAI_API_KEY 替换为您实际的 OpenAI API 密钥。

   在 macOS 或 Linux 系统上，

   export OPENAI_API_KEY=$YOUR_OPENAI_API_KEY
   

   在 Windows 系统上，

   setx OPENAI_API_KEY $YOUR_OPENAI_API_KEY
   

3. 定义 YiVal 配置： 创建一个名为 config_data_generation.yml 的配置文件，用于自动生成测试数据集，内容如下：

   description: 生成测试数据
   dataset:
     data_generators:
       openai_prompt_data_generator:
         chunk_size: 100000
         diversify: true
         model_name: gpt-4
         input_function:
           description: # 函数描述
             给定一家科技初创公司，生成相应的着陆页标题
           name: headline_generation_for_business
           parameters:
             tech_startup_business: str # 参数名称和类型
         number_of_examples: 3
         output_csv_path: generated_examples.csv
     source_type: machine_generated
   

4. 执行 YiVal： 从 /YiVal/src/yival 目录下运行以下命令：

   yival run config_data_generation.yml
   

5. 检查生成的数据集： 生成的测试数据集将保存在 generated_examples.csv 文件中。

有关 YiVal 的更多详细信息，请参阅YiVal 文档页面！

演示

演示视频

用例演示	支持的功能	Github 链接	视频演示链接
🐯 使用 ChatGPT 和 MidJourney 打造你的 AI 故事	多模态支持：借助 YiVal 的多模态支持，同时使用文本和图像设计一个由 AI 驱动的故事情节。它原生且无缝地支持人类反馈强化学习（RLHF）和AI 反馈强化学习（RLAIF）。请观看上方视频了解此用例。
🌟 使用你自己的问答测试数据集评估多个 LLM 的性能	借助 LiteLLM，可以方便地评估和比较你选择的模型与 100 多种其他模型的性能。针对你的自定义测试数据或特定用例，分析量身定制的模型性能基准。
🔥 创业公司标题生成机器人	通过 GPT-4 实现自动化测试数据创建、提示编写、结果评估以及性能提升，从而简化创业公司的标题生成流程。
🧳 构建个性化旅行指南机器人	利用受旅行社区最受欢迎建议启发的自动化提示，例如来自 awesome-chatgpt-prompts 的建议。
📖 打造更便宜的翻译器：利用 GPT-3.5 教 Llama2 创建推理成本更低的翻译工具	通过 Replicate 和 GPT-3.5 的测试数据，你可以对 Llama2 的翻译机器人进行微调。在仅损失 6% 性能的情况下，实现 18 倍的成本节约。
🤖️ 与你喜爱的角色对话——《月歌行》中的澹台烬	通过自动化提示生成和角色剧本检索，让你喜爱的角色栩栩如生。
🔍评估护栏在生成 Python(.py) 输出方面的性能	Guardrails：我的护栏在哪里？😭 <br>Yival：我在这里。⭐️<br><br>这项集成评估实验使用 80 道 LeetCode 题目 CSV 文件，分别采用护栏和仅使用 GPT-4 进行测试。结果显示，使用护栏时准确率从 0.625 下降至 0.55，延迟增加 44%，成本增加 140%。护栏距离实际生产应用仍有很长的路要走。
🍨可视化世界各地的不同美食！🍱	只需提供食物所属地点和最佳品尝季节，即可获得一段应季美食的视频！🤩
🎈CoD 辅助新闻文章摘要	通过整合“密度链”("Chain of Density")方法，评估增强器在文本摘要方面的能力。🎆 使用 GPT-4 生成的3篇用于评估的文章，连贯性得分提高了20.03%，属性得分提高了25.18%，平均 token 使用量从2054.6 减少到 1473.4（下降 28.3%）🚀。
🥐 自动化 TikTok 标题生成机器人	仅需两行输入，即可根据目标受众和视频内容摘要，轻松创建简洁而精致的 TikTok 视频标题。这正是我们的自动提示功能所呈现的效果：整个过程自动化，你只需输入需求，便可无忧享受成果！

贡献指南

如果您想为 YiVal 做出贡献，请务必查看 贡献指南。 我们使用 GitHub 问题 来跟踪 请求和错误报告。 如有任何一般性问题或讨论，请加入 YiVal 的 Discord 频道。 加入我们的协作社区，您的独特研究专长和软件工程技能将受到高度认可！参与我们的项目，成为创新领域的一员，让每一行代码和每一条研究见解都积极推动技术进步，共同构建一个智能互联、人人可及的未来。

贡献者

🌟 YiVal 欢迎您的贡献！🌟

🥳 非常感谢所有了不起的贡献者 🥳

论文 / 算法实现

论文	作者	主题	YiVal贡献者	数据生成器	变体生成器	评估者	选择器	增强器	配置
大型语言模型是人类级别的提示工程师	周永超, 安德烈·伊万·穆雷沙努, 韩子文	YiVal进化器, 自动提示		OpenAIPromptDataGenerator	OpenAIPromptVariationGenerator	OpenAIPromptEvaluator, OpenAIEloEvaluator	AHPSelector	OpenAIPromptBasedCombinationEnhancer	config
BERTScore：用BERT评估文本生成	张天义, 瓦尔莎·基肖尔, 费利克斯·吴	YiVal评估者, bertscore, rouge	@crazycth	-	-	BertScoreEvaluator	-	-	-
AlpacaEval	李雪晨, 张天义, 扬·杜布瓦等	YiVal评估者		-	-	AlpacaEvalEvaluator	-	-	config
密度链	格里芬·亚当斯 亚历山大·R·法布里等	提示工程		-	ChainOfDensityGenerator	-	-	-	config
大型语言模型作为优化器	杨承润 王学志等	提示工程	@crazycth	-	-	-	-	optimize_by_prompt_enhancer	config
LoRA：大型语言模型的低秩适应	爱德华·J·胡 沈烨龙等	LLM微调	@crazycth	-	-	-	-	sft_trainer	config

YiVal 快速上手指南

YiVal 是一款面向生成式 AI（GenAI）应用的自动提示工程助手。它采用数据驱动和以评估为中心的方法，帮助用户自动优化 Prompt、RAG 配置及模型参数，从而提升应用效果、降低延迟并减少推理成本。

环境准备

在开始之前，请确保满足以下系统要求和前置依赖：

• Python 版本：需安装 Python 3.10 或更高版本。
• OpenAI API Key：您需要拥有一个有效的 OpenAI API Key，并将其设置为环境变量 OPENAI_API_KEY。
• 可选依赖：
  • 若使用 Docker 运行，需安装 Docker。
  • 若进行开发或使用 GPU/PyTorch/Jupyter，建议安装 VSCode 及 Docker 扩展。

安装步骤

您可以选择通过 pip 直接安装（推荐普通用户），或使用 Docker 运行。

方法一：使用 pip 安装（推荐）

直接使用 pip 安装 yival 包：

pip install yival

方法二：使用 Docker 运行

如果您希望隔离环境或使用预配置的镜像，可以使用 Docker。

标准版：

docker pull yival/release:latest
docker run --it yival/release:latest

开发版（含 GPU、PyTorch 和 Jupyter Lab 支持）：

docker pull yival/release:cu12_torch_jupyter
docker run --gpus all --it -p 8888:8888 yival/release:cu12_torch_jupyter

注意：如果使用 Poetry 进行开发贡献，请克隆仓库后运行 poetry install --sync。

基本使用

安装完成后，您可以通过以下步骤运行第一个 YiVal 程序，自动生成测试数据集（例如：为科技初创公司生成落地页标题）。

1. 设置 API Key

根据您的操作系统，将 OpenAI API Key 设置为环境变量。请将 $YOUR_OPENAI_API_KEY 替换为您实际的密钥。

macOS / Linux:

export OPENAI_API_KEY=$YOUR_OPENAI_API_KEY

Windows (PowerShell):

setx OPENAI_API_KEY $YOUR_OPENAI_API_KEY

2. 创建配置文件

创建一个名为 config_data_generation.yml 的配置文件，用于定义数据生成任务。内容如下：

description: Generate test data
dataset:
  data_generators:
    openai_prompt_data_generator:
      chunk_size: 100000
      diversify: true
      model_name: gpt-4
      input_function:
        description: # Description of the function
          Given a tech startup business, generate a corresponding landing
          page headline
        name: headline_generation_for_business
        parameters:
          tech_startup_business: str # Parameter name and type
      number_of_examples: 3
      output_csv_path: generated_examples.csv
  source_type: machine_generated

3. 执行任务

在终端中运行以下命令启动 YiVal：

yival run config_data_generation.yml

4. 查看结果

任务完成后，生成的测试数据集将保存在当前目录下的 generated_examples.csv 文件中。您可以基于此数据进一步进行 Prompt 优化或模型评估。

更多高级用法（如多模态支持、模型对比评测等），请参考 YiVal 官方文档。