[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-YiVal--YiVal":3,"tool-YiVal--YiVal":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",144730,2,"2026-04-07T23:26:32",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":64,"owner_name":64,"owner_avatar_url":73,"owner_bio":74,"owner_company":74,"owner_location":74,"owner_email":74,"owner_twitter":74,"owner_website":74,"owner_url":75,"languages":76,"stars":101,"forks":102,"last_commit_at":103,"license":104,"difficulty_score":32,"env_os":105,"env_gpu":106,"env_ram":107,"env_deps":108,"category_tags":117,"github_topics":118,"view_count":32,"oss_zip_url":74,"oss_zip_packed_at":74,"status":17,"created_at":138,"updated_at":139,"faqs":140,"releases":166},5422,"YiVal\u002FYiVal","YiVal","Your Automatic Prompt Engineering Assistant for GenAI Applications","YiVal 是一款专为生成式 AI 应用打造的自动化提示工程助手，旨在通过数据驱动和以评估为核心的方法，彻底改变传统依赖人工调整 Prompt 及配置的低效模式。它能够自动优化提示词、检索增强生成（RAG）配置以及模型参数，帮助应用在提升效果的同时，有效降低延迟并节约推理成本。\n\n在实际开发中，YiVal 精准解决了五大痛点：一是突破提示词创作瓶颈，让低分提示自动迭代至最优；二是降低微调门槛，无需深究复杂算法即可上手；三是增强开发者对 Agent 架构的信心，避免上线后成本失控或体验不佳；四是应对模型与数据漂移，确保应用长期稳定运行；五是提供科学的评估指标体系，帮助用户明确优化方向。\n\n这款工具非常适合希望构建高质量 GenAI 应用的开发者、研究人员以及技术团队使用。无论是利用 LangChain 还是 LlamaIndex 构建智能体，YiVal 都能作为可靠的“副驾驶”辅助决策。其独特的技术亮点在于支持“任何配置”的闭环调优，不仅限于文本提示，还能覆盖整个应用链路的关键参数。通过 Docker 一键部署或 Python 包安装，用户可快速集成到现有工作流中，让 AI 应用开发变得","YiVal 是一款专为生成式 AI 应用打造的自动化提示工程助手，旨在通过数据驱动和以评估为核心的方法，彻底改变传统依赖人工调整 Prompt 及配置的低效模式。它能够自动优化提示词、检索增强生成（RAG）配置以及模型参数，帮助应用在提升效果的同时，有效降低延迟并节约推理成本。\n\n在实际开发中，YiVal 精准解决了五大痛点：一是突破提示词创作瓶颈，让低分提示自动迭代至最优；二是降低微调门槛，无需深究复杂算法即可上手；三是增强开发者对 Agent 架构的信心，避免上线后成本失控或体验不佳；四是应对模型与数据漂移，确保应用长期稳定运行；五是提供科学的评估指标体系，帮助用户明确优化方向。\n\n这款工具非常适合希望构建高质量 GenAI 应用的开发者、研究人员以及技术团队使用。无论是利用 LangChain 还是 LlamaIndex 构建智能体，YiVal 都能作为可靠的“副驾驶”辅助决策。其独特的技术亮点在于支持“任何配置”的闭环调优，不仅限于文本提示，还能覆盖整个应用链路的关键参数。通过 Docker 一键部署或 Python 包安装，用户可快速集成到现有工作流中，让 AI 应用开发变得更加高效、可控且经济。","\u003C!-- markdownlint-disable MD033 -->\n\n\u003C!-- markdownlint-disable MD041 -->\n\n\u003Cp align=\"center\">\n    \u003Ch1 align=\"center\">\n        \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYiVal_YiVal_readme_b3cec9e2a0bf.png\"\n         alt=\"YiVal Logo\" width=\"100\"\n        height=\"100\" style=\"vertical-align: middle;\">\n        YiVal\n    \u003C\u002Fh1>\n     \u003Cp align=\"center\">⚡ Auto Prompting ⚡\u003C\u002Fp>\n\u003C\u002Fp>\n\n\u003C!-- markdownlint-disable-next-line MD013 -->\n\n👉 Follow\nus: [![Twitter](https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Furl\u002Fhttps\u002Ftwitter.com\u002FYiValai.svg?style=social&label=Follow%20%40YiVal)](https:\u002F\u002Ftwitter.com\u002Fyivalloveaigc) |\n[![Discord](https:\u002F\u002Fdcbadge.vercel.app\u002Fapi\u002Fserver\u002FHnUWVW4kth?compact=true&style=flat)](https:\u002F\u002Fdiscord.gg\u002FHnUWVW4kth)\n\n👉 Sponsored by Discord AIGC community:\n[![Discord](https:\u002F\u002Fdcbadge.vercel.app\u002Fapi\u002Fserver\u002Faigc?compact=true&style=flat)](https:\u002F\u002Fdiscord.gg\u002Faigc)\n\n[![License: MIT](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-Apache2.0-yellow.svg)](https:\u002F\u002Fopensource.org\u002Flicenses\u002FMIT)\n[![GitHub star chart](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FYiVal\u002FYiVal?style=social)](https:\u002F\u002Fstar-history.com\u002F#YiVal\u002FYiVal)\n[![Open Issues](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fissues-raw\u002FYiVal\u002FYiVal)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fissues)\n\n## What is YiVal?\n\n**YiVal: Your Automatic Prompt Engineering Assistant for GenAI Applications**\nYiVal is a state-of-the-art tool designed to streamline the tuning process for\nyour GenAI app prompts and **ANY** configs in the loop. With YiVal, manual adjustments\nare a thing of the past. This **data-driven and evaluation-centric** approach ensures\noptimal prompts, precise RAG configurations, and fine-tuned model parameters.\nEmpower your applications to achieve\n**enhanced results, reduce latency, and minimize inference costs**\neffortlessly with YiVal!\n\n**Problems YiVal trying to tackle:**\n\n1. Prompt Development Challenge: \"I can't create a better prompt. A score of 60\n   for my current prompt isn't helpful at all🤔.\"\n2. Fine-tuning Difficulty: \"I don't know how to fine-tune; the terminology and\n   numerous fine-tune algorithms are overwhelming😵.\"\n3. Confidence and Scalability: \"I learned tutorials to build agents from Langchain\n   and LlamaIndex, but am I doing it right? Will the bot burn through my money\n   when I launch? Will users like my GenAI app🤯?\"\n4. Models and Data Drift: \"Models and data keep changing; I worry a well-performing\n   GenAI app now may fail later😰.\"\n5. Relevant Metrics and Evaluators: \"Which metrics and evaluators should I focus\n   on for my use case📊?\"\n\n[Check out our quickstart guide!][1]\n\n[1]: https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002Ftutorial.md\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYiVal_YiVal_readme_5d5026f2aa97.png\">\n\n### Link to demo\n\n**[Tiktok title autotune](http:\u002F\u002Fec2-35-85-28-134.us-west-2.compute.amazonaws.com:8074\u002Fenhancer-experiment-results)**\n\n## Installation\n\n### Docker Runtime\n\nInstall Docker and pull ourimage on DockerHub:\n\n```bash\ndocker pull yival\u002Frelease:latest\n```\n\nRun our image:\n\n```bash\ndocker run --it yival\u002Frelease:latest\n```\n\nVSCode with Docker extension is recommended for running and developments. If you are developer using GPU with Pytorch, or need jupyter lab for data science:\n\n```bash\ndocker pull yival\u002Frelease:cu12_torch_jupyter\ndocker run --gpus all --it -p 8888:8888 yival\u002Frelease:cu12_torch_jupyter\n```\n\n### Prerequisites\n\n- **Python Version**: Ensure you have `Python 3.10` or later installed.\n- **OpenAI API Key**: Obtain an API key from OpenAI. Once you have the key, set\n  it as an environment variable named `OPENAI_API_KEY`.\n\n### Installation Methods\n\n#### Using pip (Recommended for Users)\n\nInstall the `yival` package directly using pip:\n\n```bash\npip install yival\n```\n\n#### Development Setup Using Poetry\n\nIf you're looking to contribute or set up a development environment:\n\n1. **Install Poetry**: If you haven't already, [install Poetry](https:\u002F\u002Fpython-poetry.org\u002Fdocs\u002F#installation).\n2. **Clone the Repository, or use CodeSpace**:\n\n   2.1 **Use CodeSpace**\n   The easiest way to get YiVal enviornment. Click below to use the GitHub Codespace, then go to the next step.\n\n   [![Open in GitHub Codespaces](https:\u002F\u002Fgithub.com\u002Fcodespaces\u002Fbadge.svg)](https:\u002F\u002Fcodespaces.new\u002FYiVal\u002FYiVal?quickstart=1)\n\n   2.2 **Clone the Repository**\n\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal.git\n   cd YiVal\n   ```\n\n3. **Setup with Poetry**: Initialize the Python virtual environment and install\n   dependencies using Poetry. Make sure to run the below cmd in `\u002FYiVal` directory:\n\n   ```bash\n   poetry install --sync\n   ```\n\n## Trying Out YiVal\n\nAfter setting up, you can quickly get started with YiVal by generating datasets\nof random tech startup business names.\n\n### Steps to Run Your First YiVal Program\n\n1. **Navigate to the yival Directory**:\n\n   ```bash\n   cd \u002FYiVal\u002Fsrc\u002Fyival\n   ```\n\n2. **Set OpenAI API Key**: Replace `$YOUR_OPENAI_API_KEY` with your\n   actual OpenAI API key.\n\n   On macOS or Linux systems,\n\n   ```bash\n   export OPENAI_API_KEY=$YOUR_OPENAI_API_KEY\n   ```\n\n   On Windows systems,\n\n   ```powershell\n   setx OPENAI_API_KEY $YOUR_OPENAI_API_KEY\n   ```\n\n3. **Define YiVal Configuration**:\n   Create a configuration file named `config_data_generation.yml` for automated\n   test dataset generation with the following content:\n\n   ```yaml\n   description: Generate test data\n   dataset:\n     data_generators:\n       openai_prompt_data_generator:\n         chunk_size: 100000\n         diversify: true\n         model_name: gpt-4\n         input_function:\n           description: # Description of the function\n             Given a tech startup business, generate a corresponding landing\n             page headline\n           name: headline_generation_for_business\n           parameters:\n             tech_startup_business: str # Parameter name and type\n         number_of_examples: 3\n         output_csv_path: generated_examples.csv\n     source_type: machine_generated\n   ```\n\n4. **Execute YiVal**:\n   Run the following command from within the `\u002FYiVal\u002Fsrc\u002Fyival` directory:\n\n   ```bash\n   yival run config_data_generation.yml\n   ```\n\n5. **Check the Generated Dataset**:\n   The generated test dataset will be stored in `generated_examples.csv`.\n\nPlease refer to [YiVal Docs Page](https:\u002F\u002Fyival.github.io\u002FYiValApi\u002F) for more details about YiVal!\n\n## Demo\n\n[Demo Video](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fassets\u002F80620352\u002Ff2438449-2c13-45d1-a660-a783c5ae4eb6)\n\n| Use Case Demo                                                                                               | Supported Features                                                                                                                                                                                                                                                                                                                                                                                                                                                                       | Github Link                                                                                                                                                               | Video Demo Link                                                                                                                                         |\n| ----------------------------------------------------------------------------------------------------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------ | ------------------------------------------------------------------------------------------------------------------------------------------------------- |\n| 🐯 Craft your AI story with ChatGPT and MidJourney                                                          | **Multi-modal** support: Design an AI-powered narrative using YiVal's multi-modal support of simultaneous text and images. It supports native and seamless [Reinforcement Learning from Human Feedback](https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FReinforcement_learning_from_human_feedback)(RLHF) and [Reinforcement Learning from AI Feedback](https:\u002F\u002Farxiv.org\u002Fabs\u002F2309.00267)(RLAIF). Please watch the video above for this use case.                                                          | [![Open In GitHub](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-@YiVal-CAC6FC)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002Fyival_midjourney_animal_story.ipynb)           |    [![Open In Youtube](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F_-Open%20in%20Youtube-red?logo=youtube&logoColor=red&labelColor=white)](https:\u002F\u002Fwww.youtube.com\u002F)                                                                                                                                                     |\n| 🌟 Evaluate performance of multiple LLMs with your own Q&A test dataset                                     | Conveniently**evaluate and compare** performance of your model of choice against 100+ models, thanks to [LiteLLM](https:\u002F\u002Fgithub.com\u002FBerriAI\u002Flitellm). Analyze model performance benchmarks tailored to your **customized test data** or use case.                                                                                                                                                                                                                              | [![Open In GitHub](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-@YiVal-CAC6FC)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002Fmodel_compare.ipynb)           | [![Open In Youtube](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F_-Open%20in%20Youtube-red?logo=youtube&logoColor=red&labelColor=white)](https:\u002F\u002Fwww.youtube.com\u002F)                                                                                                                                                        |\n| 🔥 Startup Company Headline Generation Bot                                                                  | Streamline generation of headlines for your startup with automated test data**creation**, prompt **crafting**, results **evaluation**, and performance **enhancement** via GPT-4.                                                                                                                                                                                                                                                                                | [![Open In GitHub](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-@YiVal-CAC6FC)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002Fheadline_generation.ipynb)           | [![Open In Youtube](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F_-Open%20in%20Youtube-red?logo=youtube&logoColor=red&labelColor=white)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fassets\u002F80620352\u002F1a2916c1-de6a-452a-88e0-fb4461e7c04b) |\n| 🧳 Build a Customized Travel Guide Bot                                                                      | Leverage**automated prompts** inspired by the travel **community's** most popular suggestions, such as those from [awesome-chatgpt-prompts](https:\u002F\u002Fgithub.com\u002Ff\u002Fawesome-chatgpt-prompts).                                                                                                                                                                                                                                                                                      | [![Open In GitHub](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-@YiVal-CAC6FC)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002Fyival_prompt_retrieval.ipynb)           | [![Open In Youtube](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F_-Open%20in%20Youtube-red?logo=youtube&logoColor=red&labelColor=white)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=rIggQqW4iAM)    |\n| 📖 Build a Cheaper Translator: Use GPT-3.5 to teach Llama2 to create a translator with lower inference cost | Using[Replicate](https:\u002F\u002Freplicate.com\u002Fdocs\u002Fguides\u002Ffine-tune-a-language-model) and GPT-3.5's test data, you can **fine-tune** Llama2's translation bot. Benefit from 18x savings while experiencing only a 6% performance decrease.                                                                                                                                                                                                                                                   | [![Open In GitHub](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-@YiVal-CAC6FC)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002Fyival_translator_demo.ipynb)           | [![Open In Youtube](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F_-Open%20in%20Youtube-red?logo=youtube&logoColor=red&labelColor=white)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fassets\u002F80620352\u002Ff2438449-2c13-45d1-a660-a783c5ae4eb6) |\n| 🤖️ Chat with Your Favorite Characters - Dantan Ji from Till the End of the Moon                           | Bring your favorite characters to life through automated prompt creation and**character script retrieval**.                                                                                                                                                                                                                                                                                                                                                                        | [![Open In GitHub](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-@YiVal-CAC6FC)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002Fyival_auto_reply.ipynb)           | [![Open In Youtube](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F_-Open%20in%20Youtube-red?logo=youtube&logoColor=red&labelColor=white)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=xD1G2Sl9UeU)                                         |\n| 🔍Evaluate guardrails's performance in generating Python(.py) outputs                                       | [Guardrails](https:\u002F\u002Fgithub.com\u002FShreyaR\u002Fguardrails): where are my guardrails? 😭 `\u003Cbr>`Yival: I am here. ⭐️`\u003Cbr>\u003Cbr>`The **integrated evaluation** [experiment](https:\u002F\u002Fgithub.com\u002FShreyaR\u002Fguardrails\u002Fissues\u002F345) is carried out with 80 LeetCode problems in csv, using guardrail and using only GPT-4. The accuracy drops from 0.625 to 0.55 with guardrail, latency increases by 44%, and cost increases by 140%. Guardrail still has a long way to go from demo to production. | [![Open In GitHub](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-@YiVal-CAC6FC)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002FGuardrails_run_leetcode.ipynb) | [![Open In Youtube](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F_-Open%20in%20Youtube-red?logo=youtube&logoColor=red&labelColor=white)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=UMPxORBBTFI)                                        |\n| 🍨Visualize different foods around the world!🍱                                                             | Just give the place where the food belongs and the best season to taste it, and you can get a video of the season-specific food!🤩                                                                                                                                                                                                                                                                                                                                                       | [![Open In GitHub](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-@YiVal-CAC6FC)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002Fplace_food_demo.ipynb)           | [![Open In Youtube](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F_-Open%20in%20Youtube-red?logo=youtube&logoColor=red&labelColor=white)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=qJj7zSXQbTI)                                        |\n| 🎈News article summary with CoD                                                                             | By integrating the["Chain of Density"](https:\u002F\u002Fhuggingface.co\u002Fpapers\u002F2309.04269) method, **evaluate the enhancer's ability** in text summarization.🎆 Using **3** articles points generated by GPT-4 for evaluation, the coherent score increased by **20.03%**, the attributive score increased by **25.18%!**, the average token usage from **2054.6 -> 1473.4(-28.3%)** 🚀.                                                                        | [![Open In GitHub](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-@YiVal-CAC6FC)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002Fnews_summary_with_CoD.ipynb)           | [![Open In Youtube](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F_-Open%20in%20Youtube-red?logo=youtube&logoColor=red&labelColor=white)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=W86Bct9k7fI)                                        |\n| 🥐 Automated TikTok Title Generation Bot                                                                    | With only two input lines, you can easily create**concise and polished** TikTok video titles based on your desired target audience and video content summaries. This is presented by our **auto-prompt feature**: the process is automated, so you can input your requirements and enjoy the results hassle-free!                                                                                                                                                            | [![Open In GitHub](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-@YiVal-CAC6FC)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002FAuto_TikTok_Title_Generation_Bots_Demo.ipynb)           |  [![Open In Youtube](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F_-Open%20in%20Youtube-red?logo=youtube&logoColor=red&labelColor=white)](https:\u002F\u002Fwww.youtube.com\u002F)                                                                                                                                                       |\n\n## Contribution Guidelines\n\nIf you want to contribute to YiVal, be sure to review\nthe [contribution guidelines](https:\u002F\u002Fyival.github.io\u002FYiVal\u002Fcontributing\u002F).\nWe use [GitHub issues](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fissues) for tracking\nrequests and bugs.\nPlease join [YiVal's discord channel](https:\u002F\u002Fdiscord.gg\u002FHnUWVW4kth) for\ngeneral questions and discussion.\nJoin our collaborative community where your unique expertise as researchers and\nsoftware engineers is highly valued! Contribute to our project and be a part of\nan innovative space where every line of code and research insight actively\nfuels advancements in technology, fostering a future that is intelligently\nconnected and universally accessible.\n\n## Contributors\n\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fgraphs\u002Fcontributors\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYiVal_YiVal_readme_b5cfd7914aa7.png\" \u002F>\n\u003C\u002Fa>  \n\u003Cp align=\"center\">\n\u003Cbr>\n🌟 YiVal welcomes your contributions! 🌟\u003Cp align=\"center\">\n🥳 Thanks so much to all of our amazing contributors 🥳\u003C\u002Fp>\n\n## Paper \u002F Algorithm Implementation\n\n| **Paper**                                                                         | **Author**                                                                                                                                                                                                                                   | **Topics**                  | **YiVal Contributor**             | **Data Generator**                                                                                                       | **Variation Generator**                                                                                                                       | **Evaluator**                                                                                                                                                                                                                | **Selector**                                                                                 | **Enhancer**                                                                                                                              | **Config**                                                                                            |\n| --------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------- | --------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------ | --------------------------------------------------------------------------------------------------------------------------------------------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------- |\n| [Large Language Models Are Human-Level Prompt Engineers](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.01910) | [Yongchao Zhou](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Zhou,+Y), [Andrei Ioan Muresanu](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Muresanu,+A+I), [Ziwen Han](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Han,+Z)            | YiVal Evolver, Auto-Prompting     |  | [OpenAIPromptDataGenerator](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fsrc\u002Fyival\u002Fdata_generators\u002Fopenai_prompt_data_generator.py) | [OpenAIPromptVariationGenerator](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fsrc\u002Fyival\u002Fvariation_generators\u002Fopenai_prompt_based_variation_generator.py) | [OpenAIPromptEvaluator](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fsrc\u002Fyival\u002Fevaluators\u002Fopenai_prompt_based_evaluator.py), [OpenAIEloEvaluator](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fsrc\u002Fyival\u002Fevaluators\u002Fopenai_elo_evaluator.py) | [AHPSelector](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fsrc\u002Fyival\u002Fresult_selectors\u002Fahp_selection.py) | [OpenAIPromptBasedCombinationEnhancer](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fsrc\u002Fyival\u002Fenhancers\u002Fopenai_prompt_based_combination_enhancer.py) | [config](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Fconfigs\u002Fheadline_generation_enhance.yml)              |\n| [BERTScore: Evaluating Text Generation with BERT](https:\u002F\u002Farxiv.org\u002Fabs\u002F1904.09675)        | [Tianyi Zhang](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Zhang,+T), [Varsha Kishore](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Kishore,+V), [Felix Wu](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Wu,+F)                       | YiVal Evaluator, bertscore, rouge | [@crazycth](https:\u002F\u002Fgithub.com\u002Fcrazycth)   | -                                                                                                                              | -                                                                                                                                                   | [BertScoreEvaluator](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fsrc\u002Fyival\u002Fevaluators\u002Fbertscore_evaluator.py)                                                                                                                          | -                                                                                                  | -                                                                                                                                               | -                                                                                                           |\n| [AlpacaEval](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Falpaca_eval)                                     | [Xuechen Li](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Xuechen%20Li), [Tianyi Zhang](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Tianyi%20Zhang), [Yann Dubois](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Yann%20Dubois) et. al | YiVal Evaluator                   | | -                                                                                                                              | -                                                                                                                                                   | [AlpacaEvalEvaluator](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fsrc\u002Fyival\u002Fevaluators\u002Falpaca_eval_evaluator.py)                                                                                                                       | -                                                                                                  | -                                                                                                                                               | [config](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Fconfigs\u002Falpaca_eval.yml)                              |\n| [Chain of Density](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2309.04269.pdf)                                   | [Griffin Adams](https:\u002F\u002Farxiv.org\u002Fsearch\u002F?query=Griffin+Adam) [Alexander R. Fabbri](https:\u002F\u002Farxiv.org\u002Fsearch\u002F?query=Alexander+R.+Fabbri) et. al                                                                                                          | Prompt Engineering                |  | -                                                                                                                              | [ChainOfDensityGenerator](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fsrc\u002Fyival\u002Fvariation_generators\u002Fchain_of_density_prompt.py)                        | -                                                                                                                                                                                                                                  | -                                                                                                  | -                                                                                                                                               | [config](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Fconfigs\u002Fsummary_config.yml)                           |\n| [Large Language Models as Optimizers](https:\u002F\u002Farxiv.org\u002Fabs\u002F2309.03409)                    | [Chengrun Yang](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Yang,+C) [Xuezhi Wang](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Wang,+X) et. al                                                                                           | Prompt Engineering                | [@crazycth](https:\u002F\u002Fgithub.com\u002Fcrazycth)   | -                                                                                                                              | -                                                                                                                                                   | -                                                                                                                                                                                                                                  | -                                                                                                  | [optimize_by_prompt_enhancer](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fopro_implement\u002Fsrc\u002Fyival\u002Fenhancers\u002Foptimize_by_prompt_improver.py)               | [config](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fopro_implement\u002Fdemo\u002Fconfigs\u002Fheadline_generation_improve.yml#L174) |\n| [LoRA: Low-Rank Adaptation of Large Language Models](https:\u002F\u002Farxiv.org\u002Fabs\u002F2106.09685)     | [Edward J. Hu](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Hu,+E+J) [Yelong Shen](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Shen,+Y) et. al                                                                                            | LLM Finetune                      | [@crazycth](https:\u002F\u002Fgithub.com\u002Fcrazycth)   | -                                                                                                                              | -                                                                                                                                                   | -                                                                                                                                                                                                                                  | -                                                                                                  | [sft_trainer](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fadd_finetune_module\u002Fsrc\u002Fyival\u002Ffinetune\u002Fsft_trainer.py#L40)                                       | [config](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fadd_finetune_module\u002Fsrc\u002Fyival\u002Fschemas\u002Ftrainer_configs.py#L48)     |\n\n\u003C!--  -->\n","\u003C!-- markdownlint-disable MD033 -->\n\n\u003C!-- markdownlint-disable MD041 -->\n\n\u003Cp align=\"center\">\n    \u003Ch1 align=\"center\">\n        \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYiVal_YiVal_readme_b3cec9e2a0bf.png\"\n         alt=\"YiVal Logo\" width=\"100\"\n        height=\"100\" style=\"vertical-align: middle;\">\n        YiVal\n    \u003C\u002Fh1>\n     \u003Cp align=\"center\">⚡ 自动提示生成 ⚡\u003C\u002Fp>\n\u003C\u002Fp>\n\n\u003C!-- markdownlint-disable-next-line MD013 -->\n\n👉 关注我们：[![Twitter](https:\u002F\u002Fimg.shields.io\u002Ftwitter\u002Furl\u002Fhttps\u002Ftwitter.com\u002FYiValai.svg?style=social&label=Follow%20%40YiVal)](https:\u002F\u002Ftwitter.com\u002Fyivalloveaigc) |\n[![Discord](https:\u002F\u002Fdcbadge.vercel.app\u002Fapi\u002Fserver\u002FHnUWVW4kth?compact=true&style=flat)](https:\u002F\u002Fdiscord.gg\u002FHnUWVW4kth)\n\n👉 由 Discord AIGC 社区赞助：\n[![Discord](https:\u002F\u002Fdcbadge.vercel.app\u002Fapi\u002Fserver\u002Faigc?compact=true&style=flat)](https:\u002F\u002Fdiscord.gg\u002Faigc)\n\n[![许可证：MIT](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-Apache2.0-yellow.svg)](https:\u002F\u002Fopensource.org\u002Flicenses\u002FMIT)\n[![GitHub 星标数](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002FYiVal\u002FYiVal?style=social)](https:\u002F\u002Fstar-history.com\u002F#YiVal\u002FYiVal)\n[![未解决的问题](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fissues-raw\u002FYiVal\u002FYiVal)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fissues)\n\n## 什么是 YiVal？\n\n**YiVal：面向生成式 AI 应用的自动提示工程助手**\nYiVal 是一款最先进的工具，旨在简化您生成式 AI 应用的提示词以及循环中的任何配置的调优过程。借助 YiVal，手动调整将成为过去。这种**数据驱动且以评估为中心**的方法可确保获得最佳提示、精确的 RAG 配置和精细调优的模型参数。通过 YiVal，您可以轻松地让您的应用实现\n**更优异的结果、更低的延迟以及更少的推理成本**！\n\n**YiVal 试图解决的问题：**\n\n1. 提示词开发挑战：“我无法创建更好的提示词。目前提示词的得分只有 60 分，这对我毫无帮助🤔。”\n2. 微调困难：“我不知道如何进行微调；相关的术语和众多的微调算法让我感到不知所措😵。”\n3. 自信与可扩展性：“我学习了 Langchain 和 LlamaIndex 的教程来构建智能体，但这样做真的正确吗？上线后我的钱会不会被机器人烧光？用户会喜欢我的生成式 AI 应用吗🤯？”\n4. 模型与数据漂移：“模型和数据总是在变化；我担心现在表现良好的生成式 AI 应用以后可能会失效😰。”\n5. 相关指标与评估器：“针对我的使用场景，我应该关注哪些指标和评估器📊？”\n\n[查看我们的快速入门指南！][1]\n\n[1]: https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002Ftutorial.md\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYiVal_YiVal_readme_5d5026f2aa97.png\">\n\n### 演示链接\n\n**[TikTok 标题自动调音](http:\u002F\u002Fec2-35-85-28-134.us-west-2.compute.amazonaws.com:8074\u002Fenhancer-experiment-results)**\n\n## 安装\n\n### Docker 运行时\n\n安装 Docker 并从 Docker Hub 拉取我们的镜像：\n\n```bash\ndocker pull yival\u002Frelease:latest\n```\n\n运行我们的镜像：\n\n```bash\ndocker run --it yival\u002Frelease:latest\n```\n\n建议使用带有 Docker 扩展的 VSCode 来运行和开发。如果您是使用 PyTorch 和 GPU 的开发者，或者需要 Jupyter Lab 进行数据科学：\n\n```bash\ndocker pull yival\u002Frelease:cu12_torch_jupyter\ndocker run --gpus all --it -p 8888:8888 yival\u002Frelease:cu12_torch_jupyter\n```\n\n### 先决条件\n\n- **Python 版本**：请确保已安装 `Python 3.10` 或更高版本。\n- **OpenAI API 密钥**：从 OpenAI 获取 API 密钥。获取密钥后，请将其设置为名为 `OPENAI_API_KEY` 的环境变量。\n\n### 安装方法\n\n#### 使用 pip（推荐给用户）\n\n直接使用 pip 安装 `yival` 包：\n\n```bash\npip install yival\n```\n\n#### 使用 Poetry 进行开发环境搭建\n\n如果您希望参与贡献或搭建开发环境：\n\n1. **安装 Poetry**：如果您尚未安装，请先[安装 Poetry](https:\u002F\u002Fpython-poetry.org\u002Fdocs\u002F#installation)。\n2. **克隆仓库或使用 CodeSpace**：\n\n   2.1 **使用 CodeSpace**\n   这是获取 YiVal 开发环境最简单的方式。点击下方链接使用 GitHub Codespace，然后进入下一步。\n\n   [![在 GitHub Codespace 中打开](https:\u002F\u002Fgithub.com\u002Fcodespaces\u002Fbadge.svg)](https:\u002F\u002Fcodespaces.new\u002FYiVal\u002FYiVal?quickstart=1)\n\n   2.2 **克隆仓库**\n\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal.git\n   cd YiVal\n   ```\n\n3. **使用 Poetry 设置环境**：初始化 Python 虚拟环境并使用 Poetry 安装依赖项。请务必在 `\u002FYiVal` 目录下运行以下命令：\n\n   ```bash\n   poetry install --sync\n   ```\n\n## 尝试使用 YiVal\n\n设置完成后，您可以通过生成随机科技初创公司名称的数据集来快速开始使用 YiVal。\n\n### 运行第一个 YiVal 程序的步骤\n\n1. **导航到 yival 目录**：\n\n   ```bash\n   cd \u002FYiVal\u002Fsrc\u002Fyival\n   ```\n\n2. **设置 OpenAI API 密钥**：将 `$YOUR_OPENAI_API_KEY` 替换为您实际的 OpenAI API 密钥。\n\n   在 macOS 或 Linux 系统上，\n\n   ```bash\n   export OPENAI_API_KEY=$YOUR_OPENAI_API_KEY\n   ```\n\n   在 Windows 系统上，\n\n   ```powershell\n   setx OPENAI_API_KEY $YOUR_OPENAI_API_KEY\n   ```\n\n3. **定义 YiVal 配置**：\n   创建一个名为 `config_data_generation.yml` 的配置文件，用于自动生成测试数据集，内容如下：\n\n   ```yaml\n   description: 生成测试数据\n   dataset:\n     data_generators:\n       openai_prompt_data_generator:\n         chunk_size: 100000\n         diversify: true\n         model_name: gpt-4\n         input_function:\n           description: # 函数描述\n             给定一家科技初创公司，生成相应的着陆页标题\n           name: headline_generation_for_business\n           parameters:\n             tech_startup_business: str # 参数名称和类型\n         number_of_examples: 3\n         output_csv_path: generated_examples.csv\n     source_type: machine_generated\n   ```\n\n4. **执行 YiVal**：\n   从 `\u002FYiVal\u002Fsrc\u002Fyival` 目录下运行以下命令：\n\n   ```bash\n   yival run config_data_generation.yml\n   ```\n\n5. **检查生成的数据集**：\n   生成的测试数据集将保存在 `generated_examples.csv` 文件中。\n\n有关 YiVal 的更多详细信息，请参阅[YiVal 文档页面](https:\u002F\u002Fyival.github.io\u002FYiValApi\u002F)！\n\n## 演示\n\n[演示视频](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fassets\u002F80620352\u002Ff2438449-2c13-45d1-a660-a783c5ae4eb6)\n\n| 用例演示                                                                                               | 支持的功能                                                                                                                                                                                                                                                                                                                                                                                                                                                                       | Github 链接                                                                                                                                                               | 视频演示链接                                                                                                                                         |\n| ----------------------------------------------------------------------------------------------------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------ | ------------------------------------------------------------------------------------------------------------------------------------------------------- |\n| 🐯 使用 ChatGPT 和 MidJourney 打造你的 AI 故事                                                          | **多模态**支持：借助 YiVal 的多模态支持，同时使用文本和图像设计一个由 AI 驱动的故事情节。它原生且无缝地支持[人类反馈强化学习](https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FReinforcement_learning_from_human_feedback)（RLHF）和[AI 反馈强化学习](https:\u002F\u002Farxiv.org\u002Fabs\u002F2309.00267)（RLAIF）。请观看上方视频了解此用例。                                                          | [![在 GitHub 中打开](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-@YiVal-CAC6FC)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002Fyival_midjourney_animal_story.ipynb)           |    [![在 YouTube 中打开](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F_-Open%20in%20Youtube-red?logo=youtube&logoColor=red&labelColor=white)](https:\u002F\u002Fwww.youtube.com\u002F)                                                                                                                                                     |\n| 🌟 使用你自己的问答测试数据集评估多个 LLM 的性能                                     | 借助 [LiteLLM](https:\u002F\u002Fgithub.com\u002FBerriAI\u002Flitellm)，可以方便地**评估和比较**你选择的模型与 100 多种其他模型的性能。针对你的**自定义测试数据**或特定用例，分析量身定制的模型性能基准。                                                                                                                                                                                                                              | [![在 GitHub 中打开](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-@YiVal-CAC6FC)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002Fmodel_compare.ipynb)           | [![在 YouTube 中打开](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F_-Open%20in%20Youtube-red?logo=youtube&logoColor=red&labelColor=white)](https:\u002F\u002Fwww.youtube.com\u002F)                                                                                                                                                        |\n| 🔥 创业公司标题生成机器人                                                                  | 通过 GPT-4 实现自动化测试数据**创建**、提示**编写**、结果**评估**以及性能**提升**，从而简化创业公司的标题生成流程。                                                                                                                                                                                                                                                                                | [![在 GitHub 中打开](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-@YiVal-CAC6FC)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002Fheadline_generation.ipynb)           | [![在 YouTube 中打开](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F_-Open%20in%20Youtube-red?logo=youtube&logoColor=red&labelColor=white)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fassets\u002F80620352\u002F1a2916c1-de6a-452a-88e0-fb4461e7c04b) |\n| 🧳 构建个性化旅行指南机器人                                                                      | 利用受旅行**社区**最受欢迎建议启发的**自动化提示**，例如来自 [awesome-chatgpt-prompts](https:\u002F\u002Fgithub.com\u002Ff\u002Fawesome-chatgpt-prompts) 的建议。                                                                                                                                                                                                                                                                                      | [![在 GitHub 中打开](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-@YiVal-CAC6FC)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002Fyival_prompt_retrieval.ipynb)           | [![在 YouTube 中打开](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F_-Open%20in%20Youtube-red?logo=youtube&logoColor=red&labelColor=white)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=rIggQqW4iAM)    |\n| 📖 打造更便宜的翻译器：利用 GPT-3.5 教 Llama2 创建推理成本更低的翻译工具 | 通过 [Replicate](https:\u002F\u002Freplicate.com\u002Fdocs\u002Fguides\u002Ffine-tune-a-language-model) 和 GPT-3.5 的测试数据，你可以对 Llama2 的翻译机器人进行**微调**。在仅损失 6% 性能的情况下，实现 18 倍的成本节约。                                                                                                                                                                                                                                                   | [![在 GitHub 中打开](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-@YiVal-CAC6FC)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002Fyival_translator_demo.ipynb)           | [![在 YouTube 中打开](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F_-Open%20in%20Youtube-red?logo=youtube&logoColor=red&labelColor=white)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fassets\u002F80620352\u002Ff2438449-2c13-45d1-a660-a783c5ae4eb6) |\n| 🤖️ 与你喜爱的角色对话——《月歌行》中的澹台烬                           | 通过自动化提示生成和**角色剧本检索**，让你喜爱的角色栩栩如生。                                                                                                                                                                                                                                                                                                                                                                        | [![在 GitHub 中打开](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-@YiVal-CAC6FC)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002Fyival_auto_reply.ipynb)           | [![在 YouTube 中打开](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F_-Open%20in%20Youtube-red?logo=youtube&logoColor=red&labelColor=white)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=xD1G2Sl9UeU)                                         |\n| 🔍评估护栏在生成 Python(.py) 输出方面的性能                                       | [Guardrails](https:\u002F\u002Fgithub.com\u002FShreyaR\u002Fguardrails)：我的护栏在哪里？😭 `\u003Cbr>`Yival：我在这里。⭐️`\u003Cbr>\u003Cbr>`这项**集成评估**[实验](https:\u002F\u002Fgithub.com\u002FShreyaR\u002Fguardrails\u002Fissues\u002F345)使用 80 道 LeetCode 题目 CSV 文件，分别采用护栏和仅使用 GPT-4 进行测试。结果显示，使用护栏时准确率从 0.625 下降至 0.55，延迟增加 44%，成本增加 140%。护栏距离实际生产应用仍有很长的路要走。 | [![在 GitHub 中打开](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-@YiVal-CAC6FC)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002FGuardrails_run_leetcode.ipynb) | [![在 YouTube 中打开](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F_-Open%20in%20Youtube-red?logo=youtube&logoColor=red&labelColor=white)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=UMPxORBBTFI)                                        |\n| 🍨可视化世界各地的不同美食！🍱                                                             | 只需提供食物所属地点和最佳品尝季节，即可获得一段应季美食的视频！🤩                                                                                                                                                                                                                                                                                                                                                       | [![在 GitHub 中打开](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-@YiVal-CAC6FC)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002Fplace_food_demo.ipynb)           | [![在 YouTube 中打开](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F_-Open%20in%20Youtube-red?logo=youtube&logoColor=red&labelColor=white)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=qJj7zSXQbTI)                                        |\n| 🎈CoD 辅助新闻文章摘要                                                                    | 通过整合“密度链”(["Chain of Density"](https:\u002F\u002Fhuggingface.co\u002Fpapers\u002F2309.04269))方法，**评估增强器在文本摘要方面的能力**。🎆 使用 GPT-4 生成的**3**篇用于评估的文章，连贯性得分提高了**20.03%**，属性得分提高了**25.18%**，平均 token 使用量从**2054.6 减少到 1473.4（下降 28.3%）**🚀。                                                                        | [![在 GitHub 中打开](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-@YiVal-CAC6FC)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002Fnews_summary_with_CoD.ipynb)           | [![在 YouTube 中打开](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F_-Open%20in%20Youtube-red?logo=youtube&logoColor=red&labelColor=white)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=W86Bct9k7fI)                                        |\n| 🥐 自动化 TikTok 标题生成机器人                                                                    | 仅需两行输入，即可根据目标受众和视频内容摘要，轻松创建**简洁而精致**的 TikTok 视频标题。这正是我们的**自动提示功能**所呈现的效果：整个过程自动化，你只需输入需求，便可无忧享受成果！                                                                                                                                                            | [![在 GitHub 中打开](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FGithub-@YiVal-CAC6FC)](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Ftutorial_notebook\u002FAuto_TikTok_Title_Generation_Bots_Demo.ipynb)           |  [![在 YouTube 中打开](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F_-Open%20in%20Youtube-red?logo=youtube&logoColor=red&labelColor=white)](https:\u002F\u002Fwww.youtube.com\u002F)                                                                                                                                                       |\n\n## 贡献指南\n\n如果您想为 YiVal 做出贡献，请务必查看\n[贡献指南](https:\u002F\u002Fyival.github.io\u002FYiVal\u002Fcontributing\u002F)。\n我们使用 [GitHub 问题](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fissues) 来跟踪\n请求和错误报告。\n如有任何一般性问题或讨论，请加入 [YiVal 的 Discord 频道](https:\u002F\u002Fdiscord.gg\u002FHnUWVW4kth)。\n加入我们的协作社区，您的独特研究专长和软件工程技能将受到高度认可！参与我们的项目，成为创新领域的一员，让每一行代码和每一条研究见解都积极推动技术进步，共同构建一个智能互联、人人可及的未来。\n\n## 贡献者\n\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fgraphs\u002Fcontributors\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYiVal_YiVal_readme_b5cfd7914aa7.png\" \u002F>\n\u003C\u002Fa>  \n\u003Cp align=\"center\">\n\u003Cbr>\n🌟 YiVal 欢迎您的贡献！🌟\u003Cp align=\"center\">\n🥳 非常感谢所有了不起的贡献者 🥳\u003C\u002Fp>\n\n## 论文 \u002F 算法实现\n\n| **论文**                                                                         | **作者**                                                                                                                                                                                                                                   | **主题**                  | **YiVal贡献者**             | **数据生成器**                                                                                                       | **变体生成器**                                                                                                                       | **评估者**                                                                                                                                                                                                                | **选择器**                                                                                 | **增强器**                                                                                                                              | **配置**                                                                                            |\n| --------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------- | --------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------ | --------------------------------------------------------------------------------------------------------------------------------------------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------- |\n| [大型语言模型是人类级别的提示工程师](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.01910) | [周永超](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Zhou,+Y), [安德烈·伊万·穆雷沙努](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Muresanu,+A+I), [韩子文](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Han,+Z)            | YiVal进化器, 自动提示     |  | [OpenAIPromptDataGenerator](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fsrc\u002Fyival\u002Fdata_generators\u002Fopenai_prompt_data_generator.py) | [OpenAIPromptVariationGenerator](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fsrc\u002Fyival\u002Fvariation_generators\u002Fopenai_prompt_based_variation_generator.py) | [OpenAIPromptEvaluator](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fsrc\u002Fyival\u002Fevaluators\u002Fopenai_prompt_based_evaluator.py), [OpenAIEloEvaluator](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fsrc\u002Fyival\u002Fevaluators\u002Fopenai_elo_evaluator.py) | [AHPSelector](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fsrc\u002Fyival\u002Fresult_selectors\u002Fahp_selection.py) | [OpenAIPromptBasedCombinationEnhancer](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fsrc\u002Fyival\u002Fenhancers\u002Fopenai_prompt_based_combination_enhancer.py) | [config](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Fconfigs\u002Fheadline_generation_enhance.yml)              |\n| [BERTScore：用BERT评估文本生成](https:\u002F\u002Farxiv.org\u002Fabs\u002F1904.09675)        | [张天义](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Zhang,+T), [瓦尔莎·基肖尔](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Kishore,+V), [费利克斯·吴](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Wu,+F)                       | YiVal评估者, bertscore, rouge | [@crazycth](https:\u002F\u002Fgithub.com\u002Fcrazycth)   | -                                                                                                                              | -                                                                                                                                                   | [BertScoreEvaluator](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fsrc\u002Fyival\u002Fevaluators\u002Fbertscore_evaluator.py)                                                                                                                          | -                                                                                                  | -                                                                                                                                               | -                                                                                                           |\n| [AlpacaEval](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Falpaca_eval)                                     | [李雪晨](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Xuechen%20Li), [张天义](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Tianyi%20Zhang), [扬·杜布瓦](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Yann%20Dubois)等 | YiVal评估者                   | | -                                                                                                                              | -                                                                                                                                                   | [AlpacaEvalEvaluator](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fsrc\u002Fyival\u002Fevaluators\u002Falpaca_eval_evaluator.py)                                                                                                                       | -                                                                                                  | -                                                                                                                                               | [config](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Fconfigs\u002Falpaca_eval.yml)                              |\n| [密度链](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2309.04269.pdf)                                   | [格里芬·亚当斯](https:\u002F\u002Farxiv.org\u002Fsearch\u002F?query=Griffin+Adam) [亚历山大·R·法布里](https:\u002F\u002Farxiv.org\u002Fsearch\u002F?query=Alexander+R.+Fabbri)等                                                                                                          | 提示工程                |  | -                                                                                                                              | [ChainOfDensityGenerator](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fsrc\u002Fyival\u002Fvariation_generators\u002Fchain_of_density_prompt.py)                        | -                                                                                                                                                                                                                                  | -                                                                                                  | -                                                                                                                                               | [config](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fmaster\u002Fdemo\u002Fconfigs\u002Fsummary_config.yml)                           |\n| [大型语言模型作为优化器](https:\u002F\u002Farxiv.org\u002Fabs\u002F2309.03409)                    | [杨承润](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Yang,+C) [王学志](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Wang,+X)等                                                                                           | 提示工程                | [@crazycth](https:\u002F\u002Fgithub.com\u002Fcrazycth)   | -                                                                                                                              | -                                                                                                                                                   | -                                                                                                                                                                                                                                  | -                                                                                                  | [optimize_by_prompt_enhancer](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fopro_implement\u002Fsrc\u002Fyival\u002Fenhancers\u002Foptimize_by_prompt_improver.py)               | [config](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fopro_implement\u002Fdemo\u002Fconfigs\u002Fheadline_generation_improve.yml#L174) |\n| [LoRA：大型语言模型的低秩适应](https:\u002F\u002Farxiv.org\u002Fabs\u002F2106.09685)     | [爱德华·J·胡](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Hu,+E+J) [沈烨龙](https:\u002F\u002Farxiv.org\u002Fsearch\u002Fcs?searchtype=author&query=Shen,+Y)等                                                                                            | LLM微调                      | [@crazycth](https:\u002F\u002Fgithub.com\u002Fcrazycth)   | -                                                                                                                              | -                                                                                                                                                   | -                                                                                                                                                                                                                                  | -                                                                                                  | [sft_trainer](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fadd_finetune_module\u002Fsrc\u002Fyival\u002Ffinetune\u002Fsft_trainer.py#L40)                                       | [config](https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fblob\u002Fadd_finetune_module\u002Fsrc\u002Fyival\u002Fschemas\u002Ftrainer_configs.py#L48)     |\n\n\u003C!--  -->","# YiVal 快速上手指南\n\nYiVal 是一款面向生成式 AI（GenAI）应用的自动提示工程助手。它采用数据驱动和以评估为中心的方法，帮助用户自动优化 Prompt、RAG 配置及模型参数，从而提升应用效果、降低延迟并减少推理成本。\n\n## 环境准备\n\n在开始之前，请确保满足以下系统要求和前置依赖：\n\n*   **Python 版本**：需安装 `Python 3.10` 或更高版本。\n*   **OpenAI API Key**：您需要拥有一个有效的 OpenAI API Key，并将其设置为环境变量 `OPENAI_API_KEY`。\n*   **可选依赖**：\n    *   若使用 Docker 运行，需安装 Docker。\n    *   若进行开发或使用 GPU\u002FPyTorch\u002FJupyter，建议安装 VSCode 及 Docker 扩展。\n\n## 安装步骤\n\n您可以选择通过 pip 直接安装（推荐普通用户），或使用 Docker 运行。\n\n### 方法一：使用 pip 安装（推荐）\n\n直接使用 pip 安装 `yival` 包：\n\n```bash\npip install yival\n```\n\n### 方法二：使用 Docker 运行\n\n如果您希望隔离环境或使用预配置的镜像，可以使用 Docker。\n\n**标准版：**\n```bash\ndocker pull yival\u002Frelease:latest\ndocker run --it yival\u002Frelease:latest\n```\n\n**开发版（含 GPU、PyTorch 和 Jupyter Lab 支持）：**\n```bash\ndocker pull yival\u002Frelease:cu12_torch_jupyter\ndocker run --gpus all --it -p 8888:8888 yival\u002Frelease:cu12_torch_jupyter\n```\n\n> **注意**：如果使用 Poetry 进行开发贡献，请克隆仓库后运行 `poetry install --sync`。\n\n## 基本使用\n\n安装完成后，您可以通过以下步骤运行第一个 YiVal 程序，自动生成测试数据集（例如：为科技初创公司生成落地页标题）。\n\n### 1. 设置 API Key\n\n根据您的操作系统，将 OpenAI API Key 设置为环境变量。请将 `$YOUR_OPENAI_API_KEY` 替换为您实际的密钥。\n\n**macOS \u002F Linux:**\n```bash\nexport OPENAI_API_KEY=$YOUR_OPENAI_API_KEY\n```\n\n**Windows (PowerShell):**\n```powershell\nsetx OPENAI_API_KEY $YOUR_OPENAI_API_KEY\n```\n\n### 2. 创建配置文件\n\n创建一个名为 `config_data_generation.yml` 的配置文件，用于定义数据生成任务。内容如下：\n\n```yaml\ndescription: Generate test data\ndataset:\n  data_generators:\n    openai_prompt_data_generator:\n      chunk_size: 100000\n      diversify: true\n      model_name: gpt-4\n      input_function:\n        description: # Description of the function\n          Given a tech startup business, generate a corresponding landing\n          page headline\n        name: headline_generation_for_business\n        parameters:\n          tech_startup_business: str # Parameter name and type\n      number_of_examples: 3\n      output_csv_path: generated_examples.csv\n  source_type: machine_generated\n```\n\n### 3. 执行任务\n\n在终端中运行以下命令启动 YiVal：\n\n```bash\nyival run config_data_generation.yml\n```\n\n### 4. 查看结果\n\n任务完成后，生成的测试数据集将保存在当前目录下的 `generated_examples.csv` 文件中。您可以基于此数据进一步进行 Prompt 优化或模型评估。\n\n更多高级用法（如多模态支持、模型对比评测等），请参考 [YiVal 官方文档](https:\u002F\u002Fyival.github.io\u002FYiValApi\u002F)。","某电商初创团队正在开发一款基于大模型的“智能商品标题生成器”，旨在为海量 SKU 自动创作高点击率的营销文案。\n\n### 没有 YiVal 时\n- 提示词优化全靠人工“猜谜”，团队成员反复手动修改指令，但生成质量评分长期停滞在 60 分，无法突破瓶颈。\n- 面对模型参数漂移和数据分布变化，缺乏自动化监控手段，担心上线后效果突然下滑却无从察觉。\n- 不确定该选用哪些评估指标（如相关性、吸引力或合规性），导致测试标准模糊，难以量化改进成果。\n- 每次调整配置都需全量重新测试，耗时耗力且推理成本高昂，严重拖慢了产品迭代速度。\n\n### 使用 YiVal 后\n- YiVal 通过数据驱动的自动提示工程，快速搜索并锁定最优指令组合，将文案质量评分从 60 分提升至 92 分。\n- 内置的持续评估机制自动监测模型与数据漂移，一旦检测到性能波动立即预警并触发重调优，确保服务稳定性。\n- 根据业务目标自动推荐并配置最相关的评估器（如点击率预测模型），让优化方向清晰明确，结果可量化。\n- 在闭环中自动微调 RAG 配置与模型参数，以最小的推理成本实现最佳效果，将原本数天的调优周期缩短至几小时。\n\nYiVal 将原本依赖经验与运气的提示词调优过程，转变为高效、精准且可度量的自动化工程流程。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYiVal_YiVal_bc27b4f0.png","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FYiVal_0523da1a.png",null,"https:\u002F\u002Fgithub.com\u002FYiVal",[77,81,85,89,93,97],{"name":78,"color":79,"percentage":80},"Python","#3572A5",93,{"name":82,"color":83,"percentage":84},"Jupyter Notebook","#DA5B0B",3.4,{"name":86,"color":87,"percentage":88},"Dockerfile","#384d54",1.7,{"name":90,"color":91,"percentage":92},"JavaScript","#f1e05a",1.3,{"name":94,"color":95,"percentage":96},"CSS","#663399",0.5,{"name":98,"color":99,"percentage":100},"HTML","#e34c26",0.1,2130,329,"2026-04-05T06:55:14","Apache-2.0","Linux, macOS, Windows","非必需。若使用 PyTorch GPU 版本，需 NVIDIA GPU 并支持 CUDA 12 (镜像标签 cu12)。","未说明",{"notes":109,"python":110,"dependencies":111},"必须配置 OPENAI_API_KEY 环境变量。推荐使用 Docker 运行（提供含 CUDA 12 和 Jupyter 的镜像）。开发环境建议使用 Poetry 管理依赖，也可通过 GitHub Codespaces 快速搭建。","3.10+",[112,113,114,115,116],"yival","openai","poetry","docker","litellm",[52,14,13,16,35,15],[119,120,121,122,123,124,125,126,127,128,129,130,131,132,133,134,135,136,137],"ai","prompt","llm","ai-experiments","ai-toolkit","promptengineering","aigc","generative-ai","prompt-engineering","fine-tuning","prompt-tuning","api","autogpt","framework","gpt4","midjourney","python","stable-diffusion","auto-prompting","2026-03-27T02:49:30.150509","2026-04-08T14:25:15.084255",[141,146,151,156,161],{"id":142,"question_zh":143,"answer_zh":144,"source_url":145},24607,"YiVal 计划提供托管服务（Hosted Product）吗？","是的，团队计划构建托管版的 YiVal 服务。目前该项目已集成 LiteLLM 以简化不同 LLM 模型的比较。如果您有兴趣合作或了解更多详情，可以直接联系维护者安排会议沟通。","https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fissues\u002F89",{"id":147,"question_zh":148,"answer_zh":149,"source_url":150},24608,"Opro_enhancer 的链接无法打开或报错怎么办？","该问题已解决。请使用以下更新后的 Colab 链接访问相关功能：\n1. Headline Gen: https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1EYyz5NKW6xDOLZt2r9CoahY_dTGgjW0B?authuser=1#scrollTo=2hOmTIbh4k1I\n2. Midjourney: https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1QTS3iMwQ5bOEgKDn5DrlmZ6V0rh5APdA?authuser=1","https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fissues\u002F194",{"id":152,"question_zh":153,"answer_zh":154,"source_url":155},24609,"YiVal 与 MetaGPT 相比有什么核心区别和竞争优势？","两者的定位完全不同：\n1. YiVal：是一个开源框架，旨在帮助用户将生成式 AI (GenAI) 应用投入生产。它提供了数据处理、配置比较、反馈收集和迭代优化的完整流程，每一步都可手动执行或由模型辅助。\n2. MetaGPT：是一个多智能体框架，主要用于自动生成代码，模拟软件公司的角色协作（如产品经理、架构师等）来完成复杂任务。\n简而言之，YiVal 专注于 GenAI 应用的评估与调优，而 MetaGPT 专注于代码生成。","https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fissues\u002F71",{"id":157,"question_zh":158,"answer_zh":159,"source_url":160},24610,"在高并发场景下遇到全局变量导致的问题如何解决？","这是一个已知的并发问题，通常由全局变量未正确启用或线程安全引起。维护者已在代码库中修复了此问题（fix），建议用户拉取最新版本的代码以解决该并发错误。","https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fissues\u002F45",{"id":162,"question_zh":163,"answer_zh":164,"source_url":165},24611,"使用 openai_prompt_based_evaluator 时，extract_choice_from_response 函数提取结果不准确或被攻击怎么办？","该函数此前存在漏洞，容易受到包含特定关键词（如 'choices'）的输入内容干扰，导致提取的评分错误。维护者已经修复了此逻辑（fix），请确保您使用的是修复后的最新版本代码，以保证从响应中提取选项（A\u002FB\u002FC\u002FD\u002FE）的准确性。","https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fissues\u002F44",[167,172,176,181,185,190,195,200,205],{"id":168,"version":169,"summary_zh":170,"released_at":171},154195,"v0.1.0a10","## 变更内容\n* 由 @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F208 中优化应用文案\n* 由 @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F209 中修改自动生成演示中的交互参数\n* 由 @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F210 中进一步改进\n* 由 @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F214 中修复异步代理 bug\n* 由 @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F215 中移除 opro 增强器中的未使用代码\n* 由 @theadrianbao 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F216 中添加 AIGC Discord 参考说明\n* 由 @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F219 中移除 max_token=4000 设置\n* 由 @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F212 中为创建任务演示添加输入页面\n* 由 @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F220 中修复 opro：跳过第 0 次迭代\n* 由 @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F223 中对比 autogen 与代码解释器\n* 由 @big-lele 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F221 中添加演示\n* 由 @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F229 中修复 markdownlint 问题\n* 由 @Yujun-Zou 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F231 中实现自动提示工程助手\n* 由 @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F232 中将完整任务演示的输入页面整合为一个 UI\n* 由 @theadrianbao 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F234 中添加 Windows 系统下的路径说明\n* 由 @myfls 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F230 中添加文档数据生成器\n* 由 @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F235 中实现自动提示功能\n* 由 @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F236 中添加名称\n* 由 @Bang0518 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F226 中添加 \u002Fwebsite\n* 由 @Bang0518 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F239 中修改编辑按钮\n* 由 @myfls 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F243 中将 YiVal API 文档链接添加到 README\n* 由 @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F245 中为创建任务演示添加快速入门指南\n* 由 @big-lele 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F251 中添加视频列表\n* 由 @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F250 中添加快速入门链接\n* 由 @Bang0518 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F246 中添加 Codespace 集成\n* 由 @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F238 中添加 Microsoft pe2_enhancer\n* 由 @Bang0518 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F252 中添加操作指南\n* 由 @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F254 中添加 sd 工具\n* 由 @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F255 中进行 rs 修改\n* 由 @big-lele 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F253 中调整视频列表\n* 由 @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F256 中添加 sd 功能\n* 由 @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F259 中更新头部元数据\n* 由 @YueyingCoding 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F258 中更新笔记本\n* 由 @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F257 中修改 yival gen 的首个标签页\n* 由 @zenoWZH 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F249 中针对 Docker 进行处理\n* 由 @YueyingCoding 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F260 中更新 README\n\n## 新贡献者\n*","2023-12-08T07:20:29",{"id":173,"version":174,"summary_zh":74,"released_at":175},154196,"v0.1.0a9","2023-11-01T22:00:41",{"id":177,"version":178,"summary_zh":179,"released_at":180},154197,"v0.1.0a8","## 变更内容\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F121 中更新了 README.md\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F122 中更新了 README.md\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F123 中添加了演示视频\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F124 中更新了 README.md\n* @Libresse 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F127 中更新了运行的命令行工具\n* [清理] @Libresse 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F126 中修复了 init 的 pylint 问题\n* @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F130 中为模型比较添加了人工标注\n* @hhrhai 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F129 中更新了命令行工具\n* @descpool 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F131 中修复了 pylint 问题\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F132 中添加了自示例提示方法\n* @lovelinks 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F135 中修复了 pylint 警告\n* @Venchj 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F134 中修复了 Hugging Face 相关的 pylint 问题\n* @Sanjole 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F133 中修复了基于 OpenAI 的改进器\n* @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F120 中将 sft_trainer 和 base_trainer 添加到 yival\n* @djvim 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F137 中移除了 base_reader 中未使用的代码\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F139 中撤销了“添加演示视频”的提交\n* @Yujun-Zou 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F138 中进行了修复\n* @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F128 中支持了 Streamlit 机器人交互模式\n* @Yujun-Zou 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F140 中使 Discord 链接永不失效\n* @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F141 中修复了 README 演示中的 bug\n* @hothubby 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F145 中为 hf reader 添加了单元测试\n* @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F143 中添加了新的 CoD 笔记本\n* @kmigdol 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F144 中将文档生成更新为使用 pydoc-markdown\n* @Dancerfire 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F152 中为 bertscore 评估器添加了测试\n* [文档] @SpaceChang 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F151 中更新了 Experiment 和 ImproverOutput 的 docstring\n* @Anknio 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F148 中为输出添加了上下文信息\n* @Pro2Factory 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F146 中添加了使用 OpenAI 计算余弦相似度的工具\n* @niaiji 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F153 中为日志记录器添加了单元测试\n* @larrywo 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F147 中添加了来自 https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002Fprompts-for-edu 的提示\n* @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F142 中为训练器添加了条件\n* @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F159 中更新了 README.md\n* @smart-bear 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F163 中进行了单元测试\n* @cimashiro 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F160 中添加了 Truthful QA 数据集\n* @Morlaix 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F158 中为 AHP 选择添加了单元测试\n* 修复了 exp 中的一些文档","2023-10-11T05:03:53",{"id":182,"version":183,"summary_zh":74,"released_at":184},154198,"v0.1.0a7","2023-10-03T05:31:08",{"id":186,"version":187,"summary_zh":188,"released_at":189},154199,"v0.1.0a6","## 变更内容\n* @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F106 中添加了 README 和 guardrails_leetcode 笔记本\n* @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F104 中添加了自动回复评估器\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F108 中更新了实验运行器，以支持多个自定义函数\n* @NewTimer 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F109 中清理了摘要演示\n* @NRIO101 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F111 中更新了演示 CLI 模块的字符串\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F112 中修复了 CI\n* [清理] @zehongsong 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F114 中修复了 init 的 pylint 问题\n* @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F110 中添加了 MidJourney 评估和增强功能\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F115 中更新了应用的颜色\n* @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F107 中实现了 opro 论文的相关实现\n* @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F116 中在 MidJourney 案例中使用了 opro_eval\n\n## 新贡献者\n* @NewTimer 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F109 中做出了首次贡献\n* @NRIO101 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F111 中做出了首次贡献\n* @zehongsong 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F114 中做出了首次贡献\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fcompare\u002Fv0.1.0a5...v0.1.0a6","2023-10-02T03:56:13",{"id":191,"version":192,"summary_zh":193,"released_at":194},154200,"v0.1.0a5","## 变更内容\n* 由 @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F96 中修改了实验结果结构\n* 由 @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F98 中更新了 README 并修复了 headline_generation_detail 中的 bug\n* 由 @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F99 中修复了 README 和异步演示\n* 由 @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F100 中添加了 alpaca 模型\n* 由 @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F101 中新增了 auto_reply Colab 和 Notebook\n* [紧急修复] 由 @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F102 中修复了 README\n* 由 @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F103 中实现了密度链  \n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fcompare\u002Fv0.1.0a4...v0.1.0a5","2023-09-26T05:21:18",{"id":196,"version":197,"summary_zh":198,"released_at":199},154201,"v0.1.0a4","## 变更内容\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F53 中更新文档\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F54 中更新自动提示演示\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F55 中更新自动提示相关文档\n* @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F56 中添加选择规范化功能\n* @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F57 中更改名称并修复 bug\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F58 中进行同步\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F59 中添加自定义类文档\n* @yanqd0 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F60 中初始化两个 issue 模板：bug 和 feature\n* @yanqd0 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F61 中修复 markdownlit 问题\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F63 中增加更多卦象\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F64 中发布博客\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F65 中修复文档 lint 问题\n* @yanqd0 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F62 中将测试文件移动到 tests 目录，并保持相同结构\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F66 中实现提示检索功能\n* @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F67 中支持 Jupyter Notebook\n* @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F68 中添加 README 文件\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F70 中修复演示 UI\n* @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F69 中添加教程\n* @KyleChen400 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F72 中修复 auto_prompt 微博用例，并添加所需依赖项的用例\n* @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F74 中支持多模型与 MidJourney 集成\n* @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F77 中修复 logo_generation 中的 Token 使用 bug\n* @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F78 中修复 dashapp 中的 range_val bug 和样本量限制\n* @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F79 中在 README 中添加 MidJourney 和 Colab 相关内容\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F81 中添加模型对比功能\n* @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F82 中修复 README 中的 bug\n* @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F80 中添加提示检索的 Colab 和 Notebook\n* @uni-zhuan 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F83 中支持详细的测试结果布局和人工评分，结合 MidJourney\n* @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F84 中实现 Litellm 的完全支持\n* [hotfix] @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F85 中修复 README\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F86 中完成基于条件提取实验结果的初始提交\n* @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F87 中添加模型比较的 Notebook，并更新 README 和配置文件\n* @oliverfeng 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F88 中添加 OpenAI 微调功能\n* @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F91 中更新 README.md\n* @crazycth 在 https:\u002F\u002Fgithub.com\u002FYiVal\u002FYiVal\u002Fpull\u002F93 中添加改进的标题生成功能\n*","2023-09-18T23:17:15",{"id":201,"version":202,"summary_zh":203,"released_at":204},154202,"v0.1.0a3","添加演示 CLI","2023-08-20T05:29:42",{"id":206,"version":207,"summary_zh":208,"released_at":209},154203,"v0.1.0a2","将 python-publish.yml 添加到 GitHub Actions。","2023-08-09T11:43:11"]