[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-run-llama--finetune-embedding":3,"tool-run-llama--finetune-embedding":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",150037,2,"2026-04-10T23:33:47",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":76,"owner_twitter":77,"owner_website":78,"owner_url":79,"languages":80,"stars":85,"forks":86,"last_commit_at":87,"license":76,"difficulty_score":10,"env_os":88,"env_gpu":89,"env_ram":90,"env_deps":91,"category_tags":96,"github_topics":76,"view_count":10,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":97,"updated_at":98,"faqs":99,"releases":100},3473,"run-llama\u002Ffinetune-embedding","finetune-embedding","Fine-Tuning Embedding for RAG with Synthetic Data","finetune-embedding 是一个专为优化检索增强生成（RAG）系统而设计的开源项目，旨在通过微调嵌入模型来提升文档检索的准确度。它核心解决了开发者在缺乏人工标注数据（即“问题 - 相关文档”配对）时，难以定制高性能嵌入模型的痛点。\n\n该项目最适合从事 RAG 应用开发的工程师、AI 研究人员以及希望优化私有知识库检索效果的技术团队使用。其独特的技术亮点在于利用大语言模型（LLM）自动生成合成训练数据：系统能阅读文档片段并反向推导出生成的假设性问题，从而批量构建高质量的训练集，完全无需人工介入标注。\n\n工作流程清晰易懂，用户只需依次运行脚本，即可完成从合成数据集生成、基于开源模型（如 BGE）的微调训练，到最终与原生模型或商业模型（如 OpenAI）的效果对比评估。实验表明，即使在金融 PDF 等小规模专业数据集上，经过微调的模型也能显著提升检索命中率。需要注意的是，该项目的相关功能现已整合进 LlamaIndex 核心库，建议用户结合官方最新指南进行实践，以获取更稳定的支持。","# Fine-Tuning Embedding for RAG with Synthetic Data\n\n**UPDATE 9\u002F10\u002F2023**: We've included embedding finetuning abstractions into the LlamaIndex repo, so this repo is technically outdated! Please check out our [embedding fine-tuning guides](https:\u002F\u002Fgpt-index.readthedocs.io\u002Fen\u002Flatest\u002Fend_to_end_tutorials\u002Ffinetuning.html#finetuning-embeddings-for-better-retrieval-performance) in the core documentation.\n\nThis repo shows you how to fine-tune an embedding model to improve RAG performance even if you don't have labelled data (i.e. positive pairs of query\u002Frelevant documents). \n\nWe walkthrough step-by-step the process of generating a synthetic dataset with LLM, finetuning an opensource embedding model, and finally evaluating the finetuned model.\n\nWe experiment with a small scale dataset of financial PDF documents, and show that finetuning the embedding model can substantially improve retrieval performance.\n\n### Setup\nTo get started, clone this repo and install requirements. You also need to clone the llama_index repo to obtain the example PDFs.\n```\ngit clone git@github.com:jerryjliu\u002Fllama_index\ngit clone git@github.com:run-llama\u002Ffinetune-embedding.git\ncd finetune-embedding\npip install -r requirements.txt\n```\n\nThen you can run the notebooks (i.e. via `jupyter lab`).\n> The notebooks are fairly lightweight, and should work on almost any machines.\n\n### Steps for running\n1. Run through [generate_dataset.ipynb](.\u002Fgenerate_dataset.ipynb) to generate a synthetic dataset for training and evaluation\n2. Run through [finetune.ipynb](.\u002Ffinetune.ipynb) to finetune a pretrained opensource embedding model\n3. Run through [evaluate.ipynb](.\u002Fevaluate.ipynb) to evaluate the finetuned model against e.g. the pretrained base embedding model and proprietary OpenAI embedding model.\n\n### How this works\n**1. Generating synthetic dataset for training and evaluation**\n\nThe key idea here is that we can leverage an LLM to generate hypothetical questions that are best answered by a given piece of context. This allows us to generate synthetic positive pairs of (query, relevant documents) in a scalable way without requiring human labellers. \n\nMore concretely, we first process the given documents into a corpus of text chunks. Then for each text chunk, we use LLM to generate a few hypothetical questions that can be answered with information from that text chunk. Finally, we collect all pairs of questions and text chunks as the dataset. \n\n**2. Finetuning an opensource embedding model**\n\nWe leverage the high-level model fitting API from `sentencetransformers` to very easily setup a training process. We use `MultipleNegativesRankingLoss` as the training objective and `InformationRetrievalEvaluator` as the evaluator during training. We use the opensource \"BAAI\u002Fbge-small-en\" as the base model and train for a small number of epochs.\n\n**3. Evaluating the embedding model**\n\nWe compare the finetuned model against the base model, as well as the OpenAI embedding model. We evaluate with `InformationRetrievalEvaluator` as well as a simple hit rate metric.\n","# 使用合成数据对 RAG 的嵌入模型进行微调\n\n**更新日期：2023年9月10日**：我们已将嵌入模型微调的相关抽象封装到 LlamaIndex 仓库中，因此本仓库在技术上已过时！请参阅核心文档中的[嵌入微调指南](https:\u002F\u002Fgpt-index.readthedocs.io\u002Fen\u002Flatest\u002Fend_to_end_tutorials\u002Ffinetuning.html#finetuning-embeddings-for-better-retrieval-performance)。\n\n本仓库展示了如何在缺乏标注数据（即查询与相关文档的正样本对）的情况下，对嵌入模型进行微调，从而提升 RAG 的性能。\n\n我们将逐步演示如何利用大语言模型生成合成数据集、微调开源嵌入模型，并最终评估微调后的模型效果。我们以一小规模的金融 PDF 文档数据集为例，证明通过微调嵌入模型可以显著提升检索性能。\n\n### 环境搭建\n首先，请克隆本仓库并安装依赖项。此外，您还需要克隆 llama_index 仓库以获取示例 PDF 文件。\n```\ngit clone git@github.com:jerryjliu\u002Fllama_index\ngit clone git@github.com:run-llama\u002Ffinetune-embedding.git\ncd finetune-embedding\npip install -r requirements.txt\n```\n\n随后即可运行笔记本文件（例如通过 `jupyter lab`）。\n> 这些笔记本文件较为轻量，几乎可在任何设备上顺利运行。\n\n### 运行步骤\n1. 执行 [generate_dataset.ipynb](.\u002Fgenerate_dataset.ipynb)，生成用于训练和评估的合成数据集。\n2. 执行 [finetune.ipynb](.\u002Ffinetune.ipynb)，对预训练的开源嵌入模型进行微调。\n3. 执行 [evaluate.ipynb](.\u002Fevaluate.ipynb)，将微调后的模型与预训练的基础嵌入模型以及专有的 OpenAI 嵌入模型进行对比评估。\n\n### 工作原理\n**1. 生成用于训练和评估的合成数据集**\n\n其核心思想是利用大语言模型生成最能由特定上下文回答的假设性问题。这样，我们便可以在无需人工标注的情况下，以可扩展的方式生成 (query, relevant documents) 的合成正样本对。\n\n具体而言，我们首先将给定的文档处理为一系列文本块组成的语料库。接着，针对每个文本块，使用大语言模型生成若干个能够基于该文本块内容回答的假设性问题。最后，我们将所有问题与文本块的配对收集起来，作为最终的数据集。\n\n**2. 微调开源嵌入模型**\n\n我们借助 `sentence-transformers` 提供的高级模型训练 API，轻松搭建训练流程。训练目标采用 `MultipleNegativesRankingLoss`，并在训练过程中使用 `InformationRetrievalEvaluator` 作为评估指标。我们以开源模型 “BAAI\u002Fbge-small-en” 作为基础模型，仅进行少量轮次的训练。\n\n**3. 评估嵌入模型**\n\n我们将微调后的模型与基础模型以及 OpenAI 的嵌入模型进行对比。评估指标包括 `InformationRetrievalEvaluator` 和简单的命中率指标。","# finetune-embedding 快速上手指南\n\n本指南介绍如何使用 `finetune-embedding` 项目，通过合成数据微调开源嵌入模型，以提升检索增强生成（RAG）系统的性能。即使没有人工标注的“查询 - 文档”配对数据，也能利用大语言模型（LLM）自动生成训练集。\n\n> **重要提示**：截至 2023 年 9 月 10 日，该仓库的功能已集成至 LlamaIndex 核心库。生产环境建议优先参考 [LlamaIndex 官方微调文档](https:\u002F\u002Fgpt-index.readthedocs.io\u002Fen\u002Flatest\u002Fend_to_end_tutorials\u002Ffinetuning.html#finetuning-embeddings-for-better-retrieval-performance)。本指南仅用于理解原理或在本地复现该特定流程。\n\n## 环境准备\n\n*   **操作系统**：Linux \u002F macOS \u002F Windows (推荐 Linux)\n*   **Python 版本**：3.8+\n*   **硬件要求**：\n    *   笔记本轻量级运行：任意现代 CPU 即可。\n    *   微调训练：建议使用带有 CUDA 支持的 NVIDIA GPU 以加速训练过程。\n*   **前置依赖**：\n    *   `git`\n    *   `pip`\n    *   `jupyter lab` (用于运行示例 Notebook)\n    *   LLM API Key (用于生成合成数据，如 OpenAI Key)\n\n## 安装步骤\n\n1.  **克隆仓库**\n    需要同时克隆 `llama_index` (获取示例 PDF 数据) 和 `finetune-embedding` 项目。\n\n    ```bash\n    git clone git@github.com:jerryjliu\u002Fllama_index\n    git clone git@github.com:run-llama\u002Ffinetune-embedding.git\n    cd finetune-embedding\n    ```\n\n2.  **安装依赖**\n    建议使用国内镜像源加速 Python 包下载。\n\n    ```bash\n    # 使用清华源安装依赖\n    pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n    ```\n\n3.  **启动开发环境**\n    安装完成后，启动 Jupyter Lab 以运行后续步骤。\n\n    ```bash\n    jupyter lab\n    ```\n\n## 基本使用\n\n项目包含三个核心 Notebook，按顺序执行即可完成从数据生成到评估的全流程。请在 Jupyter Lab 中依次打开并运行以下文件：\n\n### 第一步：生成合成数据集\n运行 `generate_dataset.ipynb`。\n*   **功能**：利用 LLM 阅读文档片段，自动生成假设性问题，构建“问题 - 相关文档”的正样本对。\n*   **操作**：确保在 Notebook 中配置好你的 LLM API Key，运行所有单元格以生成训练和评估所需的数据集。\n\n### 第二步：微调嵌入模型\n运行 `finetune.ipynb`。\n*   **功能**：基于 `sentence-transformers` 库，使用生成的合成数据微调开源模型（默认基座模型为 `BAAI\u002Fbge-small-en`）。\n*   **原理**：采用 `MultipleNegativesRankingLoss` 作为损失函数进行训练。\n*   **操作**：直接运行单元格，等待训练完成并保存微调后的模型权重。\n\n### 第三步：评估模型效果\n运行 `evaluate.ipynb`。\n*   **功能**：对比微调后的模型、原始基座模型以及 OpenAI 嵌入模型的性能。\n*   **指标**：使用 `InformationRetrievalEvaluator` 和命中率（Hit Rate）进行评估。\n*   **操作**：运行单元格查看评估报告，验证微调是否提升了检索效果。","某金融科技团队正在构建内部智能投研助手，需要从海量非结构化的上市公司财报 PDF 中精准检索关键财务数据以回答分析师的自然语言提问。\n\n### 没有 finetune-embedding 时\n- **检索匹配度低**：通用的预训练嵌入模型难以理解“营收增长率”与财报中具体表格数据的语义关联，导致查全率不足。\n- **依赖昂贵标注**：为了提升效果，团队需人工编写成千上万条“问题 - 文档”配对数据，耗时数周且成本高昂。\n- **领域术语失效**：模型对金融专有名词（如\"EBITDA 调整项”）敏感度差，常将无关的通用定义误判为相关答案。\n- **无法超越闭源模型**：在特定垂直场景下，开源模型的检索效果远逊于昂贵的商业 API，却缺乏低成本优化手段。\n\n### 使用 finetune-embedding 后\n- **语义对齐精准**：利用 LLM 自动生成合成数据微调模型，使嵌入向量能精准捕捉财报片段与复杂财务问题间的深层逻辑。\n- **零人工标注启动**：无需任何人工标记，直接通过脚本从现有 PDF 库生成高质量训练集，将准备时间从数周缩短至几小时。\n- **领域适应性增强**：微调后的模型显著提升了金融术语的识别能力，在内部测试集上的命中率（Hit Rate）大幅提升。\n- **性价比反超**：经过轻量级微调的开源小模型，在特定任务上的表现不仅追平甚至超越了通用的商业嵌入模型，同时大幅降低推理成本。\n\nfinetune-embedding 的核心价值在于利用合成数据打破了对人工标注的依赖，让开发者能以极低成本定制出懂业务、高精度的专属检索模型。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Frun-llama_finetune-embedding_9884ec21.png","run-llama","LlamaIndex","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Frun-llama_725504c7.png","",null,"llama_index","https:\u002F\u002Fllamaindex.ai","https:\u002F\u002Fgithub.com\u002Frun-llama",[81],{"name":82,"color":83,"percentage":84},"Jupyter Notebook","#DA5B0B",100,526,74,"2026-03-29T16:57:25","未说明","未明确必需，但微调嵌入模型通常建议使用 GPU 以加速训练；具体型号、显存及 CUDA 版本未在文中提及","未说明（文中仅提到 Notebook 轻量级，可在几乎任何机器上运行）",{"notes":92,"python":88,"dependencies":93},"该仓库已过期，官方建议改用 LlamaIndex 核心文档中的嵌入微调指南。运行前需克隆 llama_index 仓库以获取示例 PDF 文件。主要流程包括：利用 LLM 生成合成数据集、使用 sentence-transformers 微调开源嵌入模型（如 BAAI\u002Fbge-small-en）、以及评估模型性能。",[77,94,95],"sentence-transformers","jupyter lab",[35,14],"2026-03-27T02:49:30.150509","2026-04-11T18:33:06.048808",[],[]]