[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-jquesnelle--yarn":3,"tool-jquesnelle--yarn":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",156804,2,"2026-04-15T11:34:33",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":78,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":91,"forks":92,"last_commit_at":93,"license":94,"difficulty_score":10,"env_os":95,"env_gpu":96,"env_ram":95,"env_deps":97,"category_tags":103,"github_topics":76,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":104,"updated_at":105,"faqs":106,"releases":107},7829,"jquesnelle\u002Fyarn","yarn","YaRN: Efficient Context Window Extension of Large Language Models","YaRN 是一种专为大型语言模型设计的高效上下文窗口扩展技术，旨在让模型在不重新进行大规模预训练的前提下，轻松处理更长的文本序列。它主要解决了传统模型受限于固定上下文长度（如 4K 或 8K），难以理解长篇文档、复杂代码库或长篇对话历史的痛点。\n\n通过引入创新的插值方法与注意力机制优化，YaRN 能够显著降低长文本处理中的信息丢失率，同时保持模型在短文本任务上的原有性能。目前，该技术已成功应用于 LLaMA 2、Mistral 7B 及 SOLAR 等主流开源模型，支持将上下文长度灵活扩展至 32K、64K 甚至 128K token。\n\nYaRN 非常适合 AI 研究人员、开发者以及需要处理长文本数据的应用场景构建者使用。项目秉持开放科学精神，不仅发布了基于不同模型架构的微调版本，还公开了完整的训练代码、数据处理流程及复现指南，方便用户直接在 Hugging Face 上获取模型或在本地复现结果。无论是希望提升现有模型长文理解能力的工程师，还是致力于探索长上下文机制的研究者，YaRN 都提供了一个高效且易于集成的解决方案。","# YaRN\n\nThis repo contains the code and data for the YaRN context window extension method.\n\n## Paper\n\nPaper (ICLR 2024): [YaRN: Efficient Context Window Extension of Large Language Models](https:\u002F\u002Fopenreview.net\u002Fforum?id=wHBfxhZu1u)  \nOld Preprint [(arXiv)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2309.00071)\n\n## Models\n\n### LLaMA\n\nWe publish variants of [Llama 2](https:\u002F\u002Fabout.fb.com\u002Fnews\u002F2023\u002F07\u002Fllama-2\u002F) fine-tuned with YaRN at 32K, 64K and 128K context window length.\nThey are available under the Llama 2 license on 🤗 Hugging Face.\n\n| Size | Context | Link   |\n| ---: | ------: | :----- |\n|   7B |     64K | [NousResearch\u002FYarn-Llama-2-7b-64k](https:\u002F\u002Fhuggingface.co\u002FNousResearch\u002FYarn-Llama-2-7b-64k)     |\n|   7B |    128K | [NousResearch\u002FYarn-Llama-2-7b-128k](https:\u002F\u002Fhuggingface.co\u002FNousResearch\u002FYarn-Llama-2-7b-128k)   |\n|  13B |     64K | [NousResearch\u002FYarn-Llama-2-13b-64k](https:\u002F\u002Fhuggingface.co\u002FNousResearch\u002FYarn-Llama-2-13b-64k)   |\n|  13B |    128K | [NousResearch\u002FYarn-Llama-2-13b-128k](https:\u002F\u002Fhuggingface.co\u002FNousResearch\u002FYarn-Llama-2-13b-128k) |\n|  70B |     32K | [NousResearch\u002FYarn-Llama-2-70b-32k](https:\u002F\u002Fhuggingface.co\u002FNousResearch\u002FYarn-Llama-2-70b-32k)   |\n\nIn addition, we also publish 8K context window versions of Llama 2 7B fine-tuned with [NTK-aware](https:\u002F\u002Fhuggingface.co\u002Femozilla\u002FNTK-Llama-2-7b-8k) and [YaRN](https:\u002F\u002Fhuggingface.co\u002Femozilla\u002FYarn-Llama-2-7b-8k) (Table 1 in the conference paper).\n\n### Mistral\n\nWith the release of v2 of our paper we are also publishing 64K and 128K variants of [Mistral 7B v0.1](https:\u002F\u002Fhuggingface.co\u002Fmistralai\u002FMistral-7B-v0.1).\n\n| Size | Context | Link   |\n| ---: | ------: | :----- |\n|   7B |     64K | [NousResearch\u002FYarn-Mistral-7b-64k](https:\u002F\u002Fhuggingface.co\u002FNousResearch\u002FYarn-Mistral-7b-64k)     |\n|   7B |    128K | [NousResearch\u002FYarn-Mistral-7b-128k](https:\u002F\u002Fhuggingface.co\u002FNousResearch\u002FYarn-Mistral-7b-128k)   |\n\n### SOLAR\n\nThe [SOLAR 10.7B v1.0](https:\u002F\u002Fhuggingface.co\u002Fupstage\u002FSOLAR-10.7B-v1.0) model utilizes [depth-up scaling](https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.15166) to add layers to [Mistral 7B v0.1](https:\u002F\u002Fhuggingface.co\u002Fmistralai\u002FMistral-7B-v0.1), which may potentially improve long context performance on a per-parameter basis.\nWe publish 32K and 64K variants.\n\n|    Size | Context | Link   |\n| ------: | ------: | :----- |\n|   10.7B |     32K | [NousResearch\u002FYarn-Solar-10b-32k](https:\u002F\u002Fhuggingface.co\u002FNousResearch\u002FYarn-Solar-10b-32k)   |\n|   10.7B |     64K | [NousResearch\u002FYarn-Solar-10b-64k](https:\u002F\u002Fhuggingface.co\u002FNousResearch\u002FYarn-Solar-10b-64k)   |\n\n## Reproduction\n\nWe strongly believe in open science, and thus publish all code and data to reproduce the results in our paper.\nTo reproduce, clone the repository and perform a local installation.\n\n```python\ngit clone https:\u002F\u002Fgithub.com\u002Fjquesnelle\u002Fyarn\ncd yarn\npip install -e .\n```\n\n### Training\n\nTo train the models, run `accelerate config` and enable DeepSpeed acceleration. `deepspeed\u002Fzero3.json` was the configuration file used for training.\n\n```sh\n# .\u002Ftrain.sh\n```\n\nThe tokenized training data is available on [🤗Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Femozilla\u002Fpg_books-tokenized-bos-eos-chunked-65536) and was derived from the [pg19](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Femozilla\u002Fpg19) dataset.\nFor the Mistral models, a mix of the pretrain and fine-tune splits of [Long-Data-Collections](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ftogethercomputer\u002FLong-Data-Collections) was used and the tokenized dataset is also available on [🤗Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Femozilla\u002Fyarn-train-tokenized-16k-mistral).\n\n### Evaluation\n\nTo reproduce the evaluations, install [lm-evaluation-harness](https:\u002F\u002Fgithub.com\u002FEleutherAI\u002Flm-evaluation-harness) with `pip install git+https:\u002F\u002Fgithub.com\u002FEleutherAI\u002Flm-evaluation-harness` and then run the two provided scripts.\n\n```sh\n# .\u002Feval.sh\n# .\u002Feval-harness.sh\n```\n\n### Citation\n\n```\n@inproceedings{\n      peng2024yarn,\n      title={Ya{RN}: Efficient Context Window Extension of Large Language Models},\n      author={Bowen Peng and Jeffrey Quesnelle and Honglu Fan and Enrico Shippole},\n      booktitle={The Twelfth International Conference on Learning Representations},\n      year={2024},\n      url={https:\u002F\u002Fopenreview.net\u002Fforum?id=wHBfxhZu1u}\n}\n```\n","# YaRN\n\n此仓库包含 YaRN 上下文窗口扩展方法的代码和数据。\n\n## 论文\n\n论文（ICLR 2024）：[YaRN：大型语言模型的高效上下文窗口扩展](https:\u002F\u002Fopenreview.net\u002Fforum?id=wHBfxhZu1u)  \n旧预印本 [(arXiv)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2309.00071)\n\n## 模型\n\n### LLaMA\n\n我们发布了使用 YaRN 微调的 [Llama 2](https:\u002F\u002Fabout.fb.com\u002Fnews\u002F2023\u002F07\u002Fllama-2\u002F) 变体，其上下文窗口长度分别为 32K、64K 和 128K。这些模型在 🤗 Hugging Face 上以 Llama 2 许可证提供。\n\n| 规模 | 上下文长度 | 链接   |\n| ---: | ------: | :----- |\n|   7B |     64K | [NousResearch\u002FYarn-Llama-2-7b-64k](https:\u002F\u002Fhuggingface.co\u002FNousResearch\u002FYarn-Llama-2-7b-64k)     |\n|   7B |    128K | [NousResearch\u002FYarn-Llama-2-7b-128k](https:\u002F\u002Fhuggingface.co\u002FNousResearch\u002FYarn-Llama-2-7b-128k)   |\n|  13B |     64K | [NousResearch\u002FYarn-Llama-2-13b-64k](https:\u002F\u002Fhuggingface.co\u002FNousResearch\u002FYarn-Llama-2-13b-64k)   |\n|  13B |    128K | [NousResearch\u002FYarn-Llama-2-13b-128k](https:\u002F\u002Fhuggingface.co\u002FNousResearch\u002FYarn-Llama-2-13b-128k) |\n|  70B |     32K | [NousResearch\u002FYarn-Llama-2-70b-32k](https:\u002F\u002Fhuggingface.co\u002FNousResearch\u002FYarn-Llama-2-70b-32k)   |\n\n此外，我们还发布了使用 [NTK-aware](https:\u002F\u002Fhuggingface.co\u002Femozilla\u002FNTK-Llama-2-7b-8k) 和 [YaRN](https:\u002F\u002Fhuggingface.co\u002Femozilla\u002FYarn-Llama-2-7b-8k) 微调的 Llama 2 7B 的 8K 上下文窗口版本（见会议论文中的表 1）。\n\n### Mistral\n\n随着我们论文 v2 版本的发布，我们也发布了 [Mistral 7B v0.1](https:\u002F\u002Fhuggingface.co\u002Fmistralai\u002FMistral-7B-v0.1) 的 64K 和 128K 变体。\n\n| 规模 | 上下文长度 | 链接   |\n| ---: | ------: | :----- |\n|   7B |     64K | [NousResearch\u002FYarn-Mistral-7b-64k](https:\u002F\u002Fhuggingface.co\u002FNousResearch\u002FYarn-Mistral-7b-64k)     |\n|   7B |    128K | [NousResearch\u002FYarn-Mistral-7b-128k](https:\u002F\u002Fhuggingface.co\u002FNousResearch\u002FYarn-Mistral-7b-128k)   |\n\n### SOLAR\n\n[SOLAR 10.7B v1.0](https:\u002F\u002Fhuggingface.co\u002Fupstage\u002FSOLAR-10.7B-v1.0) 模型利用 [深度增强缩放](https:\u002F\u002Farxiv.org\u002Fabs\u002F2312.15166) 技术，在 [Mistral 7B v0.1](https:\u002F\u002Fhuggingface.co\u002Fmistralai\u002FMistral-7B-v0.1) 的基础上增加了层数，这可能在每参数的基础上提升长上下文性能。我们发布了 32K 和 64K 的变体。\n\n|    规模 | 上下文长度 | 链接   |\n| ------: | ------: | :----- |\n|   10.7B |     32K | [NousResearch\u002FYarn-Solar-10b-32k](https:\u002F\u002Fhuggingface.co\u002FNousResearch\u002FYarn-Solar-10b-32k)   |\n|   10.7B |     64K | [NousResearch\u002FYarn-Solar-10b-64k](https:\u002F\u002Fhuggingface.co\u002FNousResearch\u002FYarn-Solar-10b-64k)   |\n\n## 复现\n\n我们坚信开放科学，因此公开了所有用于复现论文结果的代码和数据。要复现，请克隆仓库并进行本地安装。\n\n```python\ngit clone https:\u002F\u002Fgithub.com\u002Fjquesnelle\u002Fyarn\ncd yarn\npip install -e .\n```\n\n### 训练\n\n要训练模型，请运行 `accelerate config` 并启用 DeepSpeed 加速。训练时使用的配置文件为 `deepspeed\u002Fzero3.json`。\n\n```sh\n# .\u002Ftrain.sh\n```\n\n分词后的训练数据可在 [🤗Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Femozilla\u002Fpg_books-tokenized-bos-eos-chunked-65536) 上获取，该数据源自 [pg19](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Femozilla\u002Fpg19) 数据集。对于 Mistral 模型，则使用了 [Long-Data-Collections](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Ftogethercomputer\u002FLong-Data-Collections) 数据集中预训练和微调分割的混合数据，分词后的数据集同样可在 [🤗Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Femozilla\u002Fyarn-train-tokenized-16k-mistral) 上找到。\n\n### 评估\n\n要复现评估结果，请使用 `pip install git+https:\u002F\u002Fgithub.com\u002FEleutherAI\u002Flm-evaluation-harness` 安装 [lm-evaluation-harness](https:\u002F\u002Fgithub.com\u002FEleutherAI\u002Flm-evaluation-harness)，然后运行提供的两个脚本。\n\n```sh\n# .\u002Feval.sh\n# .\u002Feval-harness.sh\n```\n\n### 引用\n\n```\n@inproceedings{\n      peng2024yarn,\n      title={Ya{RN}: Efficient Context Window Extension of Large Language Models},\n      author={Bowen Peng and Jeffrey Quesnelle and Honglu Fan and Enrico Shippole},\n      booktitle={The Twelfth International Conference on Learning Representations},\n      year={2024},\n      url={https:\u002F\u002Fopenreview.net\u002Fforum?id=wHBfxhZu1u}\n}\n```","# YaRN 快速上手指南\n\nYaRN 是一种高效的大语言模型上下文窗口扩展方法，支持将 LLaMA、Mistral 等模型的上下文长度扩展至 32K、64K 甚至 128K。本指南帮助开发者快速复现论文结果或使用已发布的微调模型。\n\n## 环境准备\n\n- **系统要求**：Linux 或 macOS（推荐 Linux），具备 CUDA 支持的 GPU（用于训练或推理长上下文模型）\n- **前置依赖**：\n  - Python 3.8+\n  - `git`\n  - `pip`\n  - PyTorch（建议 2.0+，需与 CUDA 版本匹配）\n  - Hugging Face Transformers\n  - DeepSpeed（用于训练）\n  - accelerate\n\n> 💡 国内用户可使用清华或中科大镜像加速 Python 包安装：\n> ```bash\n> pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple \u003Cpackage>\n> ```\n\n## 安装步骤\n\n克隆仓库并进行本地可编辑安装：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fjquesnelle\u002Fyarn\ncd yarn\npip install -e .\n```\n\n如需训练模型，还需配置 DeepSpeed：\n\n```bash\naccelerate config\n```\n在交互配置中启用 DeepSpeed，并选择 `deepspeed\u002Fzero3.json` 作为配置文件（该文件已包含在仓库中）。\n\n## 基本使用\n\n### 方式一：直接使用已发布模型（推荐）\n\n通过 Hugging Face Transformers 直接加载 YaRN 微调后的模型，例如 7B 64K 版本的 LLaMA 2：\n\n```python\nfrom transformers import AutoModelForCausalLM, AutoTokenizer\n\nmodel_name = \"NousResearch\u002FYarn-Llama-2-7b-64k\"\ntokenizer = AutoTokenizer.from_pretrained(model_name)\nmodel = AutoModelForCausalLM.from_pretrained(model_name, device_map=\"auto\")\n\ninput_text = \"请总结以下长文档的核心内容：\" + \"...\" * 10000  # 模拟长输入\ninputs = tokenizer(input_text, return_tensors=\"pt\").to(model.device)\n\noutputs = model.generate(**inputs, max_new_tokens=512)\nprint(tokenizer.decode(outputs[0], skip_special_tokens=True))\n```\n\n> 注意：确保你的显存足够加载模型并处理长上下文（64K 上下文可能需要 40GB+ 显存，建议使用多卡或量化方案）。\n\n### 方式二：复现训练流程（高级用户）\n\n1. 下载分词后的训练数据（以 LLaMA 为例）：\n   - 数据集地址：https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Femozilla\u002Fpg_books-tokenized-bos-eos-chunked-65536\n\n2. 运行训练脚本：\n   ```bash\n   .\u002Ftrain.sh\n   ```\n\n3. 评估模型性能（需先安装 lm-evaluation-harness）：\n   ```bash\n   pip install git+https:\u002F\u002Fgithub.com\u002FEleutherAI\u002Flm-evaluation-harness\n   .\u002Feval.sh\n   .\u002Feval-harness.sh\n   ```\n\n> 国内用户若访问 Hugging Face 受阻，可使用镜像站如 `https:\u002F\u002Fhf-mirror.com` 替代 `huggingface.co`，或在代码中设置环境变量：\n> ```bash\n> export HF_ENDPOINT=https:\u002F\u002Fhf-mirror.com\n> ```","某法律科技团队正在构建一款智能合同审查助手，需要让 AI 一次性读取并分析长达数万字的复杂并购协议及历史往来邮件。\n\n### 没有 yarn 时\n- **关键信息丢失**：受限于模型原生上下文窗口（如 4K 或 8K），必须将长文档强行切割，导致跨段落的条款引用和逻辑关联被切断，AI 无法理解全文脉络。\n- **处理流程繁琐**：开发人员需编写复杂的滑动窗口算法或外部检索系统（RAG）来拼接片段，大幅增加了工程维护成本和推理延迟。\n- **准确率大幅下降**：在长文本末尾或中间位置的关键细节（如赔偿上限、特殊豁免权）常被模型忽略或产生“幻觉”，导致审查结果不可靠。\n\n### 使用 yarn 后\n- **全篇完整理解**：直接加载经 YaRN 微调的 Llama 2 或 Mistral 模型（支持 64K-128K 上下文），可一次性吞入整份百页合同，精准捕捉跨章节的逻辑依赖。\n- **架构显著简化**：无需再设计复杂的分块策略或外挂向量数据库，直接输入原始长文本即可获得连贯分析，开发效率提升数倍。\n- **长程记忆精准**：得益于 YaRN 高效的注意力机制扩展，模型在超长序列中仍能保持对首尾细节的高敏感度，关键风险点识别率接近短文本水平。\n\nYaRN 通过低成本地扩展大模型上下文窗口，让 AI 真正具备了“过目不忘”的长文档深度理解能力，彻底解决了长文本处理中的割裂与失真难题。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjquesnelle_yarn_4ac5a40e.png","jquesnelle","Jeffrey Quesnelle","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fjquesnelle_cb04e623.jpg","Co-Founder\u002FCEO, Nous Research",null,"Michigan","jq@jeffq.com","theemozilla","http:\u002F\u002Fjeffq.com","https:\u002F\u002Fgithub.com\u002Fjquesnelle",[83,87],{"name":84,"color":85,"percentage":86},"Python","#3572A5",96.1,{"name":88,"color":89,"percentage":90},"Shell","#89e051",3.9,1695,131,"2026-04-14T18:43:51","MIT","未说明","训练必需 NVIDIA GPU 并启用 DeepSpeed (zero3.json)；推理取决于具体模型大小 (7B-70B)，大模型需高显存",{"notes":98,"python":95,"dependencies":99},"该项目主要提供 YaRN 上下文扩展方法的代码、数据及微调后的模型权重。训练需配置 accelerate 并使用 DeepSpeed zero3 策略。评估需额外安装 lm-evaluation-harness。训练数据基于 pg19 和 Long-Data-Collections 数据集的 tokenized 版本，托管于 Hugging Face。",[100,101,102],"accelerate","deepspeed","lm-evaluation-harness",[35,14],"2026-03-27T02:49:30.150509","2026-04-16T03:31:45.123263",[],[]]