[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-THUDM--LongCite":3,"tool-THUDM--LongCite":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",160015,2,"2026-04-18T11:30:52",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":77,"owner_twitter":78,"owner_website":79,"owner_url":80,"languages":81,"stars":86,"forks":87,"last_commit_at":88,"license":89,"difficulty_score":10,"env_os":90,"env_gpu":91,"env_ram":90,"env_deps":92,"category_tags":99,"github_topics":101,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":107,"updated_at":108,"faqs":109,"releases":150},9129,"THUDM\u002FLongCite","LongCite","LongCite: Enabling LLMs to Generate Fine-grained Citations in Long-context QA","LongCite 是一款专为长文本问答场景设计的开源大语言模型工具，旨在让 AI 在回答基于长篇文档的问题时，能够生成精确到句子级别的细粒度引用。它有效解决了传统大模型在处理超长上下文时容易产生“幻觉”或无法提供确切信息来源的痛点，让用户可以轻松验证回答中的每一句话是否源自原文，从而大幅提升信息的可信度与可追溯性。\n\n该工具特别适合开发者、研究人员以及需要处理海量文档分析的专业人士使用。无论是构建智能客服、法律文档分析系统，还是学术研究辅助工具，LongCite 都能提供强有力的支持。其核心技术亮点在于支持高达 128K 的上下文窗口，并提供了基于 GLM-4 和 Llama 3.1 架构的两个微调模型（LongCite-glm4-9b 和 LongCite-llama3.1-8b），能够直接输出带有精准标注的回答。此外，项目还开源了名为 CoF（由粗到细）的自动化数据构建流水线，帮助社区低成本地生成高质量的长文本训练数据。通过简单的代码调用或部署演示，用户即可快速体验这一让长文本理解更加透明、可靠的技术方案。","\n\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTHUDM_LongCite_readme_b5cf8d502434.png\" width=\"80%\" alt=\"LongCite\">\n\u003C\u002Fp>\n\n# LongCite: Enabling LLMs to Generate Fine-grained Citations in Long-context QA\n\n\u003Cp align=\"center\">\n    🤗 \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTHUDM\u002FLongCite-45k\" target=\"_blank\">HF Repo\u003C\u002Fa> • 📃 \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.02897\" target=\"_blank\">Paper\u003C\u002Fa> • 🚀 \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FTHUDM-HF-SPACE\u002FLongCite\" target=\"_blank\">HF Space\u003C\u002Fa>\n\u003C\u002Fp>\n\n[English](.\u002FREADME.md) | [中文](.\u002FREADME_zh.md)\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F68f6677a-3ffd-41a8-889c-d56a65f9e3bb\n\n## 🔍 Table of Contents\n- [⚙️ LongCite Deployment](#deployment)\n- [🤖️ CoF pipeline](#pipeline)\n- [🖥️ Model Training](#training)\n- [📊 Evaluation](#evaluation)\n- [📝 Citation](#citation)\n\n\u003Ca name=\"deployment\">\u003C\u002Fa>\n## ⚙️ LongCite Deployment\n\n**Environmental Setup**:\nWe recommend using `transformers>=4.43.0` to successfully deploy our models.\n\nWe open-source two models: [LongCite-glm4-9b](https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002FLongCite-glm4-9b) and [LongCite-llama3.1-8b](https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002FLongCite-llama3.1-8b), which are trained based on [GLM-4-9B](https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002Fglm-4-9b) and [Meta-Llama-3.1-8B](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FMeta-Llama-3.1-8B), respectively, and support up to 128K context. These two models point to the \"LongCite-9B\" and \"LongCite-8B\" models in our paper. Given a long-context-based query, these models can generate accurate responses and precise sentence-level citations, making it easy for users to verify the output information. Try the model:\n```python\nimport json\nimport torch\nfrom transformers import AutoTokenizer, AutoModelForCausalLM\n\ntokenizer = AutoTokenizer.from_pretrained('THUDM\u002FLongCite-glm4-9b', trust_remote_code=True)\nmodel = AutoModelForCausalLM.from_pretrained('THUDM\u002FLongCite-glm4-9b', torch_dtype=torch.bfloat16, trust_remote_code=True, device_map='auto')\n\ncontext = '''\nW. Russell Todd, 94, United States Army general (b. 1928). February 13. Tim Aymar, 59, heavy metal singer (Pharaoh) (b. 1963). Marshall \\\"Eddie\\\" Conway, 76, Black Panther Party leader (b. 1946). Roger Bonk, 78, football player (North Dakota Fighting Sioux, Winnipeg Blue Bombers) (b. 1944). Conrad Dobler, 72, football player (St. Louis Cardinals, New Orleans Saints, Buffalo Bills) (b. 1950). Brian DuBois, 55, baseball player (Detroit Tigers) (b. 1967). Robert Geddes, 99, architect, dean of the Princeton University School of Architecture (1965–1982) (b. 1923). Tom Luddy, 79, film producer (Barfly, The Secret Garden), co-founder of the Telluride Film Festival (b. 1943). David Singmaster, 84, mathematician (b. 1938).\n'''\nquery = \"What was Robert Geddes' profession?\"\nresult = model.query_longcite(context, query, tokenizer=tokenizer, max_input_length=128000, max_new_tokens=1024)\n\nprint(\"Answer:\\n{}\\n\".format(result['answer']))\nprint(\"Statement with citations:\\n{}\\n\".format(\n  json.dumps(result['statements_with_citations'], indent=2, ensure_ascii=False)))\nprint(\"Context (divided into sentences):\\n{}\\n\".format(result['splited_context']))\n```\nYou may deploy your own LongCite chatbot (like the one we show in the above video) by running\n```\nCUDA_VISIBLE_DEVICES=0 streamlit run demo.py --server.fileWatcherType none\n```\nAlternatively, you can deploy the model with [vllm](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm), which allows faster generation and multiconcurrent server. See the code example in [vllm_inference.py](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FLongCite\u002Fblob\u002Fmain\u002Fvllm_inference.py).\n\n\u003Ca name=\"pipeline\">\u003C\u002Fa>\n## 🤖️ CoF Pipeline\n![cof](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTHUDM_LongCite_readme_af4cff8431a4.png)\n\nWe are also open-sourcing CoF (Coarse to Fine) under `CoF\u002F`, our automated SFT data construction pipeline for generating high-quality long-context QA instances with fine-grained citations. Please configure your API key in the `utils\u002Fllm_api.py`, then run the following four scripts to obtain the final data: \n`1_qa_generation.py`, `2_chunk_level_citation.py`, `3_sentence_level_citaion.py`, and `4_postprocess_and_filter.py`.\n\n\n\u003Ca name=\"training\">\u003C\u002Fa>\n## 🖥️ Model Training\n\nYou can download and save the **LongCite-45k** dataset through the Hugging Face datasets ([🤗 HF Repo](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTHUDM\u002FLongCite-45k)):\n```python\nfrom datasets import load_dataset\ndataset = load_dataset('THUDM\u002FLongCite-45k')\nfor split, split_dataset in dataset.items():\n    split_dataset.to_json(\"train\u002Flong.jsonl\")\n```\nYou can mix it with general SFT data such as [ShareGPT](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fanon8231489123\u002FShareGPT_Vicuna_unfiltered\u002Ftree\u002Fmain\u002FHTML_cleaned_raw_dataset). We adopt [Metragon-LM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FMegatron-LM) for model training. For a more lightweight implementation, you may adopt the code and environment from [LongAlign](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FLongAlign), which can support a max training sequence length of 32k tokens for GLM-4-9B and Llama-3.1-8B. \n\n\u003Ca name=\"evaluation\">\u003C\u002Fa>\n## 📊 Evaluation\nWe introduce an automatic benchmark: **LongBench-Cite**, which adopt long-context QA pairs from [LongBench](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FLongBench) and [LongBench-Chat](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FLongAlign), to measure the citation quality as well as response correctness in long-context QA scenarios. \n\nWe provide our evaluation data and code under `LongBench-Cite\u002F`. Run `pred_sft.py` and `pred_one_shot.py` to get responses from fine-tuned models (e.g., LongCite-glm4-9b) and normal models (e.g., GPT-4o). Then run `eval_cite.py` and `eval_correct.py` to evaluate the citation quality and response correctness. Remember to configure your OpenAI API key in `utils\u002Fllm_api.py` since we adopt GPT-4o as the judge.\n\nHere are the evaluation results on **LongBench-Cite**:\n![eval_results](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTHUDM_LongCite_readme_0976956741b3.png)\n\n\u003Ca name=\"citation\">\u003C\u002Fa>\n## 📝 Citation\n\nIf you find our work useful, please consider citing LongCite:\n\n```\n@article{zhang2024longcite,\n  title = {LongCite: Enabling LLMs to Generate Fine-grained Citations in Long-context QA} \n  author={Jiajie Zhang and Yushi Bai and Xin Lv and Wanjun Gu and Danqing Liu and Minhao Zou and Shulin Cao and Lei Hou and Yuxiao Dong and Ling Feng and Juanzi Li},\n  journal={arXiv preprint arXiv:2409.02897},\n  year={2024}\n}\n```\n","\u003Cp align=\"center\" width=\"100%\">\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTHUDM_LongCite_readme_b5cf8d502434.png\" width=\"80%\" alt=\"LongCite\">\n\u003C\u002Fp>\n\n# LongCite: 使大语言模型能够在长上下文问答中生成细粒度引用\n\n\u003Cp align=\"center\">\n    🤗 \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTHUDM\u002FLongCite-45k\" target=\"_blank\">HF 数据集\u003C\u002Fa> • 📃 \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2409.02897\" target=\"_blank\">论文\u003C\u002Fa> • 🚀 \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FTHUDM-HF-SPACE\u002FLongCite\" target=\"_blank\">HF Space\u003C\u002Fa>\n\u003C\u002Fp>\n\n[English](.\u002FREADME.md) | [中文](.\u002FREADME_zh.md)\n\nhttps:\u002F\u002Fgithub.com\u002Fuser-attachments\u002Fassets\u002F68f6677a-3ffd-41a8-889c-d56a65f9e3bb\n\n## 🔍 目录\n- [⚙️ LongCite 部署](#deployment)\n- [🤖️ CoF 流程](#pipeline)\n- [🖥️ 模型训练](#training)\n- [📊 评估](#evaluation)\n- [📝 引用](#citation)\n\n\u003Ca name=\"deployment\">\u003C\u002Fa>\n## ⚙️ LongCite 部署\n\n**环境配置**：\n我们建议使用 `transformers>=4.43.0` 来成功部署我们的模型。\n\n我们开源了两个模型：[LongCite-glm4-9b](https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002FLongCite-glm4-9b) 和 [LongCite-llama3.1-8b](https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002FLongCite-llama3.1-8b)，它们分别基于 [GLM-4-9B](https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002Fglm-4-9b) 和 [Meta-Llama-3.1-8B](https:\u002F\u002Fhuggingface.co\u002Fmeta-llama\u002FMeta-Llama-3.1-8B) 训练而成，支持最长 128K 的上下文长度。这两个模型对应于我们论文中的“LongCite-9B”和“LongCite-8B”。给定一个基于长上下文的查询，这些模型能够生成准确的回答和精确的句子级引用，方便用户验证输出信息。尝试使用该模型：\n```python\nimport json\nimport torch\nfrom transformers import AutoTokenizer, AutoModelForCausalLM\n\ntokenizer = AutoTokenizer.from_pretrained('THUDM\u002FLongCite-glm4-9b', trust_remote_code=True)\nmodel = AutoModelForCausalLM.from_pretrained('THUDM\u002FLongCite-glm4-9b', torch_dtype=torch.bfloat16, trust_remote_code=True, device_map='auto')\n\ncontext = '''\nW. Russell Todd, 94岁，美国陆军将领（生于1928年）。2月13日。Tim Aymar，59岁，重金属歌手（Pharaoh乐队）（生于1963年）。Marshall \"Eddie\" Conway，76岁，黑豹党领袖（生于1946年）。Roger Bonk，78岁，美式橄榄球运动员（北达科他州斗牛犬队、温尼伯蓝轰炸机队）（生于1944年）。Conrad Dobler，72岁，美式橄榄球运动员（圣路易斯红雀队、新奥尔良圣徒队、布法罗比尔斯队）（生于1950年）。Brian DuBois，55岁，棒球运动员（底特律老虎队）（生于1967年）。Robert Geddes，99岁，建筑师，曾任普林斯顿大学建筑学院院长（1965–1982年）（生于1923年）。Tom Luddy，79岁，电影制片人（《流浪者》、《秘密花园》），特柳赖德电影节联合创始人（生于1943年）。David Singmaster，84岁，数学家（生于1938年）。\n'''\nquery = \"Robert Geddes的职业是什么？\"\nresult = model.query_longcite(context, query, tokenizer=tokenizer, max_input_length=128000, max_new_tokens=1024)\n\nprint(\"答案：\\n{}\\n\".format(result['answer']))\nprint(\"带引用的陈述：\\n{}\\n\".format(\n  json.dumps(result['statements_with_citations'], indent=2, ensure_ascii=False)))\nprint(\"上下文（按句分割）：\\n{}\\n\".format(result['splited_context']))\n```\n您可以通过运行以下命令来部署自己的 LongCite 聊天机器人（如上文视频所示）：\n```\nCUDA_VISIBLE_DEVICES=0 streamlit run demo.py --server.fileWatcherType none\n```\n或者，您也可以使用 [vllm](https:\u002F\u002Fgithub.com\u002Fvllm-project\u002Fvllm) 部署模型，它能够实现更快的生成速度并支持多并发服务器。代码示例请参见 [vllm_inference.py](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FLongCite\u002Fblob\u002Fmain\u002Fvllm_inference.py)。\n\n\u003Ca name=\"pipeline\">\u003C\u002Fa>\n## 🤖️ CoF 流程\n![cof](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTHUDM_LongCite_readme_af4cff8431a4.png)\n\n我们还在 `CoF\u002F` 目录下开源了 CoF（粗到精）流程，这是我们用于生成高质量长上下文问答数据并附带细粒度引用的自动化 SFT 数据构建流水线。请在 `utils\u002Fllm_api.py` 中配置您的 API 密钥，然后依次运行以下四个脚本以获得最终数据：\n`1_qa_generation.py`、`2_chunk_level_citation.py`、`3_sentence_level_citaion.py` 和 `4_postprocess_and_filter.py`。\n\n\u003Ca name=\"training\">\u003C\u002Fa>\n## 🖥️ 模型训练\n\n您可以通过 Hugging Face 数据集下载并保存 **LongCite-45k** 数据集（[🤗 HF Repo](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FTHUDM\u002FLongCite-45k))：\n```python\nfrom datasets import load_dataset\ndataset = load_dataset('THUDM\u002FLongCite-45k')\nfor split, split_dataset in dataset.items():\n    split_dataset.to_json(\"train\u002Flong.jsonl\")\n```\n您可以将其与通用的 SFT 数据混合使用，例如 [ShareGPT](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fanon8231489123\u002FShareGPT_Vicuna_unfiltered\u002Ftree\u002Fmain\u002FHTML_cleaned_raw_dataset)。我们采用 [Metragon-LM](https:\u002F\u002Fgithub.com\u002FNVIDIA\u002FMegatron-LM) 进行模型训练。如果您希望实现更轻量化的部署，可以参考 [LongAlign](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FLongAlign) 的代码和环境，它能够支持 GLM-4-9B 和 Llama-3.1-8B 最大 32k 个标记的训练序列长度。\n\n\u003Ca name=\"evaluation\">\u003C\u002Fa>\n## 📊 评估\n\n我们引入了一个自动基准测试：**LongBench-Cite**，它采用了来自 [LongBench](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FLongBench) 和 [LongBench-Chat](https:\u002F\u002Fgithub.com\u002FTHUDM\u002FLongAlign) 的长上下文问答对，用于衡量长上下文问答场景下的引用质量和回答准确性。\n\n我们在 `LongBench-Cite\u002F` 目录下提供了评估数据和代码。运行 `pred_sft.py` 和 `pred_one_shot.py` 可以获取微调后模型（例如 LongCite-glm4-9b）和普通模型（例如 GPT-4o）的回答。然后运行 `eval_cite.py` 和 `eval_correct.py` 来评估引用质量和回答准确性。请务必在 `utils\u002Fllm_api.py` 中配置您的 OpenAI API 密钥，因为我们使用 GPT-4o 作为评判者。\n\n以下是 **LongBench-Cite** 的评估结果：\n![eval_results](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTHUDM_LongCite_readme_0976956741b3.png)\n\n\u003Ca name=\"citation\">\u003C\u002Fa>\n## 📝 引用\n\n如果您觉得我们的工作有所帮助，请考虑引用 LongCite：\n\n```\n@article{zhang2024longcite,\n  title = {LongCite: Enabling LLMs to Generate Fine-grained Citations in Long-context QA} \n  author={Jiajie Zhang and Yushi Bai and Xin Lv and Wanjun Gu and Danqing Liu and Minhao Zou and Shulin Cao and Lei Hou and Yuxiao Dong and Ling Feng and Juanzi Li},\n  journal={arXiv preprint arXiv:2409.02897},\n  year={2024}\n}\n```","# LongCite 快速上手指南\n\nLongCite 是一个 enabling 大语言模型在长上下文问答中生成细粒度引用的开源项目。它支持高达 128K 的上下文长度，能够输出准确的答案并附带句子级别的引用来源，方便用户验证信息。\n\n## 环境准备\n\n**系统要求**：\n- 推荐使用 Linux 系统\n- 需要 NVIDIA GPU（显存建议 24GB 以上以运行 9B 模型）\n- CUDA 环境已正确安装\n\n**前置依赖**：\n- Python >= 3.8\n- `transformers >= 4.43.0` (必须)\n- `torch` (建议使用 bfloat16 支持的版本)\n- `accelerate`\n\n建议通过国内镜像源安装依赖以加速下载：\n```bash\npip install transformers>=4.43.0 torch accelerate -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 安装步骤\n\nLongCite 无需复杂的编译安装，直接通过 Hugging Face 加载预训练模型即可使用。\n\n1. **克隆项目代码（可选，用于运行 Demo 或评估）**：\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002FTHUDM\u002FLongCite.git\n   cd LongCite\n   ```\n\n2. **安装额外依赖（如需运行 Streamlit Demo）**：\n   ```bash\n   pip install streamlit -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n   ```\n\n> **模型说明**：项目开源了两个模型，均支持 128K 上下文：\n> - `THUDM\u002FLongCite-glm4-9b` (基于 GLM-4-9B)\n> - `THUDM\u002FLongCite-llama3.1-8b` (基于 Meta-Llama-3.1-8B)\n\n## 基本使用\n\n以下是最简单的 Python 调用示例，展示如何加载模型并进行带引用的长文本问答。\n\n### 1. 代码示例\n\n```python\nimport json\nimport torch\nfrom transformers import AutoTokenizer, AutoModelForCausalLM\n\n# 加载分词器和模型 (以 LongCite-glm4-9b 为例)\n# 注意：首次运行时会自动从 Hugging Face 下载模型，国内网络可能需要配置代理或使用镜像\ntokenizer = AutoTokenizer.from_pretrained('THUDM\u002FLongCite-glm4-9b', trust_remote_code=True)\nmodel = AutoModelForCausalLM.from_pretrained(\n    'THUDM\u002FLongCite-glm4-9b', \n    torch_dtype=torch.bfloat16, \n    trust_remote_code=True, \n    device_map='auto'\n)\n\n# 准备长上下文数据\ncontext = '''\nW. Russell Todd, 94, United States Army general (b. 1928). February 13. Tim Aymar, 59, heavy metal singer (Pharaoh) (b. 1963). Marshall \\\"Eddie\\\" Conway, 76, Black Panther Party leader (b. 1946). Roger Bonk, 78, football player (North Dakota Fighting Sioux, Winnipeg Blue Bombers) (b. 1944). Conrad Dobler, 72, football player (St. Louis Cardinals, New Orleans Saints, Buffalo Bills) (b. 1950). Brian DuBois, 55, baseball player (Detroit Tigers) (b. 1967). Robert Geddes, 99, architect, dean of the Princeton University School of Architecture (1965–1982) (b. 1923). Tom Luddy, 79, film producer (Barfly, The Secret Garden), co-founder of the Telluride Film Festival (b. 1943). David Singmaster, 84, mathematician (b. 1938).\n'''\n\nquery = \"What was Robert Geddes' profession?\"\n\n# 执行推理\nresult = model.query_longcite(\n    context, \n    query, \n    tokenizer=tokenizer, \n    max_input_length=128000, \n    max_new_tokens=1024\n)\n\n# 输出结果\nprint(\"Answer:\\n{}\\n\".format(result['answer']))\nprint(\"Statement with citations:\\n{}\\n\".format(\n  json.dumps(result['statements_with_citations'], indent=2, ensure_ascii=False)))\nprint(\"Context (divided into sentences):\\n{}\\n\".format(result['splited_context']))\n```\n\n### 2. 启动官方 Demo (可选)\n\n如果你希望体验类似网页版的聊天机器人界面，可以在项目根目录下运行以下命令：\n\n```bash\nCUDA_VISIBLE_DEVICES=0 streamlit run demo.py --server.fileWatcherType none\n```\n\n### 3. 高性能部署 (可选)\n\n对于需要更高并发或更快生成速度的场景，推荐使用 `vllm` 进行部署。具体代码示例请参考项目中的 `vllm_inference.py`。","某法律合规团队正在处理一份长达百页的并购尽职调查报告，需要快速从海量历史文档中核实关键人物的背景信息与任职记录。\n\n### 没有 LongCite 时\n- **人工核对耗时极长**：分析师必须手动在几十万字的文章中逐句搜索，以确认模型生成的“罗伯特·格迪斯曾任普林斯顿建筑学院院长”等信息是否属实。\n- **引用粒度粗糙模糊**：传统大模型通常只标注参考了“整个文档”，无法指出具体依据是哪一段落或哪一句话，导致复核困难。\n- **幻觉风险难以察觉**：当模型混淆相似人名或时间线时，由于缺乏精确的原文锚点，审核人员极易漏掉细微的事实性错误。\n- **信任成本高昂**：每次输出结果都需要专人进行二次全文检索验证，严重拖慢了报告交付进度。\n\n### 使用 LongCite 后\n- **自动生成句级引证**：LongCite 在回答问题的同时，直接为每一句结论标记出原文中对应的具体句子（如精准定位到\"Robert Geddes, 99, architect...\"这一段）。\n- **一键溯源验证**：用户点击引用标记即可高亮显示原始上下文，将原本数小时的人工核查工作缩短至几秒钟。\n- **有效抑制幻觉**：模型基于细粒度的上下文生成回答，若原文无明确依据则不会强行编造，显著提升了长文档问答的准确性。\n- **流程自动化闭环**：支持 128K 超长上下文处理，无需切片丢失信息，让大规模文档的自动化审计成为可能。\n\nLongCite 通过将大模型的长文本理解能力与精确的句子级引用相结合，彻底解决了长文档场景下“信源难寻、事实难验”的核心痛点。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FTHUDM_LongCite_09769567.png","THUDM","THUKEG","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FTHUDM_698cabbc.png","ChatGLM, GLM-4, CogVLM, CodeGeeX, CogView, ImageReward, CogVideoX | CogDL, GraphMAE, AMiner | Zhipu.ai (Z.ai) & Knowledge Engineering Group (KEG)",null,"keg.cs.tsinghua@gmail.com","thukeg","https:\u002F\u002Fhuggingface.co\u002FTHUDM","https:\u002F\u002Fgithub.com\u002FTHUDM",[82],{"name":83,"color":84,"percentage":85},"Python","#3572A5",100,520,31,"2026-04-16T12:07:36","Apache-2.0","未说明","需要 NVIDIA GPU (通过 CUDA_VISIBLE_DEVICES 环境变量推断)，显存需求取决于模型大小 (9B\u002F8B) 及上下文长度 (最高 128K)，建议使用支持 bfloat16 的显卡",{"notes":93,"python":90,"dependencies":94},"模型基于 GLM-4-9B 和 Llama-3.1-8B 训练，支持高达 128K 的上下文窗口。加载模型时需指定 torch_dtype 为 torch.bfloat16。若使用 vllm 可实现更快的生成速度和多并发服务。训练部分提到了 Megatron-LM 或 LongAlign 框架。",[95,96,97,98],"transformers>=4.43.0","torch","vllm (可选，用于加速推理)","streamlit (可选，用于部署演示)",[14,100,35],"其他",[102,103,104,105,106],"benchmark","fine-tuning","llm","long-context","citation-generation","2026-03-27T02:49:30.150509","2026-04-18T22:34:12.878222",[110,115,120,125,130,135,140,145],{"id":111,"question_zh":112,"answer_zh":113,"source_url":114},40972,"模型回复中包含类似 \u003Cstatement>\u003Ccite> 的标签，如何获取纯净的文本内容？","可以使用 modeling.py 文件中的 postprocess 函数来去除这些标签。该函数专门用于处理模型输出，移除引用标记以返回纯净文本。","https:\u002F\u002Fgithub.com\u002FTHUDM\u002FLongCite\u002Fissues\u002F9",{"id":116,"question_zh":117,"answer_zh":118,"source_url":119},40973,"运行 LongCite-llama3.1-8b 模型时遇到 CUDA OutOfMemoryError（显存不足），如何解决？","加载模型时必须指定使用 bfloat16 精度以减少显存占用。请参考 HuggingFace 上的示例代码，确保在加载模型时添加 dtype=torch.bfloat16 参数。此外，检查代码中是否遗漏了 import json 等基础导入语句。","https:\u002F\u002Fgithub.com\u002FTHUDM\u002FLongCite\u002Fissues\u002F7",{"id":121,"question_zh":122,"answer_zh":123,"source_url":124},40974,"如何处理大批量文件（如几万个文档）进行搜索和问答？","可以将所有文件转换为 txt 格式后拼接成一个长文档进行处理，但需注意总长度不要超过模型的 128k 上下文限制。如果文件总量超过此限制，建议先使用 RAG（检索增强生成）等方法对文件进行粗筛，再送入模型。转换 txt 可参考 demo.py 中的 convert_to_txt 函数。","https:\u002F\u002Fgithub.com\u002FTHUDM\u002FLongCite\u002Fissues\u002F5",{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},40975,"如何基于多个文档进行问答（Multi-document QA）？","直接将多个文档的内容拼接在一起，当作一个长文档输入给模型即可。模型支持长上下文，能够处理拼接后的内容。","https:\u002F\u002Fgithub.com\u002FTHUDM\u002FLongCite\u002Fissues\u002F12",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},40976,"使用 load_dataset 加载 THUDM\u002FLongCite-45k 数据集时报错 \"JSON parse error: Column() changed from object to array\"，如何解决？","这是因为数据集格式与 load_dataset 默认解析方式不兼容。需要手动读取并重新保存为标准的 JSONL 格式。可以使用以下代码处理：\nimport json\ndef process_and_write_jsonl(input_file_path, output_file_path):\n    with open(input_file_path, 'r', encoding='utf-8') as infile, open(output_file_path, 'w', encoding='utf-8') as outfile:\n        for line in infile:\n            data = json.loads(line.strip())\n            instruction = data[0][\"content\"]\n            response = data[1][\"content\"]\n            cur_data = {\"instruction\": instruction, \"response\": response}\n            outfile.write(json.dumps(cur_data, ensure_ascii=False) + '\\n')\n# 调用示例：process_and_write_jsonl(\"long.jsonl\", \"longcite_45.jsonl\")","https:\u002F\u002Fgithub.com\u002FTHUDM\u002FLongCite\u002Fissues\u002F11",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},40977,"模型支持 128k 序列长度，如果源文本达到 1M token 该如何处理？","由于超过了最大序列长度，你需要对源文本进行切分（split），或者先使用检索（retrieval）技术筛选出最相关的片段，使其适应 128k 的最大长度限制后再输入模型。","https:\u002F\u002Fgithub.com\u002FTHUDM\u002FLongCite\u002Fissues\u002F8",{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},40978,"在哪里可以下载 LongCite 微调后的模型权重？","微调后的模型权重已发布在 HuggingFace 和 ModelScope 上。可用模型包括：\n1. LongCite-glm4-9b: https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002FLongCite-glm4-9b\n2. LongCite-llama3.1-8b: https:\u002F\u002Fhuggingface.co\u002FTHUDM\u002FLongCite-llama3.1-8b","https:\u002F\u002Fgithub.com\u002FTHUDM\u002FLongCite\u002Fissues\u002F3",{"id":146,"question_zh":147,"answer_zh":148,"source_url":149},40979,"LongCite-8B 使用的 Tokenizer 与原生的 Llama 3 有什么区别？做了哪些修改？","LongCite-8B 使用的是 Meta 官方提供的 Llama3.1 tokenizer.model（而非 HuggingFace 版本），并在此基础上添加了特殊令牌（special tokens），如 \"\u003C|user|>\" 和 \"\u003C|assistant|>\"。这样做的目的是使其对话格式与 LongCite-9B 保持一致，方便实验对比。用户也可以通过修改 HuggingFace 版的 llama3 tokenizer 来添加这些令牌。","https:\u002F\u002Fgithub.com\u002FTHUDM\u002FLongCite\u002Fissues\u002F2",[]]