[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-microsoft--Samba":3,"tool-microsoft--Samba":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,2,"2026-04-05T23:32:43",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":80,"owner_email":81,"owner_twitter":82,"owner_website":83,"owner_url":84,"languages":85,"stars":94,"forks":95,"last_commit_at":96,"license":97,"difficulty_score":98,"env_os":99,"env_gpu":100,"env_ram":101,"env_deps":102,"category_tags":111,"github_topics":80,"view_count":23,"oss_zip_url":80,"oss_zip_packed_at":80,"status":16,"created_at":112,"updated_at":113,"faqs":114,"releases":145},4086,"microsoft\u002FSamba","Samba","[ICLR 2025] Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling","Samba 是一款专为高效处理无限长度上下文而设计的混合状态空间模型，其核心架构巧妙融合了 Mamba、多层感知机（MLP）与滑动窗口注意力机制。它主要解决了传统大语言模型在处理超长文本时面临的显存消耗巨大、计算复杂度呈二次方增长以及长程信息丢失等痛点。凭借线性复杂度的特性，Samba 能够在保持极低资源占用的同时，实现对海量上下文内容的完美检索与理解，即便在仅经过少量指令微调的情况下，也能在长文本摘要等任务中表现卓越。\n\n该工具特别适合人工智能研究人员、大模型开发者以及对长上下文应用有深度需求的技术团队使用。对于希望探索新型模型架构或需要在有限算力下训练高性能模型的开发者而言，Samba 提供了基于 TinyLlama 和 LitGPT 修改的成熟训练基础设施，支持从数据预处理到模型预训练的全流程复现。\n\nSamba 最独特的技术亮点在于其“极简却强大”的设计理念：通过简单的层级堆叠策略，不仅实现了比肩甚至超越同参数量级主流模型（如 Phi-3-mini）的性能，还在 MMLU、GSM8K 等权威基准测试中取得了显著优势。作为入选 ICLR 2025 的前沿成果，Samba 为构建下","Samba 是一款专为高效处理无限长度上下文而设计的混合状态空间模型，其核心架构巧妙融合了 Mamba、多层感知机（MLP）与滑动窗口注意力机制。它主要解决了传统大语言模型在处理超长文本时面临的显存消耗巨大、计算复杂度呈二次方增长以及长程信息丢失等痛点。凭借线性复杂度的特性，Samba 能够在保持极低资源占用的同时，实现对海量上下文内容的完美检索与理解，即便在仅经过少量指令微调的情况下，也能在长文本摘要等任务中表现卓越。\n\n该工具特别适合人工智能研究人员、大模型开发者以及对长上下文应用有深度需求的技术团队使用。对于希望探索新型模型架构或需要在有限算力下训练高性能模型的开发者而言，Samba 提供了基于 TinyLlama 和 LitGPT 修改的成熟训练基础设施，支持从数据预处理到模型预训练的全流程复现。\n\nSamba 最独特的技术亮点在于其“极简却强大”的设计理念：通过简单的层级堆叠策略，不仅实现了比肩甚至超越同参数量级主流模型（如 Phi-3-mini）的性能，还在 MMLU、GSM8K 等权威基准测试中取得了显著优势。作为入选 ICLR 2025 的前沿成果，Samba 为构建下一代高效、无长度限制的语言模型提供了极具价值的新范式。","\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_Samba_readme_8b2bb3624dd2.webp\" width=\"300\"\u002F>\n\u003C\u002Fdiv>\n\n\n\u003Ch1 align=\"left\"> Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling\u003C\u002Fh1>\n\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaper-2406.07522-green.svg?style=flat-square)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.07522) [![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fslides-blue.svg?style=flat-square)](https:\u002F\u002Fdocs.google.com\u002Fpresentation\u002Fd\u002F1SUGKM_sTKgb-wXSYvalWtD2O2qTKnYuMzid669GfJbU\u002Fedit#slide=id.g274b8c2f536_0_0) [![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fposter-orange.svg?style=flat-square)](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1bfK6aSH4O7G_ndIH835KfdQMCcqw8txJ\u002Fview) \n\n\nSamba is a simple yet powerful hybrid model with an **unlimited** context length. Its architecture is frustratingly simple: \n\nSamba = Mamba + MLP + Sliding Window Attention + MLP stacking at the layer level.\n\nOur largest model, `Samba-3.8B`, is trained on 3.2 trillion tokens from the Phi3 dataset, outperforming `Phi3-mini` on major benchmarks (e.g. MMLU, GSM8K and HumanEval) by a large margin. Samba can also achieve perfect **long-context** retrieval ability with minimal instruction tuning, while still maintaining its **linear complexity** with respect to sequence length. This ability leads to the impressive performance of `Samba-3.8B-instruct` on downstream tasks such as long-context summarization. \n\n\n## Performance :rocket:\n\u003Cdiv align=\"left\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_Samba_readme_ff33e7c8ed8b.jpg\" width=\"300\"\u002F>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_Samba_readme_04f438e09989.jpg\" width=\"298\"\u002F>\n\u003C\u002Fdiv>\n\n\n| Model                         | MMLU | GSM8K | HumanEval | GovReport | SQuALITY |\n|-------------------------------|------|-------|-----------|-----------|----------|\n| Phi-3-mini-4K-instruct   | 68.8 | 82.5  | 58.5      | 14.4      | **21.6**     |\n| Samba-3.8B-instruct (preview)       | **71.9** | **87.6** | **62.8**      | **18.9**      | 21.2     |\n\nWe report 5-shot accuracy for MMLU, 8-shot CoT accuracy for GSM8K, 0-shot pass@1 for HumanEval and ROUGE-L for both GovReport and SQuALITY.\n## Updates\n- [July 9] We released the [Phi-4-mini-flash-reasoning](https:\u002F\u002Fhuggingface.co\u002Fmicrosoft\u002FPhi-4-mini-flash-reasoning) model which is based on SambaY architecture. Please check the new codebase for neural scaling experiments [here](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FArchScale)!\n- [Jan. 22] Samba has been accepted to ICLR 2025!\n- [Dec. 8] Added the evaluation script and more baseline architectures.\n- [June 11] Released the codebase for training Samba-421M and Samba-1.3B on SlimPajama. \n\n\n## Code Overview\nOur training infrastructure on SlimPajama is a modified version of [TinyLlama](https:\u002F\u002Fgithub.com\u002Fjzhang38\u002FTinyLlama) and [LitGPT](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flitgpt). One can easily specify different architectual configurations through modifying the [`model_name`](pretrain.py#L30) and the [`config file`](lit_gpt\u002Fconfig.py) which includes tons of baseline architectures mentioned in the paper. Our RetNet and GLA implementations are from the awesome [Flash Linear Attention](https:\u002F\u002Fgithub.com\u002Fsustcsonglin\u002Fflash-linear-attention) repository.\n\n\n## Pretraining Samba from scratch\nPlease follow the [`Dockerfile`](Dockerfile) to setup the environment. The data preparation mainly follows TinyLlama except that we only use the SlimPajama dataset.\n\n### Data Preparation\n\nDownload the Slimpajama dataset to your chosen directory. We also provide the pre-tokenized data [here](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fjsun\u002Fslimpajama_Llama2_Tokenizer).\n```bash\ncd \u002Fpath\u002Fto\u002Fdataset\ngit lfs install\ngit clone https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fcerebras\u002FSlimPajama-627B\n```\nThe SlimPajama dataset takes 893GB diskspace. Use the provided scripts to tokenize the datasets and divide them into chunks.\n```bash\npython scripts\u002Fprepare_slimpajama.py --source_path \u002Fpath\u002Fto\u002FSlimPajama --tokenizer_path data\u002Fllama  --destination_path data\u002Fslim --split validation --percentage 1.0\npython scripts\u002Fprepare_slimpajama.py --source_path \u002Fpath\u002Fto\u002FSlimPajama --tokenizer_path data\u002Fllama  --destination_path data\u002Fslim --split train --percentage 1.0\n```\nYou are now ready to launch a job!\n\n### Training\nThe following script trains a default Samba-421M model on a single node of 8 GPUs with 20B tokens.\n```bash\ntorchrun --nnodes=1 --nproc_per_node=8 --rdzv_id=samba-421M --rdzv_backend=c10d  --rdzv_endpoint=${MASTER_ADDR}:${MASTER_PORT} pretrain.py --train_data_dir data\u002Fslim --val_data_dir data\u002Fslim \n```\nYou can modify [`model_name`](pretrain.py#L33) to \"Samba_1.3B\" and [`train_config`](pretrain.py#L34) to \"tsz512x4k_100B\" for training a Samba-1.3B model with 100B tokens. We assume that you have 8 nodes each with 8 GPUs, and you can modify the number of [`nodes`](pretrain.py#L43) for training on fewer gpus.\n\n### Evaluation\n\nWe leverage [lm-evaluation-harness](https:\u002F\u002Fgithub.com\u002FEleutherAI\u002Flm-evaluation-harness) for the evaluation of our pretrained models. We only support non-generation based tasks for now.\n```bash\npip install lm-eval\npython eval.py --model Samba \\\n          --model_args pretrained=path\u002Fto\u002Fckpt.pth,config=\"Samba_1.3B\" \\\n          --tasks lambada_openai,arc_easy,winogrande,hellaswag,piqa --device cuda:0 --batch_size 1 --trust_remote_code \n```\n\n\n\n\n## Citation\n\nIf you find our work useful, please consider citing:\n\n```bibtex\n@article{ren2024samba,\n      title={Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling}, \n      author={Liliang Ren and Yang Liu and Yadong Lu and Yelong Shen and Chen Liang and Weizhu Chen},\n      journal = {arXiv preprint},\n      year={2024},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.07522}\n}\n```\n\n## Contact\n\nLiliang Ren (liliangren@microsoft.com)\n","\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_Samba_readme_8b2bb3624dd2.webp\" width=\"300\"\u002F>\n\u003C\u002Fdiv>\n\n\n\u003Ch1 align=\"left\"> Samba：用于高效无限上下文语言建模的简单混合状态空间模型\u003C\u002Fh1>\n\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaper-2406.07522-green.svg?style=flat-square)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.07522) [![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fslides-blue.svg?style=flat-square)](https:\u002F\u002Fdocs.google.com\u002Fpresentation\u002Fd\u002F1SUGKM_sTKgb-wXSYvalWtD2O2qTKnYuMzid669GfJbU\u002Fedit#slide=id.g274b8c2f536_0_0) [![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fposter-orange.svg?style=flat-square)](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1bfK6aSH4O7G_ndIH835KfdQMCcqw8txJ\u002Fview) \n\n\nSamba 是一种简单而强大的混合模型，具有**无限**的上下文长度。它的架构极其简洁：\n\nSamba = Mamba + MLP + 滑动窗口注意力 + 层级 MLP 堆叠。\n\n我们最大的模型 `Samba-3.8B` 在 Phi3 数据集的 3.2 万亿个 token 上进行训练，在多个主流基准测试中（如 MMLU、GSM8K 和 HumanEval）大幅超越了 `Phi3-mini`。此外，Samba 只需少量指令微调即可实现完美的**长上下文**检索能力，同时保持与序列长度呈**线性关系**的计算复杂度。这一特性使得 `Samba-3.8B-instruct` 在长上下文摘要等下游任务中表现出色。\n\n\n## 性能 :rocket:\n\u003Cdiv align=\"left\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_Samba_readme_ff33e7c8ed8b.jpg\" width=\"300\"\u002F>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_Samba_readme_04f438e09989.jpg\" width=\"298\"\u002F>\n\u003C\u002Fdiv>\n\n\n| 模型                         | MMLU | GSM8K | HumanEval | GovReport | SQuALITY |\n|-------------------------------|------|-------|-----------|-----------|----------|\n| Phi-3-mini-4K-instruct   | 68.8 | 82.5  | 58.5      | 14.4      | **21.6**     |\n| Samba-3.8B-instruct (预览)       | **71.9** | **87.6** | **62.8**      | **18.9**      | 21.2     |\n\n我们在 MMLU 报告 5-shot 准确率，GSM8K 报告 8-shot CoT 准确率，HumanEval 报告 0-shot pass@1，GovReport 和 SQuALITY 则报告 ROUGE-L 分数。\n## 更新\n- [7月9日] 我们发布了基于 SambaY 架构的 [Phi-4-mini-flash-reasoning](https:\u002F\u002Fhuggingface.co\u002Fmicrosoft\u002FPhi-4-mini-flash-reasoning) 模型。请查看新的代码库中的神经规模实验 [这里](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FArchScale)!\n- [1月22日] Samba 已被 ICLR 2025 接受！\n- [12月8日] 添加了评估脚本和更多基线架构。\n- [6月11日] 发布了在 SlimPajama 数据集上训练 Samba-421M 和 Samba-1.3B 的代码库。\n\n\n## 代码概览\n我们在 SlimPajama 数据集上的训练基础设施是对 [TinyLlama](https:\u002F\u002Fgithub.com\u002Fjzhang38\u002FTinyLlama) 和 [LitGPT](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flitgpt) 的修改版本。用户可以通过修改 [`model_name`](pretrain.py#L30) 和包含论文中提到的大量基线架构的 [`config 文件`](lit_gpt\u002Fconfig.py)，轻松指定不同的架构配置。我们的 RetNet 和 GLA 实现来自优秀的 [Flash Linear Attention](https:\u002F\u002Fgithub.com\u002Fsustcsonglin\u002Fflash-linear-attention) 仓库。\n\n\n## 从头开始预训练 Samba\n请按照 [`Dockerfile`](Dockerfile) 设置环境。数据准备主要遵循 TinyLlama，但我们仅使用 SlimPajama 数据集。\n\n### 数据准备\n\n将 Slimpajama 数据集下载到您选择的目录。我们还提供了预分词的数据 [这里](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fjsun\u002Fslimpajama_Llama2_Tokenizer)。\n```bash\ncd \u002Fpath\u002Fto\u002Fdataset\ngit lfs install\ngit clone https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fcerebras\u002FSlimPajama-627B\n```\nSlimPajama 数据集需要 893GB 的磁盘空间。使用提供的脚本对数据集进行分词并分成若干块。\n```bash\npython scripts\u002Fprepare_slimpajama.py --source_path \u002Fpath\u002Fto\u002FSlimPajama --tokenizer_path data\u002Fllama  --destination_path data\u002Fslim --split validation --percentage 1.0\npython scripts\u002Fprepare_slimpajama.py --source_path \u002Fpath\u002Fto\u002FSlimPajama --tokenizer_path data\u002Fllama  --destination_path data\u002Fslim --split train --percentage 1.0\n```\n现在您已经准备好启动训练任务了！\n\n### 训练\n以下脚本在一个拥有 8 张 GPU 的单节点上训练一个默认的 Samba-421M 模型，使用 200 亿个 token。\n```bash\ntorchrun --nnodes=1 --nproc_per_node=8 --rdzv_id=samba-421M --rdzv_backend=c10d  --rdzv_endpoint=${MASTER_ADDR}:${MASTER_PORT} pretrain.py --train_data_dir data\u002Fslim --val_data_dir data\u002Fslim \n```\n您可以将 [`model_name`](pretrain.py#L33) 修改为 \"Samba_1.3B\"，并将 [`train_config`](pretrain.py#L34) 修改为 \"tsz512x4k_100B\"，以训练一个拥有 1000 亿个 token 的 Samba-1.3B 模型。我们假设您有 8 个节点，每个节点配备 8 张 GPU；您也可以修改 [`nodes`](pretrain.py#L43) 的数量来减少使用的 GPU 数量。\n\n### 评估\n\n我们利用 [lm-evaluation-harness](https:\u002F\u002Fgithub.com\u002FEleutherAI\u002Flm-evaluation-harness) 对预训练模型进行评估。目前我们仅支持非生成类任务。\n```bash\npip install lm-eval\npython eval.py --model Samba \\\n          --model_args pretrained=path\u002Fto\u002Fckpt.pth,config=\"Samba_1.3B\" \\\n          --tasks lambada_openai,arc_easy,winogrande,hellaswag,piqa --device cuda:0 --batch_size 1 --trust_remote_code \n```\n\n\n\n\n## 引用\n\n如果您觉得我们的工作有用，请考虑引用：\n\n```bibtex\n@article{ren2024samba,\n      title={Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling}, \n      author={Liliang Ren and Yang Liu and Yadong Lu and Yelong Shen and Chen Liang and Weizhu Chen},\n      journal = {arXiv preprint},\n      year={2024},\n      url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2406.07522}\n}\n```\n\n## 联系方式\n\nLiliang Ren (liliangren@microsoft.com)","# Samba 快速上手指南\n\nSamba 是一种简单而强大的混合架构模型，结合了 Mamba、MLP 和滑动窗口注意力机制，支持**无限上下文长度**且保持线性复杂度。本指南将帮助你从零开始准备环境并训练 Samba 模型。\n\n## 环境准备\n\n### 系统要求\n- **操作系统**: Linux (推荐 Ubuntu)\n- **GPU**: 支持 CUDA 的 NVIDIA GPU (训练示例需多卡环境，如 8x A100\u002FV100)\n- **磁盘空间**: 至少 1TB (SlimPajama 数据集约占用 893GB)\n- **Docker**: 推荐使用官方提供的 `Dockerfile` 构建环境\n\n### 前置依赖\n项目基于 [TinyLlama](https:\u002F\u002Fgithub.com\u002Fjzhang38\u002FTinyLlama) 和 [LitGPT](https:\u002F\u002Fgithub.com\u002FLightning-AI\u002Flitgpt) 修改而成。主要依赖包括：\n- PyTorch\n- Flash Linear Attention (用于 RetNet 和 GLA 实现)\n- lm-evaluation-harness (用于评估)\n\n建议直接通过项目根目录的 `Dockerfile` 搭建环境以确保依赖一致性：\n```bash\ndocker build -t samba-env .\n```\n\n## 安装步骤\n\n### 1. 获取代码\n克隆仓库并进入目录：\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FSamba.git\ncd Samba\n```\n\n### 2. 数据准备\nSamba 训练主要使用 **SlimPajama** 数据集。你可以下载原始数据或使用已分词的数据。\n\n**方案 A：下载原始数据并分词（推荐）**\n```bash\n# 安装 Git LFS\ngit lfs install\n\n# 下载数据集 (约 893GB)\ncd \u002Fpath\u002Fto\u002Fdataset\ngit clone https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fcerebras\u002FSlimPajama-627B\n\n# 返回项目根目录进行分词处理\n# 注意：请替换 \u002Fpath\u002Fto\u002FSlimPajama 为实际路径\npython scripts\u002Fprepare_slimpajama.py --source_path \u002Fpath\u002Fto\u002FSlimPajama --tokenizer_path data\u002Fllama  --destination_path data\u002Fslim --split validation --percentage 1.0\npython scripts\u002Fprepare_slimpajama.py --source_path \u002Fpath\u002Fto\u002FSlimPajama --tokenizer_path data\u002Fllama  --destination_path data\u002Fslim --split train --percentage 1.0\n```\n\n**方案 B：直接使用预分词数据（加速）**\n如果网络受限，可直接从 Hugging Face 下载已处理好的数据：\n```bash\ngit lfs install\ngit clone https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fjsun\u002Fslimpajama_Llama2_Tokenizer\n# 将下载的数据链接或移动到 project\u002Fdata\u002Fslim 目录\n```\n\n## 基本使用\n\n### 1. 启动训练\n以下命令将在单节点 8 卡环境下训练默认的 **Samba-421M** 模型（20B tokens）。\n\n```bash\ntorchrun --nnodes=1 --nproc_per_node=8 --rdzv_id=samba-421M --rdzv_backend=c10d  --rdzv_endpoint=${MASTER_ADDR}:${MASTER_PORT} pretrain.py --train_data_dir data\u002Fslim --val_data_dir data\u002Fslim \n```\n\n**调整模型大小：**\n若要训练 **Samba-1.3B** 模型（100B tokens），请修改 `pretrain.py` 中的配置：\n- 将 `model_name` (第 33 行) 改为 `\"Samba_1.3B\"`\n- 将 `train_config` (第 34 行) 改为 `\"tsz512x4k_100B\"`\n- 根据显卡数量调整 `nodes` (第 43 行)，默认假设 8 节点 x 8 卡。\n\n### 2. 模型评估\n使用 `lm-evaluation-harness` 对预训练模型进行评估（当前仅支持非生成式任务）。\n\n首先安装评估工具：\n```bash\npip install lm-eval\n```\n\n运行评估脚本：\n```bash\npython eval.py --model Samba \\\n          --model_args pretrained=path\u002Fto\u002Fckpt.pth,config=\"Samba_1.3B\" \\\n          --tasks lambada_openai,arc_easy,winogrande,hellaswag,piqa --device cuda:0 --batch_size 1 --trust_remote_code \n```\n*请将 `path\u002Fto\u002Fckpt.pth` 替换为你训练完成的检查点路径。*","某法律科技团队正在开发一款智能合同审查助手，需要让 AI 一次性读取并分析长达数百页的历史诉讼案卷与复杂条款，以生成精准的风险摘要。\n\n### 没有 Samba 时\n- **上下文截断严重**：传统 Transformer 模型受限于固定窗口（如 4K 或 8K），被迫丢弃大量关键历史判例细节，导致分析结论片面。\n- **推理成本高昂**：随着文档长度增加，注意力机制的计算复杂度呈平方级增长，处理长文档时显存爆满且响应极慢。\n- **信息检索迷失**：在超长文本中，模型难以精准定位分散在文档首尾的关键证据，常出现“大海捞针”失败的情况。\n- **架构调整复杂**：为了支持更长上下文，往往需要引入复杂的稀疏注意力或外部向量数据库，大幅增加了工程维护难度。\n\n### 使用 Samba 后\n- **无限上下文覆盖**：凭借 Samba 的混合状态空间架构，模型能无损处理无限长度的案卷，确保每一份历史条款都被纳入分析视野。\n- **线性效率提升**：计算复杂度随文本长度呈线性增长，即使在处理百万字级文档时，也能保持低显存占用和毫秒级响应速度。\n- **完美长程记忆**：Samba 展现出卓越的长上下文检索能力，无需繁琐的微调即可精准关联文档开头的事实描述与结尾的法律依据。\n- **架构简洁高效**：仅需简单的\"Mamba+ 滑动窗口注意力”堆叠即可替代复杂的重型架构，显著降低了训练门槛与部署成本。\n\nSamba 通过打破上下文长度与计算效率的博弈，让超长文档的实时深度分析变得既精准又轻量。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmicrosoft_Samba_ff33e7c8.jpg","microsoft","Microsoft","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fmicrosoft_4900709c.png","Open source projects and samples from Microsoft",null,"opensource@microsoft.com","OpenAtMicrosoft","https:\u002F\u002Fopensource.microsoft.com","https:\u002F\u002Fgithub.com\u002Fmicrosoft",[86,90],{"name":87,"color":88,"percentage":89},"Python","#3572A5",99.6,{"name":91,"color":92,"percentage":93},"Dockerfile","#384d54",0.4,955,49,"2026-04-02T12:15:00","MIT",4,"Linux","必需 NVIDIA GPU。训练示例显示单节点需 8 张 GPU（未指定具体型号，通常需高显存如 A100\u002FH100 以处理大模型）；评估命令指定使用 cuda:0。CUDA 版本未明确说明，但需支持 PyTorch 环境。","未说明（训练数据集 SlimPajama 需 893GB 磁盘空间，大规模训练建议高内存）",{"notes":103,"python":104,"dependencies":105},"1. 官方推荐使用 Docker 容器搭建环境（参考 Dockerfile）。2. 训练数据主要使用 SlimPajama 数据集，需预留约 893GB 磁盘空间。3. 默认训练脚本针对 8 卡节点配置，若使用更少 GPU 需修改代码中的节点数参数。4. 评估目前仅支持非生成式任务。","未说明",[106,107,108,109,110],"torch (via torchrun)","TinyLlama (modified)","LitGPT","Flash Linear Attention","lm-eval (lm-evaluation-harness)",[26,13],"2026-03-27T02:49:30.150509","2026-04-06T09:03:48.076649",[115,120,125,130,135,140],{"id":116,"question_zh":117,"answer_zh":118,"source_url":119},18622,"使用 Docker 运行时报错或遇到 transformer-engine 库相关问题怎么办？","Dockerfile 已更新，请尝试拉取最新版本。如果遇到与 transformer-engine 库相关的问题，请尝试运行命令：`sudo pip uninstall -y transformer-engine` 卸载该库。此外，关于 Triton 版本，建议尝试使用稳定版 `Triton==2.3.1`，但需注意 mamba_ssm 可能会强制重装 2.3.0 版本。","https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FSamba\u002Fissues\u002F10",{"id":121,"question_zh":122,"answer_zh":123,"source_url":124},18623,"预处理 SlimPajama 数据时 chunk_size 设置过大导致没有文件保存，应该使用什么值？","代码中默认的 `chunk_size` 设置为 2049 * 1024 确实较大。如果在处理过程中没有文件生成，可能需要根据您的具体设置调整该值。此外，项目使用的是 Llama2 tokenizer（与 TinyLlama 使用的相同）。关于 `effective_block_size` 计算中的 +1，这是为了包含“下一个词”（next word）的预测位置。","https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FSamba\u002Fissues\u002F26",{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},18624,"滑动窗口注意力机制中 RoPE（旋转位置编码）是如何应用的？是否支持长度外推？","在训练期间，RoPE 缓存是直接应用于整个序列长度（Q 和 K）的，而不是每个滑动窗口单独重置。理论上，应用 RoPE 后的注意力分数 $q\\cdot k$ 仅取决于相对位置 $(m-n)$，而该相对位置受滑动窗口大小限制且有界。因此，即使对整个序列应用 RoPE，也不会产生分布外（OOD）因子，本身就具备良好的长度外推能力，无需为每个窗口重置 RoPE 缓存。","https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FSamba\u002Fissues\u002F25",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},18625,"项目是否提供了评估脚本？如何对预训练模型进行评估？","官方暂未直接提供评估脚本，但社区用户已通过 Huggingface Transformers 适配了 Samba 模型，使其能够配合 `EleutherAI\u002Flm-evaluation-harness` 工具进行评估。您可以将模型上传至 Huggingface（如 `wydu\u002FSamba`），然后使用该工具评估 `lambada_openai`, `wikitext`, `piqa`, `arc_challenge` 等任务。官方检查点已上传至 Huggingface 供测试。","https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FSamba\u002Fissues\u002F15",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},18626,"是否有用于模型推理（Inference）的代码？","官方仓库主要关注训练代码，但社区用户提供了一个可用的推理脚本示例。您可以参考 GitHub 用户 richardburleigh 实现的推理代码：https:\u002F\u002Fgithub.com\u002Frichardburleigh\u002FSamba\u002Fblob\u002Fmain\u002Finference.py。虽然该脚本可能比较简易（hacky），但可以正常工作。","https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FSamba\u002Fissues\u002F19",{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},18627,"config.py 中的词汇表大小与论文表 9 中的数据不一致，以哪个为准？","论文中的表 9 是针对 Samba 1.7B 规模模型的配置，该模型并未在此仓库中发布。当前开源仓库仅包含 Samba 421M 和 Samba 1.3B 的训练代码库，因此请以 `config.py` 中针对这两个模型的配置为准。","https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FSamba\u002Fissues\u002F18",[]]