[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-yandex--YaLM-100B":3,"tool-yandex--YaLM-100B":64},[4,17,25,39,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,14,15],"开发框架","Agent","语言模型","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":10,"last_commit_at":23,"category_tags":24,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,15],{"id":26,"name":27,"github_repo":28,"description_zh":29,"stars":30,"difficulty_score":10,"last_commit_at":31,"category_tags":32,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[33,34,35,36,14,37,15,13,38],"图像","数据工具","视频","插件","其他","音频",{"id":40,"name":41,"github_repo":42,"description_zh":43,"stars":44,"difficulty_score":45,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[14,33,13,15,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":45,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[15,33,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":45,"last_commit_at":62,"category_tags":63,"status":16},2181,"OpenHands","OpenHands\u002FOpenHands","OpenHands 是一个专注于 AI 驱动开发的开源平台，旨在让智能体（Agent）像人类开发者一样理解、编写和调试代码。它解决了传统编程中重复性劳动多、环境配置复杂以及人机协作效率低等痛点，通过自动化流程显著提升开发速度。\n\n无论是希望提升编码效率的软件工程师、探索智能体技术的研究人员，还是需要快速原型验证的技术团队，都能从中受益。OpenHands 提供了灵活多样的使用方式：既可以通过命令行（CLI）或本地图形界面在个人电脑上轻松上手，体验类似 Devin 的流畅交互；也能利用其强大的 Python SDK 自定义智能体逻辑，甚至在云端大规模部署上千个智能体并行工作。\n\n其核心技术亮点在于模块化的软件智能体 SDK，这不仅构成了平台的引擎，还支持高度可组合的开发模式。此外，OpenHands 在 SWE-bench 基准测试中取得了 77.6% 的优异成绩，证明了其解决真实世界软件工程问题的能力。平台还具备完善的企业级功能，支持与 Slack、Jira 等工具集成，并提供细粒度的权限管理，适合从个人开发者到大型企业的各类用户场景。",70612,"2026-04-05T11:12:22",[15,14,13,36],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":80,"owner_email":81,"owner_twitter":80,"owner_website":82,"owner_url":83,"languages":84,"stars":113,"forks":114,"last_commit_at":115,"license":116,"difficulty_score":117,"env_os":118,"env_gpu":119,"env_ram":120,"env_deps":121,"category_tags":128,"github_topics":80,"view_count":10,"oss_zip_url":80,"oss_zip_packed_at":80,"status":16,"created_at":129,"updated_at":130,"faqs":131,"releases":167},3006,"yandex\u002FYaLM-100B","YaLM-100B","Pretrained language model with 100B parameters","YaLM-100B 是一款由 Yandex 开源的超大规模预训练语言模型，拥有高达 1000 亿参数。它基于 GPT 架构设计，核心能力在于理解和生成高质量的英文与俄文文本，能够胜任创意写作、代码辅助、逻辑推理及多轮对话等多种自然语言处理任务。\n\n该模型主要解决了在双语（特别是俄语）场景下，缺乏高性能、可自由商用大模型的痛点。通过整合 1.7TB 的高质量数据（包含 25% 的英文公开数据集 The Pile 和 75% 经过严格清洗的俄文网页及书籍），YaLM-100B 在跨语言理解和生成上表现卓越。其训练过程历时 65 天，动用了 800 张 A100 显卡，并采用了 DeepSpeed 框架结合 Megatron-LM 理念进行加速与稳定优化，支持张量并行推理，显著降低了部署门槛。\n\nYaLM-100B 采用 Apache 2.0 协议发布，明确允许科研与商业自由使用，非常适合全球范围内的开发者、人工智能研究人员以及需要构建双语应用的企业团队。无论是希望探索大模型前沿技术的研究者，还是寻求在俄语市场落地 AI 产品的工程师，都能利用其提供的 Docker 镜像和示例脚本，快速搭建","YaLM-100B 是一款由 Yandex 开源的超大规模预训练语言模型，拥有高达 1000 亿参数。它基于 GPT 架构设计，核心能力在于理解和生成高质量的英文与俄文文本，能够胜任创意写作、代码辅助、逻辑推理及多轮对话等多种自然语言处理任务。\n\n该模型主要解决了在双语（特别是俄语）场景下，缺乏高性能、可自由商用大模型的痛点。通过整合 1.7TB 的高质量数据（包含 25% 的英文公开数据集 The Pile 和 75% 经过严格清洗的俄文网页及书籍），YaLM-100B 在跨语言理解和生成上表现卓越。其训练过程历时 65 天，动用了 800 张 A100 显卡，并采用了 DeepSpeed 框架结合 Megatron-LM 理念进行加速与稳定优化，支持张量并行推理，显著降低了部署门槛。\n\nYaLM-100B 采用 Apache 2.0 协议发布，明确允许科研与商业自由使用，非常适合全球范围内的开发者、人工智能研究人员以及需要构建双语应用的企业团队。无论是希望探索大模型前沿技术的研究者，还是寻求在俄语市场落地 AI 产品的工程师，都能利用其提供的 Docker 镜像和示例脚本，快速搭建并集成这一强大的语言基座。","# YaLM 100B\n**YaLM 100B** is a GPT-like neural network for generating and processing text. It can be used freely by developers and researchers from all over the world.\n\nThe model leverages 100 billion parameters. It took 65 days to train the model on a cluster of 800 A100 graphics cards and 1.7 TB of online texts, books, and countless other sources in both English and Russian.\n\nTraining details and best practices on acceleration and stabilizations can be found on **[Medium](https:\u002F\u002Fmedium.com\u002Fp\u002Fd1df53d0e9a6)** (English) and **[Habr](https:\u002F\u002Fhabr.com\u002Fru\u002Fcompany\u002Fyandex\u002Fblog\u002F672396\u002F)** (Russian) articles.\n\nWe used DeepSpeed to train the model and drew inspiration from Megatron-LM example. However, the code in this repo is not the same code that was used to train the model. Rather it is stock example from DeepSpeed repo with minimal changes needed to infer our model.\n\n## Setup\n\nMake sure to have 200GB of free disk space before downloading weights. The model *(code is based on [microsoft\u002FDeepSpeedExamples\u002FMegatron-LM-v1.1.5-ZeRO3](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FDeepSpeedExamples\u002Ftree\u002F068e6561188e9192104e014f70fbe25224b5eb62\u002FMegatron-LM-v1.1.5-ZeRO3))* is supposed to run on multiple GPUs with tensor parallelism. It was tested on 4 (A100 80g) and 8 (V100 32g) GPUs, but is able to work with different configurations with ≈200GB of GPU memory in total which divide weight dimensions correctly (e.g. 16, 64, 128).\n\n### Downloading checkpoint\n\n* Run `bash download\u002Fdownload.sh` to download model weights and vocabulary.\n* By default, weights will be downloaded to `.\u002Fyalm100b_checkpoint\u002Fweights\u002F`, and vocabulary will be downloaded to `.\u002Fyalm100b_checkpoint\u002Fvocab\u002F`.\n* As another option, you can [clone our HF repo](https:\u002F\u002Fhuggingface.co\u002Fyandex\u002Fyalm-100b\u002Ftree\u002Fmain) and [pull the checkpoint](https:\u002F\u002Fhuggingface.co\u002Fyandex\u002Fyalm-100b\u002Ftree\u002Fmain\u002Fyalm100b_checkpoint).\n\n### Docker\n\n* We [published](https:\u002F\u002Fhub.docker.com\u002Fr\u002Fyandex\u002Fyalm-cuda11-ds) image on Docker Hub, it can be pulled with `docker\u002Fpull.sh`. It is compatible with A100 and V100.\n* Alternatively, you can build docker image from source using `docker\u002Fbuild.sh` (which will just build docker image from `docker\u002FDockerfile`).\n* To run container, use `docker\u002Frun.sh` *(volumes, name and other parameters can be changed)*.\n\n## Usage\n\nYou can start with the following scripts:\n* `examples\u002Fgenerate_interactive.sh`: interactive generation from command line, the simplest way to try the model.\n* `examples\u002Fgenerate_conditional_sampling.sh`: conditional generation with sampling strategy. Top-p is used by default, feel free to change temperature or use top-k. Input is jsonlines (example: `examples\u002Fexample_cond_input.json`), output will be the same jsonlines with generated text field added to each line.\n* `examples\u002Fgenerate_conditional_greedy.sh`: same as previous, but generation is greedy. Suitable for solving problems with few-shot.\n* `examples\u002Fgenerate_unconditional.sh`: unconditional generation. No input is used, output will be jsonlines.\n\n## License\n\nThe model is published under the Apache 2.0 license that permits both research and commercial use, Megatron-LM is licensed under the [Megatron-LM license](megatron_lm\u002FLICENSE).\n\n## Training details\n\n### Dataset composition\n\nDataset used for the training of YaLM-100B is comprised of the following parts (rough percentages are measured in tokens seen by the model):\n\n* **25%** [The Pile](https:\u002F\u002Fpile.eleuther.ai\u002F) — open English dataset by Eleuther AI team\n\n* **75%** Texts in Russian collected by our team (percentages  of the whole dataset are given) \n\n    * 49% Russian web pages from Yandex Search index filtered from ~100Tb to ~1Tb by the following heuristics:\n      1. LSH Deduplication — clusters of similar texts were truncated to just one text each\n      2. Length filtration — too short or too long texts or texts with too few natural sentences were discarded.\n      3. Entropy filtration — texts with too high or too low entropy were discarded\n      4. Domain filtration — domains with repetitive texts (like online retail) were discarded\n      5. Classifier filtration — dataset of good texts was collected in a manner similar to WebText from pages linked in tweets in Russian that have at least one reply. Then a classifier was trained to distinguish those good texts from random pages from the dataset. Texts from the original crawled dataset with low classifier scores were then discarded\n    \n    * 12% News from various sources from Yandex Search index\n    \n    * 10% Books from the dataset used in [Russian Distributional Thesarus](https:\u002F\u002Frusse.nlpub.org\u002Fdownloads\u002F)\n    \n    * 3% Misc texts from the [Taiga Dataset](https:\u002F\u002Ftatianashavrina.github.io\u002Ftaiga_site\u002F)\n    \n    * 1.5% Dialogues from social media preprocessed in a manner similar to how Reddit is proccessed in The Pile\n    \n    * 0.5% Russian portion of Wikipedia\n\nSome subsets were traversed up to 3 times during the training.\n\n\n### Training process\n\nModel was trained on a cluster of 800 A100 for ~65 days. In that time it consumed 300B tokens. You can see [TensorBoard](https:\u002F\u002Fhuggingface.co\u002Fyandex\u002Fyalm-100b\u002Ftensorboard) with LR and ramp up schedule, training metrics and our \"thermometers\" on the [HF page](https:\u002F\u002Fhuggingface.co\u002Fyandex\u002Fyalm-100b).\n","# YaLM 100B\n**YaLM 100B** 是一种类似 GPT 的神经网络，用于生成和处理文本。全球的开发者和研究人员都可以免费使用它。\n\n该模型拥有 1000 亿个参数。我们在由 800 张 A100 显卡组成的集群上，利用 1.7 TB 的在线文本、书籍以及大量其他英俄双语来源数据，历时 65 天完成了训练。\n\n有关训练细节以及加速和稳定性的最佳实践，请参阅 **[Medium](https:\u002F\u002Fmedium.com\u002Fp\u002Fd1df53d0e9a6)**（英文）和 **[Habr](https:\u002F\u002Fhabr.com\u002Fru\u002Fcompany\u002Fyandex\u002Fblog\u002F672396\u002F)**（俄文）上的文章。\n\n我们使用 DeepSpeed 来训练该模型，并从 Megatron-LM 示例中获得了灵感。然而，此仓库中的代码并非实际用于训练模型的代码，而是 DeepSpeed 仓库中的标准示例，仅做了少量修改以适配我们的模型进行推理。\n\n## 环境设置\n\n在下载权重之前，请确保磁盘上有 200 GB 的可用空间。该模型（代码基于 [microsoft\u002FDeepSpeedExamples\u002FMegatron-LM-v1.1.5-ZeRO3](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FDeepSpeedExamples\u002Ftree\u002F068e6561188e9192104e014f70fbe25224b5eb62\u002FMegatron-LM-v1.1.5-ZeRO3)）需要在多张 GPU 上运行，并启用张量并行。我们已在 4 张 A100 80G 和 8 张 V100 32G 显卡上进行了测试，但它也支持其他配置，只要总显存约为 200 GB，并且能够正确划分权重维度即可（例如 16、64、128）。\n\n### 下载检查点\n\n* 运行 `bash download\u002Fdownload.sh` 下载模型权重和词汇表。\n* 默认情况下，权重将被下载到 `.\u002Fyalm100b_checkpoint\u002Fweights\u002F`，词汇表则会被下载到 `.\u002Fyalm100b_checkpoint\u002Fvocab\u002F`。\n* 另一种方式是克隆我们的 Hugging Face 仓库 [yandex\u002Fyalm-100b](https:\u002F\u002Fhuggingface.co\u002Fyandex\u002Fyalm-100b\u002Ftree\u002Fmain)，然后拉取检查点 [yalm100b_checkpoint](https:\u002F\u002Fhuggingface.co\u002Fyandex\u002Fyalm-100b\u002Ftree\u002Fmain\u002Fyalm100b_checkpoint)。\n\n### Docker\n\n* 我们已在 Docker Hub 上发布了镜像 [yandex\u002Fyalm-cuda11-ds](https:\u002F\u002Fhub.docker.com\u002Fr\u002Fyandex\u002Fyalm-cuda11-ds)，可以通过 `docker\u002Fpull.sh` 拉取。该镜像兼容 A100 和 V100 显卡。\n* 或者，您也可以使用 `docker\u002Fbuild.sh` 从源码构建 Docker 镜像（这将直接基于 `docker\u002FDockerfile` 构建镜像）。\n* 要运行容器，请使用 `docker\u002Frun.sh`（可自定义卷挂载、容器名称等参数）。\n\n## 使用方法\n\n您可以从以下脚本开始：\n* `examples\u002Fgenerate_interactive.sh`：命令行交互式生成，这是尝试该模型最简单的方式。\n* `examples\u002Fgenerate_conditional_sampling.sh`：条件生成，采用采样策略。默认使用 top-p，您也可以调整温度或切换为 top-k。输入为 jsonlines 格式（示例：`examples\u002Fexample_cond_input.json`），输出同样是 jsonlines，每行会新增一个包含生成文本的字段。\n* `examples\u002Fgenerate_conditional_greedy.sh`：与上一个脚本相同，但采用贪婪策略生成。适用于少样本问题求解。\n* `examples\u002Fgenerate_unconditional.sh`：无条件生成。无需输入，输出为 jsonlines 格式。\n\n## 许可证\n\n该模型采用 Apache 2.0 许可证发布，允许用于研究和商业用途。Megatron-LM 则采用 [Megatron-LM 许可证](megatron_lm\u002FLICENSE)。\n\n## 训练细节\n\n### 数据集构成\n\n用于训练 YaLM-100B 的数据集由以下部分组成（百分比大致按模型看到的 token 数计算）：\n\n* **25%** [The Pile](https:\u002F\u002Fpile.eleuther.ai\u002F) — Eleuther AI 团队提供的开源英语数据集\n\n* **75%** 我们的团队收集的俄语文本（占整个数据集的比例）\n\n    * 49% 来自 Yandex 搜索索引的俄语网页，经过约 100 TB 到 1 TB 的筛选，筛选依据如下：\n      1. LSH 去重——将相似文本聚类后仅保留每类的一条文本。\n      2. 长度过滤——丢弃过短、过长或自然句子数量过少的文本。\n      3. 熵值过滤——丢弃熵值过高或过低的文本。\n      4. 域名过滤——排除内容重复的域名（如电商网站）。\n      5. 分类器过滤——通过类似于 WebText 的方式，从带有至少一条回复的俄语推文中提取链接页面，构建优质文本数据集。随后训练分类器区分这些优质文本与随机页面，最终丢弃原始爬取数据集中分类器得分较低的文本。\n\n    * 12% 来自 Yandex 搜索索引的各种新闻来源\n\n    * 10% 来自 [俄罗斯分布词库](https:\u002F\u002Frusse.nlpub.org\u002Fdownloads\u002F) 中使用的书籍\n\n    * 3% 其他文本来自 [Taiga 数据集](https:\u002F\u002Ftatianashavrina.github.io\u002Ftaiga_site\u002F)\n\n    * 1.5% 社交媒体对话，处理方式类似于 The Pile 中对 Reddit 的处理\n\n    * 0.5% 维基百科的俄语部分\n\n部分子集在训练过程中被遍历了多达 3 次。\n\n### 训练过程\n\n模型在由 800 张 A100 显卡组成的集群上训练了约 65 天，期间共消耗了 3000 亿个 token。您可以在 Hugging Face 页面 [yandex\u002Fyalm-100b](https:\u002F\u002Fhuggingface.co\u002Fyandex\u002Fyalm-100b) 上查看包含学习率和 ramp up schedule、训练指标以及我们自定义“温度计”的 TensorBoard。","# YaLM-100B 快速上手指南\n\nYaLM-100B 是由 Yandex 开源的类 GPT 大语言模型，拥有 1000 亿参数，支持英文和俄文文本的生成与处理。本指南帮助中国开发者快速部署并运行该模型。\n\n## 环境准备\n\n### 系统要求\n- **显存需求**：总计约 200GB GPU 显存。\n  - 推荐配置：4 张 A100 (80GB) 或 8 张 V100 (32GB)。\n  - 支持其他多卡组合，需确保总显存充足且能正确划分权重维度（如 16, 64, 128）。\n- **磁盘空间**：下载权重前请确保至少有 **200GB** 可用磁盘空间。\n- **硬件架构**：基于 DeepSpeed 和 Megatron-LM，需支持张量并行（Tensor Parallelism）的多 GPU 环境。\n\n### 前置依赖\n- NVIDIA 显卡驱动及 CUDA 环境（兼容 A100\u002FV100）。\n- Docker（推荐使用官方提供的镜像以简化环境配置）。\n- Git 和 Bash。\n\n## 安装步骤\n\n### 方案一：使用 Docker（推荐）\n这是最简便的方式，已预装所有依赖。\n\n1. **拉取官方镜像**\n   ```bash\n   docker\u002Fpull.sh\n   ```\n   *注：镜像托管于 Docker Hub (`yandex\u002Fyalm-cuda11-ds`)，国内用户若拉取缓慢，可配置 Docker 国内加速器。*\n\n2. **启动容器**\n   ```bash\n   docker\u002Frun.sh\n   ```\n   *可根据需要修改脚本中的挂载卷（volumes）、容器名称等参数。*\n\n3. **在容器内下载模型权重**\n   进入容器后，执行以下命令下载权重和词表：\n   ```bash\n   bash download\u002Fdownload.sh\n   ```\n   - 权重默认保存至：`.\u002Fyalm100b_checkpoint\u002Fweights\u002F`\n   - 词表默认保存至：`.\u002Fyalm100b_checkpoint\u002Fvocab\u002F`\n\n   *替代方案*：若 `download.sh` 速度较慢，可直接从 Hugging Face 克隆仓库获取：\n   ```bash\n   # 需先在宿主机的挂载目录中操作\n   git clone https:\u002F\u002Fhuggingface.co\u002Fyandex\u002Fyalm-100b\n   # 然后移动或链接 yalm100b_checkpoint 目录到容器内指定路径\n   ```\n\n### 方案二：源码构建 Docker 镜像\n如需自定义环境，可从源码构建：\n```bash\ndocker\u002Fbuild.sh\n```\n构建完成后，同样使用 `docker\u002Frun.sh` 启动容器并下载权重。\n\n## 基本使用\n\n模型启动后，可通过以下脚本进行文本生成。以下示例均在容器内或配置好 Python 环境的机器上运行。\n\n### 1. 交互式生成（最简单）\n直接在命令行与模型对话，适合快速测试。\n```bash\nexamples\u002Fgenerate_interactive.sh\n```\n\n### 2. 条件生成（采样策略）\n使用 Top-p 采样策略进行生成，支持温度（temperature）和 Top-k 调整。\n- **输入格式**：JSONL 文件（每行一个 JSON 对象）。\n- **输出格式**：包含生成文本字段的 JSONL 文件。\n\n```bash\nexamples\u002Fgenerate_conditional_sampling.sh\n```\n*参考输入示例：`examples\u002Fexample_cond_input.json`*\n\n### 3. 条件生成（贪婪策略）\n适用于少样本学习（Few-shot）等需要确定性输出的场景。\n```bash\nexamples\u002Fgenerate_conditional_greedy.sh\n```\n\n### 4. 无条件生成\n无需输入提示词，让模型自由生成文本。\n```bash\nexamples\u002Fgenerate_unconditional.sh\n```\n\n---\n**许可说明**：本模型采用 Apache 2.0 许可证，允许科研和商业使用。底层代码参考了 Megatron-LM（遵循其对应许可证）。","一家面向俄罗斯及独联体市场的跨境电商平台，急需升级其客服系统以自动处理海量的俄语咨询并生成地道的商品描述。\n\n### 没有 YaLM-100B 时\n- **语言理解偏差大**：通用模型对俄语复杂的语法变格和本土俚语理解不足，常将用户的售后诉求误判为普通询问，导致回复答非所问。\n- **内容生成机械生硬**：自动生成的商品介绍带有明显的“翻译腔”，缺乏俄语母语者的自然流畅感，难以激发当地消费者的购买欲望。\n- **部署成本高昂**：若要达到同等参数量级，团队需自行收集清洗 TB 级俄语语料并耗费数月训练，且缺乏针对俄语优化的现成大模型底座。\n- **响应速度受限**：由于缺乏高效的推理优化方案，在高并发场景下，旧系统的文本生成延迟过高，无法满足实时客服需求。\n\n### 使用 YaLM-100B 后\n- **精准捕捉俄语语境**：依托 75% 的专属俄语训练数据，YaLM-100B 能准确识别方言和复杂句式，将客户意图识别准确率提升至 95% 以上。\n- **产出地道营销文案**：模型生成的商品描述符合俄罗斯本土阅读习惯，语气自然生动，显著提升了页面转化率和用户停留时间。\n- **开箱即用降低门槛**：基于 Apache 2.0 协议直接下载预训练权重，配合 DeepSpeed 加速技术，团队仅需数天即可完成本地化部署与微调。\n- **高效支撑高并发**：利用其张量并行特性，在有限显卡资源下实现了低延迟推理，轻松应对大促期间的流量洪峰。\n\nYaLM-100B 凭借其对俄语生态的深度掌握，帮助企业在不重复造轮子的前提下，迅速构建起具备母语级能力的智能业务系统。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyandex_YaLM-100B_adac97f0.png","yandex","Yandex","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fyandex_9279b5e3.png","Yandex open source projects and technologies",null,"opensource-support@yandex-team.ru","https:\u002F\u002Fopensource.yandex\u002F","https:\u002F\u002Fgithub.com\u002Fyandex",[85,89,93,97,101,105,109],{"name":86,"color":87,"percentage":88},"Python","#3572A5",87.9,{"name":90,"color":91,"percentage":92},"C++","#f34b7d",7.6,{"name":94,"color":95,"percentage":96},"Shell","#89e051",3.2,{"name":98,"color":99,"percentage":100},"Cuda","#3A4E3A",0.7,{"name":102,"color":103,"percentage":104},"Dockerfile","#384d54",0.4,{"name":106,"color":107,"percentage":108},"TeX","#3D6117",0.2,{"name":110,"color":111,"percentage":112},"Makefile","#427819",0.1,3756,291,"2026-04-02T16:51:49","Apache-2.0",5,"Linux","必需。支持 NVIDIA A100 (80GB) 或 V100 (32GB)。需多卡并行（张量并行），总显存需求约 200GB。官方 Docker 镜像基于 CUDA 11。","未说明（建议系统内存充足以配合 200GB+ 显存负载）",{"notes":122,"python":123,"dependencies":124},"1. 磁盘空间：下载权重前需确保至少有 200GB 可用磁盘空间。\n2. 并行策略：模型设计用于多 GPU 张量并行环境，测试配置为 4 张 A100 或 8 张 V100，其他配置需满足总显存约 200GB 且能正确划分权重维度（如 16, 64, 128）。\n3. 部署方式：强烈建议使用提供的 Docker 镜像（兼容 A100\u002FV100）进行部署，也可从源码构建。\n4. 代码说明：仓库代码基于 DeepSpeed 示例修改，仅用于推理，与训练时的代码不完全相同。","未说明",[125,126,127],"DeepSpeed","Megatron-LM (v1.1.5-ZeRO3 架构参考)","Docker (可选但推荐)",[15],"2026-03-27T02:49:30.150509","2026-04-06T05:37:35.081713",[132,137,142,147,152,157,162],{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},13856,"如何在显存较小的 GPU（如 RTX 3070 Ti, GTX 1660）上运行或微调模型？","由于模型巨大，直接运行会导致显存不足（CUDA out of memory）。解决方案是使用 Hugging Face 的 `accelerate` 库来实现大模型卸载（Offload）。它可以利用 CPU 内存或 NVMe 磁盘来分担显存压力。相关代码参考：https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Faccelerate\u002Fblob\u002Fmain\u002Fsrc\u002Faccelerate\u002Fbig_modeling.py。注意，在单卡上使用 ZeRO Offload 可能速度较慢，但在 CPU RAM 上运行是更现实的方案。","https:\u002F\u002Fgithub.com\u002Fyandex\u002FYaLM-100B\u002Fissues\u002F22",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},13857,"如何引用 YaLM-100B 模型（BibTeX 格式）？","项目官方已添加 CITATION.cff 文件支持引用。您可以直接在 GitHub 仓库页面找到该文件，它同时支持 APA 和 BibTeX 格式。文件地址：https:\u002F\u002Fgithub.com\u002Fyandex\u002FYaLM-100B\u002Fblob\u002Fmain\u002FCITATION.cff","https:\u002F\u002Fgithub.com\u002Fyandex\u002FYaLM-100B\u002Fissues\u002F28",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},13858,"如何验证下载的模型检查点文件是否完整？","官方提供了 SHA256 校验码而非 MD5。您可以在 Hugging Face 仓库的文件详情中找到每个文件的 sha256sum。例如，layer_00-model_00-model_states.pt 的校验码为 `7ef27e8dc6131b25b00dde2dce8138275cca9f38d6e8b898576eb6b58586c8d2`。若要仅拉取包含 SHA256 信息的 Git LFS 元数据而不下载大文件，可运行命令：`GIT_LFS_SKIP_SMUDGE=1 git clone https:\u002F\u002Fhuggingface.co\u002Fyandex\u002Fyalm-100b`。","https:\u002F\u002Fgithub.com\u002Fyandex\u002FYaLM-100B\u002Fissues\u002F18",{"id":148,"question_zh":149,"answer_zh":150,"source_url":151},13859,"生成文本时出现的 [NL] token 是什么？","[NL] 是分词器中的换行符（newline token）占位符。在去分词化（detokenization）后，它代表换行。为了更清晰，项目已更新代码将其映射回标准的 `\\n`。如果您遇到此符号，可以直接将其替换为 `\\n` 以获得正常格式的文本。","https:\u002F\u002Fgithub.com\u002Fyandex\u002FYaLM-100B\u002Fissues\u002F8",{"id":153,"question_zh":154,"answer_zh":155,"source_url":156},13860,"训练数据集的详细信息（如语言比例）在哪里？","官方已在 README 文件中添加了详细的数据集描述，包括语言拆分比例等信息。请查看项目的 \"Training Details\" 部分：https:\u002F\u002Fgithub.com\u002Fyandex\u002FYaLM-100B#training-details","https:\u002F\u002Fgithub.com\u002Fyandex\u002FYaLM-100B\u002Fissues\u002F5",{"id":158,"question_zh":159,"answer_zh":160,"source_url":161},13861,"能否在较少硬件（如单张 A100 40GB 或 2x V100）上运行模型？","默认配置下需要较多显存（如 8xA100）。若要在显存较少的设备上运行，必须启用 Offload 技术将部分状态卸载到 CPU 或磁盘。可以参考 Issue #7 讨论的 ZeRO Offload 方案。用户反馈尝试调整 `HPARAM_ARGS` 参数（如 embedding-size, hidden-size 等）在 2xV100 上仍未成功，因此强烈建议结合 Hugging Face Accelerate 进行大模型卸载。","https:\u002F\u002Fgithub.com\u002Fyandex\u002FYaLM-100B\u002Fissues\u002F20",{"id":163,"question_zh":164,"answer_zh":165,"source_url":166},13862,"项目中是否使用了 LAMB 优化器配合 ZeRO CPU Offload？","官方在训练中使用了 LAMB 优化器，但配合的是 ZeRO-3 策略，而非 ZeRO CPU Offload。因此，他们能够直接使用 Apex 中的 GPU 版本 LAMB 优化器。虽然 ZeRO-3 下 LAMB 的行为略有不同，但实验表明这不影响训练质量。如果需要使用 CPU Offload，通常建议搭配 DeepSpeedCPUAdam 以获得更好性能。","https:\u002F\u002Fgithub.com\u002Fyandex\u002FYaLM-100B\u002Fissues\u002F13",[]]