[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-jiaweizzhao--GaLore":3,"tool-jiaweizzhao--GaLore":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",147882,2,"2026-04-09T11:32:47",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,"2026-04-08T11:23:26",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":75,"owner_email":77,"owner_twitter":78,"owner_website":79,"owner_url":80,"languages":81,"stars":90,"forks":91,"last_commit_at":92,"license":93,"difficulty_score":32,"env_os":94,"env_gpu":95,"env_ram":94,"env_deps":96,"category_tags":102,"github_topics":75,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":103,"updated_at":104,"faqs":105,"releases":136},5930,"jiaweizzhao\u002FGaLore","GaLore","GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection","GaLore 是一款专为大语言模型（LLM）训练设计的开源算法，旨在通过“梯度低秩投影”技术显著降低显存占用。在传统训练中，全参数微调往往需要巨大的显存资源，而常见的低秩适应方法（如 LoRA）虽能节省内存却限制了可训练参数的范围。GaLore 巧妙解决了这一矛盾：它允许模型进行全参数学习，同时比现有低秩方法更节省内存，让研究人员能在单张消费级显卡（如 24GB 显存）上训练高达 70 亿参数的模型。\n\n该工具特别适合 AI 研究人员、深度学习开发者以及受限于硬件资源的实验室团队。其核心亮点在于与优化器无关的通用性，用户仅需两行代码即可将其集成到现有的 AdamW 或 Adafactor 等优化器中，无需大幅重构训练流程。此外，GaLore 支持灵活的层级更新策略，进一步提升了显存效率。作为 ICML 2024 的口头报告论文成果，GaLore 不仅提供了高效的预训练方案，还衍生出了量化版本 Q-GaLore，持续推动着低成本大模型训练技术的发展。","# GaLore\n\nThis repo contains the pre-release version of GaLore algorithm, proposed by [GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection](https:\u002F\u002Farxiv.org\u002Fabs\u002F2403.03507).\n\nGradient Low-Rank Projection (GaLore) is a memory-efficient low-rank training strategy that allows *full-parameter* learning but is more *memory-efficient* than common low-rank adaptation methods, such as LoRA.\nAs a gradient projection method, GaLore is independent of the choice of optimizers and can be easily plugged into existing ones with only two lines of code, as shown in Algorithm 1 below.\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjiaweizzhao_GaLore_readme_30e3ae7d8996.png\" alt=\"Image 2\" style=\"width: 550px; margin: 0 auto;\">\n\u003C\u002Fdiv>\n\n## News\n\n\n- **2024-09-01**: We are working on GaLore 2, which is a more efficient and accessible version of GaLore. Please stay tuned!\n- **2024-07-11**: We release Q-GaLore: Quantized GaLore with INT4 Projection. [[paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2407.08296)] [[code](https:\u002F\u002Fgithub.com\u002FVITA-Group\u002FQ-GaLore)]\n\n- **2024-07-01**: GaLore is accepted to ICML 2024 as Oral! \n\n- **2024-04-20**: Please join our Slack workspace [GaLore-Social](https:\u002F\u002Fjoin.slack.com\u002Ft\u002Fgalore-social\u002Fshared_invite\u002Fzt-2ev152px0-DguuQ5WRTLQjtq2C88HBvQ) to discuss with us and the community.\n\n## Installation\n\n### Install GaLore optimizer\nInstall from pip:\n```bash \npip install galore-torch\n```\n\nor if you want to install from source:\n\n```bash\ngit clone git@github.com:jiaweizzhao\u002FGaLore.git\ncd GaLore\npip install -e .\n```\n\n### Install experiment dependencies\n\n```bash\npip install -r exp_requirements.txt\n```\n\nOur experiment scripts are tested on Python 3.8 with PyTorch 2.1.\n\n## Usage\n\n### Save optimizer memory using GaLore optimizers\n\n```python\nfrom galore_torch import GaLoreAdamW, GaLoreAdamW8bit, GaLoreAdafactor\n# define param groups as galore_params and non_galore_params\nparam_groups = [{'params': non_galore_params}, \n                {'params': galore_params, 'rank': 128, 'update_proj_gap': 200, 'scale': 0.25, 'proj_type': 'std'}]\noptimizer = GaLoreAdamW(param_groups, lr=0.01)\n```\n### Save weight gradient memory using per-layer weight updates\n\nWe use `register_post_accumulate_grad_hook` provided by [PyTorch](https:\u002F\u002Fpytorch.org\u002Ftutorials\u002Fintermediate\u002Foptimizer_step_in_backward_tutorial.html) (`torch>=2.1.0`) to enable per-layer weight updates. An example is shown below:\n\n```python\n# define an optimizer for each parameter p, and store them in optimizer_dict\nfor p in model.parameters():\n    if p.requires_grad:\n        optimizer_dict[p] = GaLoreAdamW([{'params': p, 'rank': 128, 'update_proj_gap': 200, 'scale': 0.25, 'proj_type': 'std'}], lr=0.01)\n\n# define a hook function to update the parameter p during the backward pass\ndef optimizer_hook(p):\n    if p.grad is None: \n        return\n    optimizer_dict[p].step()\n    optimizer_dict[p].zero_grad()\n\n# Register the hook onto every parameter\nfor p in model.parameters():\n    if p.requires_grad:\n        p.register_post_accumulate_grad_hook(optimizer_hook)\n```\nMore details can be found in [torchrun_main.py](https:\u002F\u002Fgithub.com\u002Fjiaweizzhao\u002FGaLore\u002Fblob\u002Fa6bc1650984b1c090a4e108d7c0e3109ee7ad844\u002Ftorchrun_main.py#L334).\n\n## Benchmark 1: Pre-Training LLaMA on C4 dataset\n`torchrun_main.py` is the main script for training LLaMA models on C4 with GaLore. Our benchmark scripts for various sizes of models are in `scripts\u002Fbenchmark_c4` folder.\nFor example, to train a 60m model on C4, do the following:\n\n```bash\n# LLaMA-60M, GaLore-Adam, 1 A100, 1 Node\ntorchrun --standalone --nproc_per_node 1 torchrun_main.py \\\n    --model_config configs\u002Fllama_60m.json \\\n    --lr 0.01 \\\n    --galore_scale 0.25 \\\n    --rank 128 \\\n    --update_proj_gap 200 \\\n    --batch_size 256 \\\n    --total_batch_size 512 \\\n    --num_training_steps 10000 \\\n    --warmup_steps 1000 \\\n    --weight_decay 0 \\\n    --dtype bfloat16 \\\n    --eval_every 1000 \\\n    --optimizer galore_adamw \n```\n\n### Train 7B model with a single GPU with 24GB memory\nTo train a 7B model with a single GPU such as NVIDIA RTX 4090, all you need to do is to specify `--optimizer=galore_adamw8bit_per_layer`, which enables `GaLoreAdamW8bit` with per-layer weight updates.\nWith activation checkpointing, you can maintain a batch size of 16 tested on NVIDIA RTX 4090.\n\n```bash\n# LLaMA-7B, 8-bit GaLore-Adam, single GPU, activation checkpointing\n# bsz=16, 22.8G, \ntorchrun --standalone --nproc_per_node 1 torchrun_main.py \\\n    --model_config configs\u002Fllama_7b.json \\\n    --lr 0.005 \\\n    --galore_scale 0.25 \\\n    --rank 1024 \\\n    --update_proj_gap 500 \\\n    --batch_size 16 \\\n    --total_batch_size 512 \\\n    --activation_checkpointing \\\n    --num_training_steps 150000 \\\n    --warmup_steps 15000 \\\n    --weight_decay 0 \\\n    --grad_clipping 1.0 \\\n    --dtype bfloat16 \\\n    --eval_every 1000 \\\n    --single_gpu \\\n    --optimizer galore_adamw8bit_per_layer\n```\n\nCurrently per-layer weight updates technique is only supported for single GPU training (`--single_gpu`) without using `nn.parallel.DistributedDataParallel`. We are working on supporting multi-GPU training with per-layer weight updates.\n\n## Benchmark 2: Fine-Tuning RoBERTa on GLUE tasks\n`run_glue.py` is the main script for fine-tuning RoBERTa models on GLUE tasks with GaLore. An example script is shown below:\n\n```bash\npython run_glue.py \\\n    --model_name_or_path roberta-base \\\n    --task_name mrpc \\\n    --enable_galore \\\n    --lora_all_modules \\\n    --max_length 512 \\\n    --seed=1234 \\\n    --lora_r 4 \\\n    --galore_scale 4 \\\n    --per_device_train_batch_size 16 \\\n    --update_proj_gap 500 \\\n    --learning_rate 3e-5 \\\n    --num_train_epochs 30 \\\n    --output_dir results\u002Fft\u002Froberta_base\u002Fmrpc\n```\n\n## Citation\n```bibtex\n@misc{zhao2024galore,\n      title={GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection}, \n      author={Jiawei Zhao and Zhenyu Zhang and Beidi Chen and Zhangyang Wang and Anima Anandkumar and Yuandong Tian},\n      year={2024},\n      eprint={2403.03507},\n      archivePrefix={arXiv},\n      primaryClass={cs.LG}\n}\n```","# GaLore\n\n此仓库包含由 [GaLore: 通过梯度低秩投影实现高效内存的大型语言模型训练](https:\u002F\u002Farxiv.org\u002Fabs\u002F2403.03507) 提出的 GaLore 算法预发布版本。\n\n梯度低秩投影（GaLore）是一种高效的低秩训练策略，它支持*全参数*学习，同时比常见的低秩微调方法（如 LoRA）更加*节省显存*。作为一种梯度投影方法，GaLore 不依赖于优化器的选择，只需两行代码即可轻松集成到现有优化器中，具体如下面的算法 1 所示。\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjiaweizzhao_GaLore_readme_30e3ae7d8996.png\" alt=\"Image 2\" style=\"width: 550px; margin: 0 auto;\">\n\u003C\u002Fdiv>\n\n## 最新动态\n\n\n- **2024-09-01**: 我们正在开发 GaLore 2，这是一个更高效、更易用的 GaLore 版本。敬请期待！\n- **2024-07-11**: 我们发布了 Q-GaLore：采用 INT4 投影的量化 GaLore。[[论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2407.08296)] [[代码](https:\u002F\u002Fgithub.com\u002FVITA-Group\u002FQ-GaLore)]\n\n- **2024-07-01**: GaLore 已被 ICML 2024 接受为口头报告！\n\n- **2024-04-20**: 欢迎加入我们的 Slack 工作区 [GaLore-Social](https:\u002F\u002Fjoin.slack.com\u002Ft\u002Fgalore-social\u002Fshared_invite\u002Fzt-2ev152px0-DguuQ5WRTLQjtq2C88HBvQ)，与我们及社区成员一起交流讨论。\n\n## 安装\n\n### 安装 GaLore 优化器\n通过 pip 安装：\n```bash \npip install galore-torch\n```\n\n或者从源码安装：\n\n```bash\ngit clone git@github.com:jiaweizzhao\u002FGaLore.git\ncd GaLore\npip install -e .\n```\n\n### 安装实验依赖\n```bash\npip install -r exp_requirements.txt\n```\n\n我们的实验脚本已在 Python 3.8 和 PyTorch 2.1 环境下测试通过。\n\n## 使用方法\n\n### 使用 GaLore 优化器节省优化器内存\n\n```python\nfrom galore_torch import GaLoreAdamW, GaLoreAdamW8bit, GaLoreAdafactor\n# 定义参数组 galore_params 和 non_galore_params\nparam_groups = [{'params': non_galore_params}, \n                {'params': galore_params, 'rank': 128, 'update_proj_gap': 200, 'scale': 0.25, 'proj_type': 'std'}]\noptimizer = GaLoreAdamW(param_groups, lr=0.01)\n```\n### 使用逐层权重更新节省权重梯度内存\n\n我们使用 [PyTorch](https:\u002F\u002Fpytorch.org\u002Ftutorials\u002Fintermediate\u002Foptimizer_step_in_backward_tutorial.html)（`torch>=2.1.0`）提供的 `register_post_accumulate_grad_hook` 来启用逐层权重更新。示例如下：\n\n```python\n# 为每个参数 p 定义一个优化器，并存储在 optimizer_dict 中\nfor p in model.parameters():\n    if p.requires_grad:\n        optimizer_dict[p] = GaLoreAdamW([{'params': p, 'rank': 128, 'update_proj_gap': 200, 'scale': 0.25, 'proj_type': 'std'}], lr=0.01)\n\n# 定义一个钩子函数，在反向传播过程中更新参数 p\ndef optimizer_hook(p):\n    if p.grad is None: \n        return\n    optimizer_dict[p].step()\n    optimizer_dict[p].zero_grad()\n\n# 将钩子注册到每一个参数上\nfor p in model.parameters():\n    if p.requires_grad:\n        p.register_post_accumulate_grad_hook(optimizer_hook)\n```\n更多细节请参阅 [torchrun_main.py](https:\u002F\u002Fgithub.com\u002Fjiaweizzhao\u002FGaLore\u002Fblob\u002Fa6bc1650984b1c090a4e108d7c0e3109ee7ad844\u002Ftorchrun_main.py#L334)。\n\n## 基准测试 1：在 C4 数据集上预训练 LLaMA 模型\n`torchrun_main.py` 是使用 GaLore 在 C4 数据集上训练 LLaMA 模型的主要脚本。我们针对不同规模模型的基准测试脚本位于 `scripts\u002Fbenchmark_c4` 文件夹中。\n例如，要训练一个 6000 万参数的模型在 C4 数据集上，可以执行以下命令：\n\n```bash\n# LLaMA-60M，GaLore-Adam，1 张 A100 显卡，1 个节点\ntorchrun --standalone --nproc_per_node 1 torchrun_main.py \\\n    --model_config configs\u002Fllama_60m.json \\\n    --lr 0.01 \\\n    --galore_scale 0.25 \\\n    --rank 128 \\\n    --update_proj_gap 200 \\\n    --batch_size 256 \\\n    --total_batch_size 512 \\\n    --num_training_steps 10000 \\\n    --warmup_steps 1000 \\\n    --weight_decay 0 \\\n    --dtype bfloat16 \\\n    --eval_every 1000 \\\n    --optimizer galore_adamw \n```\n\n### 使用单张 24GB 显存的 GPU 训练 70 亿参数模型\n要使用单张 NVIDIA RTX 4090 等显卡训练 70 亿参数的模型，只需指定 `--optimizer=galore_adamw8bit_per_layer`，即可启用带有逐层权重更新的 `GaLoreAdamW8bit`。\n配合激活检查点技术，您可以在 NVIDIA RTX 4090 上保持 16 的批量大小进行训练。\n\n```bash\n# LLaMA-7B，8 位 GaLore-Adam，单 GPU，激活检查点\n# bsz=16，22.8G，\ntorchrun --standalone --nproc_per_node 1 torchrun_main.py \\\n    --model_config configs\u002Fllama_7b.json \\\n    --lr 0.005 \\\n    --galore_scale 0.25 \\\n    --rank 1024 \\\n    --update_proj_gap 500 \\\n    --batch_size 16 \\\n    --total_batch_size 512 \\\n    --activation_checkpointing \\\n    --num_training_steps 150000 \\\n    --warmup_steps 15000 \\\n    --weight_decay 0 \\\n    --grad_clipping 1.0 \\\n    --dtype bfloat16 \\\n    --eval_every 1000 \\\n    --single_gpu \\\n    --optimizer galore_adamw8bit_per_layer\n```\n\n目前，逐层权重更新技术仅支持单 GPU 训练（`--single_gpu`），不适用于 `nn.parallel.DistributedDataParallel`。我们正在努力实现多 GPU 训练时的逐层权重更新功能。\n\n## 基准测试 2：在 GLUE 任务上微调 RoBERTa 模型\n`run_glue.py` 是使用 GaLore 在 GLUE 任务上微调 RoBERTa 模型的主要脚本。示例脚本如下：\n\n```bash\npython run_glue.py \\\n    --model_name_or_path roberta-base \\\n    --task_name mrpc \\\n    --enable_galore \\\n    --lora_all_modules \\\n    --max_length 512 \\\n    --seed=1234 \\\n    --lora_r 4 \\\n    --galore_scale 4 \\\n    --per_device_train_batch_size 16 \\\n    --update_proj_gap 500 \\\n    --learning_rate 3e-5 \\\n    --num_train_epochs 30 \\\n    --output_dir results\u002Fft\u002Froberta_base\u002Fmrpc\n```\n\n## 引用\n```bibtex\n@misc{zhao2024galore,\n      title={GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection}, \n      author={Jiawei Zhao and Zhenyu Zhang and Beidi Chen and Zhangyang Wang and Anima Anandkumar and Yuandong Tian},\n      year={2024},\n      eprint={2403.03507},\n      archivePrefix={arXiv},\n      primaryClass={cs.LG}\n}\n```","# GaLore 快速上手指南\n\nGaLore (Gradient Low-Rank Projection) 是一种内存高效的低秩训练策略。它支持**全参数学习**，但比 LoRA 等常见低秩适配方法更节省显存。作为梯度投影方法，GaLore 独立于优化器选择，仅需少量代码即可集成到现有训练中。\n\n## 环境准备\n\n*   **操作系统**: Linux \u002F macOS\n*   **Python 版本**: 推荐 Python 3.8+\n*   **PyTorch 版本**: 推荐 PyTorch 2.1+ (使用逐层权重更新功能必须 >= 2.1.0)\n*   **硬件要求**: \n    *   基础训练：任意支持 CUDA 的 GPU\n    *   单卡训练 7B 模型：推荐 24GB 显存 (如 RTX 4090)，需配合激活重计算 (Activation Checkpointing)\n\n## 安装步骤\n\n### 方式一：通过 pip 安装（推荐）\n\n```bash\npip install galore-torch\n```\n\n> **国内加速建议**：如果下载缓慢，可使用清华或阿里镜像源：\n> ```bash\n> pip install galore-torch -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n> ```\n\n### 方式二：从源码安装\n\n```bash\ngit clone git@github.com:jiaweizzhao\u002FGaLore.git\ncd GaLore\npip install -e .\n```\n\n### 安装实验依赖（可选）\n\n如果您需要运行官方提供的基准测试脚本，请安装额外依赖：\n\n```bash\npip install -r exp_requirements.txt\n```\n\n## 基本使用\n\n### 1. 基础用法：替换优化器\n\n最简单的使用方式是将原有的优化器（如 AdamW）替换为 `GaLoreAdamW`。您需要将参数分为两组：普通参数和需要应用 GaLore 的参数。\n\n```python\nfrom galore_torch import GaLoreAdamW, GaLoreAdamW8bit, GaLoreAdafactor\n\n# 定义参数组：non_galore_params 为普通参数，galore_params 为应用低秩投影的参数\nparam_groups = [\n    {'params': non_galore_params}, \n    {'params': galore_params, 'rank': 128, 'update_proj_gap': 200, 'scale': 0.25, 'proj_type': 'std'}\n]\n\n# 初始化 GaLore 优化器\noptimizer = GaLoreAdamW(param_groups, lr=0.01)\n```\n\n**关键参数说明：**\n*   `rank`: 低秩投影的秩（例如 128）。\n*   `update_proj_gap`: 更新投影矩阵的步数间隔（例如 200）。\n*   `scale`: 缩放因子（例如 0.25）。\n*   `proj_type`: 投影类型（通常为 'std'）。\n\n### 2. 进阶用法：逐层权重更新（极致省显存）\n\n为了进一步节省显存（例如在单张 24GB 显卡上训练 7B 模型），可以使用 PyTorch 的钩子机制实现**逐层权重更新**。这需要 PyTorch >= 2.1.0。\n\n```python\n# 1. 为每个需要梯度的参数单独创建优化器\noptimizer_dict = {}\nfor p in model.parameters():\n    if p.requires_grad:\n        optimizer_dict[p] = GaLoreAdamW(\n            [{'params': p, 'rank': 128, 'update_proj_gap': 200, 'scale': 0.25, 'proj_type': 'std'}], \n            lr=0.01\n        )\n\n# 2. 定义反向传播时的钩子函数\ndef optimizer_hook(p):\n    if p.grad is None: \n        return\n    optimizer_dict[p].step()\n    optimizer_dict[p].zero_grad()\n\n# 3. 将钩子注册到每个参数上\nfor p in model.parameters():\n    if p.requires_grad:\n        p.register_post_accumulate_grad_hook(optimizer_hook)\n```\n\n**注意**：使用此模式时，通常不需要再调用全局的 `optimizer.step()`，因为更新已在反向传播过程中通过钩子完成。目前该技巧主要支持单卡训练模式。","某初创 AI 团队希望在单张消费级显卡（24GB 显存）上从头预训练一个 7B 参数量的语言模型，以验证其垂直领域数据的价值。\n\n### 没有 GaLore 时\n- **硬件门槛极高**：传统全参数训练需要多卡并行或 A100\u002FH100 等专业数据中心显卡，单卡 24GB 显存瞬间溢出，无法启动训练。\n- **适配方案局限**：若改用 LoRA 等低秩适配方法，虽能跑通但只能更新少量参数，导致模型在复杂任务上的泛化能力和知识吸收率大幅下降。\n- **代码改造繁琐**：尝试手动实现梯度压缩或混合精度优化往往需要深入修改底层训练循环，开发周期长且极易引入难以排查的 Bug。\n- **迭代成本高昂**：因无法本地调试，团队必须租赁昂贵的云端算力集群，每次实验调整都伴随着巨大的金钱和时间消耗。\n\n### 使用 GaLore 后\n- **单卡运行大模型**：借助梯度低秩投影技术，GaLore 将优化器状态内存占用降低数倍，成功在单张 24GB 显卡上实现了 7B 模型的全参数预训练。\n- **保持全参数优势**：不同于冻结大部分权重的适配器方法，GaLore 支持更新所有模型参数，确保了模型在特定领域数据上的完整学习能力。\n- **集成极简高效**：只需替换优化器导入语句并配置两行参数（如 `rank` 和 `update_proj_gap`），即可无缝接入现有的 PyTorch 训练流程，无需重构代码。\n- **研发敏捷降本**：研究人员可直接在本地工作站进行大规模实验验证，大幅减少了对外部云算力的依赖，将试错成本降低了 90% 以上。\n\nGaLore 通过创新的梯度投影算法，打破了显存墙对全参数大模型训练的限制，让普通开发者也能用消费级硬件探索模型前沿。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjiaweizzhao_GaLore_ec22cfe7.png","jiaweizzhao","Jiawei Zhao","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fjiaweizzhao_68640ad0.jpg",null,"Meta","jiawei@caltech.edu","jiawzhao","jiaweizhao.com","https:\u002F\u002Fgithub.com\u002Fjiaweizzhao",[82,86],{"name":83,"color":84,"percentage":85},"Python","#3572A5",97.7,{"name":87,"color":88,"percentage":89},"Shell","#89e051",2.3,1682,167,"2026-04-08T18:05:55","Apache-2.0","未说明","需要 NVIDIA GPU。基准测试中使用了 A100 和 RTX 4090 (24GB)。训练 7B 模型单卡需 24GB 显存（配合激活检查点和 8bit 优化器）；训练较小模型（如 60M）可在单张 A100 上运行。",{"notes":97,"python":98,"dependencies":99},"1. 核心功能依赖 PyTorch 2.1+ 以支持 'register_post_accumulate_grad_hook' 实现逐层权重更新。\n2. 提供多种优化器变体，包括 GaLoreAdamW, GaLoreAdamW8bit (8 位量化), GaLoreAdafactor。\n3. 目前逐层权重更新技术仅支持单 GPU 训练 (--single_gpu)，暂不支持结合 nn.parallel.DistributedDataParallel 的多 GPU 训练。\n4. 可通过 pip 直接安装 'galore-torch' 或从源码安装。","3.8",[100,101],"torch>=2.1","galore-torch",[35,14],"2026-03-27T02:49:30.150509","2026-04-09T23:50:20.293092",[106,111,116,121,126,131],{"id":107,"question_zh":108,"answer_zh":109,"source_url":110},26917,"如何为其他模型（如 Llama2、Mistral）配置 optim_target_modules 参数？","optim_target_modules 参数源自 Hugging Face 实现，只需包含模块名称。如果您不知道线性层的具体名称，可以使用以下代码自动提取：\n\noptim_target_modules = []\nfor module_name, module in model.named_modules():\n    if isinstance(module, nn.Linear):\n        optim_target_modules.append(module_name)\n\n注意：上述方法会将 lm_head 也包含在内，这与仅使用 ['attn', 'mlp'] 不同。您可以根据需要添加额外的过滤条件。通常 'attn' 代表自注意力块，'mlp' 代表 MLP 块，全量微调时选择这两者可以更新梯度最大的部分。","https:\u002F\u002Fgithub.com\u002Fjiaweizzhao\u002FGaLore\u002Fissues\u002F27",{"id":112,"question_zh":113,"answer_zh":114,"source_url":115},26918,"无法复现论文中 GLUE 任务的微调结果怎么办？","结果差异可能由随机种子选择或数据类型（dtype）引起。论文中的结果是多次运行后的平均得分。请确认您使用的数据类型是否为 float（而非 half 或 bfloat16，后者可能导致性能下降或不收敛）。此外，官方后续将发布具体的微调脚本以帮助用户复现结果。建议检查随机种子设置（示例脚本默认可能未固定为 1234），并关注官方发布的脚本更新。","https:\u002F\u002Fgithub.com\u002Fjiaweizzhao\u002FGaLore\u002Fissues\u002F25",{"id":117,"question_zh":118,"answer_zh":119,"source_url":120},26919,"遇到 \"linalg.svd: The algorithm failed to converge\" 错误如何解决？","该错误通常发生在大型层（如初始嵌入层）进行 SVD 分解时，原因可能是输入矩阵病态或存在过多重复奇异值。解决方案包括：\n1. 确保仅对线性层（linear layers）应用 GaLore，避免在嵌入层等非目标层上使用。\n2. 检查是否因 fp16 梯度重缩放导致第一步出现 NaN 梯度，尝试调整精度设置或梯度裁剪。\n3. 确认 full_matrices 参数已设置为 false。如果问题依旧，建议限制优化器仅作用于 attn 和 mlp 模块。","https:\u002F\u002Fgithub.com\u002Fjiaweizzhao\u002FGaLore\u002Fissues\u002F26",{"id":122,"question_zh":123,"answer_zh":124,"source_url":125},26920,"GaLore 优化器可以与 LoRA 适配器结合使用吗？","是的，GaLore 优化器原则上可以与 LoRA 结合使用。GaLore 适用于几乎所有模型架构。在使用时，'attn' 和 'mlp' 分别指示自注意力块和 MLP 块。由于 MLP 块参数量较大而注意力块参数量较小，全量微调时建议同时选择 'attn' 和 'mlp' 以获得充足的梯度更新；如果担心过拟合，也可以仅选择其中之一进行优化。具体组合需根据您的显存资源和实验效果调整。","https:\u002F\u002Fgithub.com\u002Fjiaweizzhao\u002FGaLore\u002Fissues\u002F9",{"id":127,"question_zh":128,"answer_zh":129,"source_url":130},26921,"保存模型时报错 \"pad_token_id should be positive but got -1\" 如何处理？","该错误表明模型的 pad_token_id 被设置为 -1，这在批量生成时会引发问题。解决方法是在保存模型前显式设置 pad_token_id。例如：\n\nmodel.generation_config.pad_token_id = tokenizer.pad_token_id\n\n或者在初始化配置时指定有效的 pad_token_id。确保输入数据 input_ids 中不包含负数值，以避免生成过程中的错误。","https:\u002F\u002Fgithub.com\u002Fjiaweizzhao\u002FGaLore\u002Fissues\u002F63",{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},26922,"增加序列长度导致显存溢出（OOM）怎么办？","显存消耗随序列长度增加而显著上升是正常现象。即使使用较小的模型，较长的序列（如 8192）也可能导致 24G 显存不足。建议采取以下措施：\n1. 减小序列长度（例如限制在 512 或 1024）。\n2. 使用梯度累积（gradient accumulation）来模拟大批次训练而不增加单步显存占用。\n3. 启用 DeepSpeed ZeRO 或其他显存优化技术。\n4. 仅对关键模块（如 attn 和 mlp）应用 GaLore，减少优化器状态占用的显存。","https:\u002F\u002Fgithub.com\u002Fjiaweizzhao\u002FGaLore\u002Fissues\u002F49",[]]