[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-lyhue1991--torchkeras":3,"tool-lyhue1991--torchkeras":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",150720,2,"2026-04-11T11:33:10",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":78,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":91,"forks":92,"last_commit_at":93,"license":94,"difficulty_score":95,"env_os":96,"env_gpu":97,"env_ram":96,"env_deps":98,"category_tags":108,"github_topics":79,"view_count":32,"oss_zip_url":79,"oss_zip_packed_at":79,"status":17,"created_at":109,"updated_at":110,"faqs":111,"releases":152},6686,"lyhue1991\u002Ftorchkeras","torchkeras","Pytorch❤️  Keras 😋😋","torchkeras 是一款专为 PyTorch 打造的通用模型训练模板工具，旨在让深度学习训练过程像 Keras 一样简洁优雅。它主要解决了 PyTorch 生态中训练代码风格各异、结构复杂且难以修改的痛点。面对不同模型库中嵌套深、私有变量多且互不兼容的训练逻辑，开发者往往需要花费大量精力重写循环，而 torchkeras 通过统一的 `compile`、`fit`、`evaluate` 接口，让用户无需编写繁琐的训练循环，仅需几行代码即可启动训练。\n\n该工具非常适合希望快速复现模型的研究人员、需要灵活调整训练逻辑的算法工程师，以及被复杂训练代码困扰的深度学习开发者。其核心亮点在于“好看、好用、好改”：不仅内置了美观的动态可视化图表和进度条，支持 TensorBoard 与 WandB 回调，还集成了早停（Early Stopping）、多 GPU 分布式训练及混合精度训练等高级功能。更难得的是，其核心代码仅约 200 行，高度模块化，既保证了功能的强大，又极大地降低了二次开发的门槛，让用户能轻松定制属于自己的训练流程。","# 炼丹师，这是你的梦中情炉吗?🌹🌹\n\n\n[English](README_en.md) | 简体中文\n\n\ntorchkeras 是一个通用的pytorch模型训练模版工具，按照如下目标进行设计和实现：\n\n* **好看** (代码优雅，日志美丽，自带可视化)\n\n* **好用** (使用方便，支持 进度条、评估指标、early-stopping等常用功能，支持tensorboard，wandb回调函数等扩展功能)\n\n* **好改** (修改简单，核心代码模块化，仅约200行，并提供丰富的修改使用案例)\n\n\n\n```python\n\n```\n\n## 1，炼丹之痛 😭😭\n\n\n无论是学术研究还是工业落地，pytorch几乎都是目前炼丹的首选框架。\n\npytorch的胜出不仅在于其简洁一致的api设计，更在于其生态中丰富和强大的模型库。\n\n但是我们会发现不同的pytorch模型库提供的训练和验证代码非常不一样。\n\ntorchvision官方提供的范例代码主要是一个关联了非常多依赖函数的train_one_epoch和evaluate函数，针对检测和分割各有一套。\n\nyolo系列的主要是支持ddp模式的各种风格迥异的Trainer，每个不同的yolo版本都会改动很多导致不同yolo版本之间都难以通用。\n\n抱抱脸的transformers库在借鉴了pytorch_lightning的基础上也搞了一个自己的Trainer，但与pytorch_lightning并不兼容。\n\n非常有名的facebook的目标检测库detectron2, 也是搞了一个它自己的Trainer，配合一个全局的cfg参数设置对象来训练模型。\n\n还有我用的比较多的语义分割的segmentation_models.pytorch这个库，设计了一个TrainEpoch和一个ValidEpoch来做训练和验证。\n\n在学习和使用这些不同的pytorch模型库时，尝试阅读理解和改动这些训练和验证相关的代码让我受到了一万点伤害。\n\n有些设计非常糟糕，嵌套了十几层，有些实现非常dirty，各种带下划线的私有变量满天飞。\n\n让你每次想要改动一下加入一些自己想要的功能时就感到望而却步。\n\n我不就想finetune一下模型嘛，何必拿这么多垃圾代码搞我？\n\n\n```python\n\n```\n\n## 2，梦中情炉 🤗🤗\n\n这一切的苦不由得让我怀念起tensorflow中keras的美好了。\n\n还记得keras那compile, fit, evalute三连击吗？一切都像行云流水般自然，真正的for humans。\n\n而且你看任何用keras实现的模型库，训练和验证都几乎可以用这一套相同的接口，没有那么多莫名奇妙的野生Trainer。\n\n我能否基于pytorch打造一个接口和keras一样简洁易用，功能强大，但是实现代码非常简短易懂，便于修改的模型训练工具呢？\n\n从2020年7月左右发布1.0版本到最近发布的3.86版本，我陆陆续续在工作中一边使用一边打磨一个工具，总共提交修改了70多次。\n\n现在我感觉我细心雕琢的这个作品终于长成了我心目中接近完美的样子。\n\n\n**她有一个美丽的名字：torchkeras.**\n \n**是的，她兼具torch的灵动，也有keras的优雅~**\n\n**并且她的美丽，无与伦比~**\n\n**她，就是我的梦中情炉~ 🤗🤗**\n\n\n![](.\u002Fdata\u002Ftorchkeras.png)\n\n\n```python\n\n```\n\n\n## 3，使用方法 🍊🍊\n\n\n安装torchkeras\n```\npip install torchkeras\n```\n\n通过使用torchkeras，你不需要写自己的pytorch模型训练循环。你只要做这样两步就可以了。\n\n(1) 创建你的模型结构net,然后把它和损失函数传入torchkeras.KerasModel构建一个model。\n\n(2) 使用model的fit方法在你的训练数据和验证数据上进行训练，训练数据和验证数据需要封装成两个DataLoader.\n\n\n\n核心使用代码就像下面这样：\n\n```python\nimport torch \nimport torchkeras\nimport torchmetrics\nmodel = torchkeras.KerasModel(net,\n                              loss_fn = nn.BCEWithLogitsLoss(),\n                              optimizer= torch.optim.Adam(net.parameters(),lr = 1e-4),\n                              metrics_dict = {\"acc\":torchmetrics.Accuracy(task='binary')}\n                             )\ndfhistory=model.fit(train_data=dl_train, \n                    val_data=dl_val, \n                    epochs=20, \n                    patience=3, \n                    ckpt_path='checkpoint',\n                    monitor=\"val_acc\",\n                    mode=\"max\",\n                    plot=True\n                   )\n\n```\n\n在jupyter notebook中执行训练代码，你将看到类似下面的动态可视化图像和训练日志进度条。\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Flyhue1991_torchkeras_readme_60147ac91d54.gif)\n\n\n\n除此之外，torchkeras还提供了一个VLog类，方便你在任意的训练逻辑中使用动态可视化图像和日志进度条。\n\n```python\nimport time\nimport math,random\nfrom torchkeras import VLog\n\nepochs = 10\nbatchs = 30\n\n#0, 指定监控北极星指标，以及指标优化方向\nvlog = VLog(epochs, monitor_metric='val_loss', monitor_mode='min') \n\n#1, log_start 初始化动态图表\nvlog.log_start() \n\nfor epoch in range(epochs):\n    \n    #train\n    for step in range(batchs):\n        \n        #2, log_step 更新step级别日志信息，打日志，并用小进度条显示进度\n        vlog.log_step({'train_loss':100-2.5*epoch+math.sin(2*step\u002Fbatchs)}) \n        time.sleep(0.05)\n        \n    #eval    \n    for step in range(20):\n        \n        #3, log_step 更新step级别日志信息，指定training=False说明在验证模式，只打日志不更新小进度条\n        vlog.log_step({'val_loss':100-2*epoch+math.sin(2*step\u002Fbatchs)},training=False)\n        time.sleep(0.05)\n        \n    #4, log_epoch 更新epoch级别日志信息，每个epoch刷新一次动态图表和大进度条进度\n    vlog.log_epoch({'val_loss':100 - 2*epoch+2*random.random()-1,\n                    'train_loss':100-2.5*epoch+2*random.random()-1})  \n\n# 5, log_end 调整坐标轴范围，输出最终指标可视化图表\nvlog.log_end()\n\n```\n\n\n\n## 4，主要特性 🍉🍉\n\n\ntorchkeras 支持以下这些功能特性，稳定支持这些功能的起始版本以及这些功能借鉴或者依赖的库的来源见下表。\n\n\n|功能| 稳定支持起始版本 | 依赖或借鉴库 |\n|:----|:-------------------:|:--------------|\n|✅ 训练进度条 | 3.0.0   | 依赖tqdm,借鉴keras|\n|✅ 训练评估指标  | 3.0.0   | 借鉴pytorch_lightning |\n|✅ notebook中训练自带可视化 |  3.8.0  |借鉴fastai |\n|✅ early stopping | 3.0.0   | 借鉴keras |\n|✅ gpu training | 3.0.0    |依赖accelerate|\n|✅ multi-gpus training(ddp) |   3.6.0 | 依赖accelerate|\n|✅ fp16\u002Fbf16 training|   3.6.0  | 依赖accelerate|\n|✅ tensorboard callback |   3.7.0  |依赖tensorboard |\n|✅ wandb callback |  3.7.0 |依赖wandb |\n|✅ VLog |  3.9.5 | 依赖matplotlib|\n\n```python\n\n```\n\n## 5，基本范例 🌰🌰\n\n\n以下范例是torchkeras的基础范例，演示了torchkeras的主要功能。\n\n包括基础训练，使用wandb可视化，使用wandb调参，使用tensorboard可视化，使用多GPU的ddp模式训练，通用的VLog动态日志可视化等。\n\n\n|example| notebook    |  kaggle链接| \n|:----|:-------------------------|:-----------:|\n|①基础范例 🔥🔥|  [**basic example**](.\u002F01，kerasmodel_example.ipynb)  |  \u003Cbr>\u003Cdiv>\u003C\u002Fa>\u003Ca href=\"https:\u002F\u002Fwww.kaggle.com\u002Flyhue1991\u002Fkerasmodel-example\">\u003Cimg src=\"https:\u002F\u002Fkaggle.com\u002Fstatic\u002Fimages\u002Fopen-in-kaggle.svg\" alt=\"Open In Kaggle\">\u003C\u002Fa>\u003C\u002Fdiv>\u003Cbr>  |\n|②wandb可视化 🔥🔥🔥|[**wandb demo**](.\u002F02，kerasmodel_wandb_demo.ipynb)   |  \u003Cbr>\u003Cdiv>\u003C\u002Fa>\u003Ca href=\"https:\u002F\u002Fwww.kaggle.com\u002Flyhue1991\u002Fkerasmodel-wandb-example\">\u003Cimg src=\"https:\u002F\u002Fkaggle.com\u002Fstatic\u002Fimages\u002Fopen-in-kaggle.svg\" alt=\"Open In Kaggle\">\u003C\u002Fa>\u003C\u002Fdiv>\u003Cbr>  |\n|③wandb自动化调参🔥🔥|[**wandb sweep demo**](.\u002F03，kerasmodel_tuning_demo.ipynb)   |  \u003Cbr>\u003Cdiv>\u003C\u002Fa>\u003Ca href=\"https:\u002F\u002Fwww.kaggle.com\u002Flyhue1991\u002Ftorchkeras-loves-wandb-sweep\">\u003Cimg src=\"https:\u002F\u002Fkaggle.com\u002Fstatic\u002Fimages\u002Fopen-in-kaggle.svg\" alt=\"Open In Kaggle\">\u003C\u002Fa>\u003C\u002Fdiv>\u003Cbr>  |\n|④tensorboard可视化| [**tensorboard example**](.\u002F04，kerasmodel_tensorboard_demo.ipynb)   |  |\n|⑤ddp\u002Ftpu训练范例| [**ddp tpu examples**](https:\u002F\u002Fwww.kaggle.com\u002Fcode\u002Flyhue1991\u002Ftorchkeras-ddp-tpu-examples)   |\u003Cbr>\u003Cdiv>\u003C\u002Fa>\u003Ca href=\"https:\u002F\u002Fwww.kaggle.com\u002Flyhue1991\u002Ftorchkeras-ddp-tpu-examples\">\u003Cimg src=\"https:\u002F\u002Fkaggle.com\u002Fstatic\u002Fimages\u002Fopen-in-kaggle.svg\" alt=\"Open In Kaggle\">\u003C\u002Fa>\u003C\u002Fdiv>\u003Cbr>  |\n|⑥VLog动态日志可视化范例🔥🔥🔥| [**VLog example**](.\u002F10，vlog_example.ipynb)   |  |\n\n```python\n\n```\n\n## 6，进阶范例 🔥🔥 \n\n在炼丹实践中，遇到的数据集结构或者训练推理逻辑往往会千差万别。\n\n例如我们可能会遇到多输入多输出结构，或者希望在训练过程中计算并打印一些特定的指标等等。\n\n这时候炼丹师可能会倾向于使用最纯粹的pytorch编写自己的训练循环。\n\n实际上，torchkeras提供了极致的灵活性来让炼丹师掌控训练过程的每个细节。\n\n从这个意义上说，torchkeras更像是一个训练代码模版。\n\n这个模版由低到高由StepRunner，EpochRunner 和 KerasModel 三个类组成。\n\n在绝大多数场景下，用户只需要在StepRunner上稍作修改并覆盖掉，就可以实现自己想要的训练推理逻辑。\n\n就像下面这段代码范例，这是一个多输入的例子，并且嵌入了特定的accuracy计算逻辑。\n\n这段代码的完整范例，见examples下的CRNN_CTC验证码识别。\n\n```python\n\nimport torch.nn.functional as F \nfrom torchkeras import KerasModel\nfrom accelerate import Accelerator\n\n#我们覆盖KerasModel的StepRunner以实现自定义训练逻辑。\n#注意这里把acc指标的结果写在了step_losses中以便和loss一样在Epoch上求平均，这是一个非常灵活而且有用的写法。\n\nclass StepRunner:\n    def __init__(self, net, loss_fn, accelerator=None, stage = \"train\", metrics_dict = None, \n                 optimizer = None, lr_scheduler = None\n                 ):\n        self.net,self.loss_fn,self.metrics_dict,self.stage = net,loss_fn,metrics_dict,stage\n        self.optimizer,self.lr_scheduler = optimizer,lr_scheduler\n        self.accelerator = accelerator if accelerator is not None else Accelerator()\n        if self.stage=='train':\n            self.net.train() \n        else:\n            self.net.eval()\n    \n    def __call__(self, batch):\n        \n        images, targets, input_lengths, target_lengths = batch\n        \n        #loss\n        preds = self.net(images)\n        preds_log_softmax = F.log_softmax(preds, dim=-1)\n        loss = F.ctc_loss(preds_log_softmax, targets, input_lengths, target_lengths)\n        acc = eval_acc(targets,preds)\n            \n\n        #backward()\n        if self.optimizer is not None and self.stage==\"train\":\n            self.accelerator.backward(loss)\n            self.optimizer.step()\n            if self.lr_scheduler is not None:\n                self.lr_scheduler.step()\n            self.optimizer.zero_grad()\n            \n            \n        all_loss = self.accelerator.gather(loss).sum()\n        \n        #losses （or plain metric that can be averaged）\n        step_losses = {self.stage+\"_loss\":all_loss.item(),\n                       self.stage+'_acc':acc}\n        \n        #metrics (stateful metric)\n        step_metrics = {}\n        if self.stage==\"train\":\n            if self.optimizer is not None:\n                step_metrics['lr'] = self.optimizer.state_dict()['param_groups'][0]['lr']\n            else:\n                step_metrics['lr'] = 0.0\n        return step_losses,step_metrics\n    \n#覆盖掉默认StepRunner \nKerasModel.StepRunner = StepRunner \n\n```\n\n可以看到，这种修改实际上是非常简单并且灵活的，保持每个模块的输出与原始实现格式一致就行，中间处理逻辑根据需要灵活调整。\n\n同理，用户也可以修改并覆盖EpochRunner来实现自己的特定逻辑，但我一般很少遇到有这样需求的场景。\n\nexamples目录下的范例库包括了使用torchkeras对一些非常常用的库中的模型进行训练的例子。\n\n例如：\n\n* torchvision\n* transformers\n* segmentation_models_pytorch\n* ultralytics\n* timm\n\n> 如果你想掌握一个东西，那么就去使用它，如果你想真正理解一个东西，那么尝试去改变它。 ———— 爱因斯坦\n\n\n|example|使用模型库  |notebook |\n|:----|:-----------|:-----------:|\n||||\n|**RL**|||\n|强化学习——Q-Learning 🔥🔥|- |[Q-learning](.\u002Fexamples\u002FQ-learning.ipynb)|\n|强化学习——DQN|- |[DQN](.\u002Fexamples\u002FDQN.ipynb)|\n||||\n|**Tabular**|||\n|二分类——LightGBM |- |[LightGBM](.\u002Fexamples\u002FLightGBM二分类.ipynb)|\n|多分类——Tabm🔥🔥🔥🔥🔥|- |[Tabm](.\u002Fexamples\u002FTabm多分类.ipynb)|\n|多分类——FTTransformer🔥🔥|- |[FTTransformer](.\u002Fexamples\u002FFTTransformer多分类.ipynb)|\n|二分类——FM|- |[FM](.\u002Fexamples\u002FFM二分类.ipynb)|\n|二分类——DeepFM|- |[DeepFM](.\u002Fexamples\u002FDeepFM二分类.ipynb)|\n|二分类——DeepCross|- |[DeepCross](.\u002Fexamples\u002FDeepCross二分类.ipynb)|\n||||\n|**CV**|||\n|图片分类——Resnet|  -  | [Resnet](.\u002Fexamples\u002FResNet.ipynb) |\n|语义分割——UNet|  - | [UNet](.\u002Fexamples\u002FUNet.ipynb) |\n|目标检测——SSD| -  | [SSD](.\u002Fexamples\u002FSSD.ipynb) |\n|文字识别——CRNN 🔥🔥| -  | [CRNN-CTC](.\u002Fexamples\u002FCRNN_CTC.ipynb) |\n|目标检测——FasterRCNN| torchvision  |  [FasterRCNN](.\u002Fexamples\u002FFasterRCNN——vision.ipynb) | \n|语义分割——DeepLabV3++ | segmentation_models_pytorch |  [Deeplabv3++](.\u002Fexamples\u002FDeeplabv3plus——smp.ipynb) |\n|实例分割——MaskRCNN | detectron2 |  [MaskRCNN](.\u002Fexamples\u002FMaskRCNN——detectron2.ipynb) |\n|图片分类——SwinTransformer|timm| [Swin](.\u002Fexamples\u002FSwinTransformer——timm.ipynb)|\n|目标检测——YOLOv8 🔥🔥🔥| ultralytics |  [YOLOv8_Detect](.\u002Fexamples\u002FYOLOV8_Detect——ultralytics.ipynb) |\n|实例分割——YOLOv8 🔥🔥🔥| ultralytics |  [YOLOv8_Segment](.\u002Fexamples\u002FYOLOV8_Segment——ultralytics.ipynb) |\n||||\n|**NLP**|||\n|序列翻译——Transformer🔥🔥| - |  [Transformer](.\u002Fexamples\u002FDive_into_Transformer.ipynb) |\n|文本生成——Llama🔥| - |  [Llama](.\u002Fexamples\u002FDive_into_Llama.ipynb) |\n|文本分类——BERT| transformers |  [BERT](.\u002Fexamples\u002FBERT——transformers.ipynb) |\n|命名实体识别——BERT | transformers |  [BERT_NER](.\u002Fexamples\u002FBERT_NER——transformers.ipynb) |\n|LLM微调——ChatGLM2_LoRA 🔥🔥🔥| transformers |  [ChatGLM2_LoRA](.\u002Fexamples\u002FChatGLM2_LoRA——transformers.ipynb) |\n|LLM微调——ChatGLM2_AdaLoRA 🔥| transformers |  [ChatGLM2_AdaLoRA](.\u002Fexamples\u002FChatGLM2_AdaLoRA——transformers.ipynb) |\n|LLM微调——ChatGLM2_QLoRA | transformers |  [ChatGLM2_QLoRA_Kaggle](.\u002Fexamples\u002FChatGLM2_QLoRA_Kaggle——transformers.ipynb) |\n|LLM微调——BaiChuan13B_QLoRA | transformers |  [BaiChuan13B_QLoRA](.\u002Fexamples\u002FBaiChuan13B_QLoRA——transformers.ipynb) |\n|LLM微调——BaiChuan13B_NER 🔥🔥🔥| transformers |  [BaiChuan13B_NER](.\u002Fexamples\u002FBaiChuan13B_NER——transformers.ipynb) |\n|LLM微调——BaiChuan13B_MultiRounds 🔥| transformers |  [BaiChuan13B_MultiRounds](.\u002Fexamples\u002FBaiChuan13B_MultiRounds——transformers.ipynb) |\n|LLM微调——Qwen7B_MultiRounds 🔥🔥🔥| transformers |  [Qwen7B_MultiRounds](.\u002Fexamples\u002FQwen7B_MultiRounds——transformers.ipynb) |\n|LLM微调——BaiChuan2_13B 🔥| transformers |  [BaiChuan2_13B](.\u002Fexamples\u002FBaiChuan2_13B——transformers.ipynb) |\n\n\n```python\n\n```\n\n## 7，鼓励和联系作者 🎈🎈\n\n\n**如果本项目对你有所帮助，想鼓励一下作者，记得给本项目加一颗星星star⭐️，并分享给你的朋友们喔😊!** \n\n如果在torchkeras的使用中遇到问题，可以在项目中提交issue。\n\n如果想要获得更快的反馈或者与其他torchkeras用户小伙伴进行交流，\n\n可以在公众号算法美食屋后台回复关键字：**加群**。\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Flyhue1991_torchkeras_readme_a560f06063e8.jpg)","# 炼丹师，这是你的梦中情炉吗?🌹🌹\n\n\n[英文](README_en.md) | 简体中文\n\n\ntorchkeras 是一个通用的pytorch模型训练模版工具，按照如下目标进行设计和实现：\n\n* **好看** (代码优雅，日志美丽，自带可视化)\n\n* **好用** (使用方便，支持 进度条、评估指标、early-stopping等常用功能，支持tensorboard，wandb回调函数等扩展功能)\n\n* **好改** (修改简单，核心代码模块化，仅约200行，并提供丰富的修改使用案例)\n\n\n\n```python\n\n```\n\n## 1，炼丹之痛 😭😭\n\n\n无论是学术研究还是工业落地，pytorch几乎都是目前炼丹的首选框架。\n\npytorch的胜出不仅在于其简洁一致的api设计，更在于其生态中丰富和强大的模型库。\n\n但是我们会发现不同的pytorch模型库提供的训练和验证代码非常不一样。\n\ntorchvision官方提供的范例代码主要是一个关联了非常多依赖函数的train_one_epoch和evaluate函数，针对检测和分割各有一套。\n\nyolo系列的主要是支持ddp模式的各种风格迥异的Trainer，每个不同的yolo版本都会改动很多导致不同yolo版本之间都难以通用。\n\n抱抱脸的transformers库在借鉴了pytorch_lightning的基础上也搞了一个自己的Trainer，但与pytorch_lightning并不兼容。\n\n非常有名的facebook的目标检测库detectron2, 也是搞了一个它自己的Trainer，配合一个全局的cfg参数设置对象来训练模型。\n\n还有我用的比较多的语义分割的segmentation_models.pytorch这个库，设计了一个TrainEpoch和一个ValidEpoch来做训练和验证。\n\n在学习和使用这些不同的pytorch模型库时，尝试阅读理解和改动这些训练和验证相关的代码让我受到了一万点伤害。\n\n有些设计非常糟糕，嵌套了十几层，有些实现非常dirty，各种带下划线的私有变量满天飞。\n\n让你每次想要改动一下加入一些自己想要的功能时就感到望而却步。\n\n我不就想finetune一下模型嘛，何必拿这么多垃圾代码搞我？\n\n\n```python\n\n```\n\n## 2，梦中情炉 🤗🤗\n\n这一切的苦不由得让我怀念起tensorflow中keras的美好了。\n\n还记得keras那compile, fit, evalute三连击吗？一切都像行云流水般自然，真正的for humans。\n\n而且你看任何用keras实现的模型库，训练和验证都几乎可以用这一套相同的接口，没有那么多莫名奇妙的野生Trainer。\n\n我能否基于pytorch打造一个接口和keras一样简洁易用，功能强大，但是实现代码非常简短易懂，便于修改的模型训练工具呢？\n\n从2020年7月左右发布1.0版本到最近发布的3.86版本，我陆陆续续在工作中一边使用一边打磨一个工具，总共提交修改了70多次。\n\n现在我感觉我细心雕琢的这个作品终于长成了我心目中接近完美的样子。\n\n\n**她有一个美丽的名字：torchkeras.**\n \n**是的，她兼具torch的灵动，也有keras的优雅~**\n\n**并且她的美丽，无与伦比~**\n\n**她，就是我的梦中情炉~ 🤗🤗**\n\n\n![](.\u002Fdata\u002Ftorchkeras.png)\n\n\n```python\n\n```\n\n\n## 3，使用方法 🍊🍊\n\n\n安装torchkeras\n```\npip install torchkeras\n```\n\n通过使用torchkeras，你不需要写自己的pytorch模型训练循环。你只要做这样两步就可以了。\n\n(1) 创建你的模型结构net,然后把它和损失函数传入torchkeras.KerasModel构建一个model。\n\n(2) 使用model的fit方法在你的训练数据和验证数据上进行训练，训练数据和验证数据需要封装成两个DataLoader.\n\n\n\n核心使用代码就像下面这样：\n\n```python\nimport torch \nimport torchkeras\nimport torchmetrics\nmodel = torchkeras.KerasModel(net,\n                              loss_fn = nn.BCEWithLogitsLoss(),\n                              optimizer= torch.optim.Adam(net.parameters(),lr = 1e-4),\n                              metrics_dict = {\"acc\":torchmetrics.Accuracy(task='binary')}\n                             )\ndfhistory=model.fit(train_data=dl_train, \n                    val_data=dl_val, \n                    epochs=20, \n                    patience=3, \n                    ckpt_path='checkpoint',\n                    monitor=\"val_acc\",\n                    mode=\"max\",\n                    plot=True\n                   )\n\n```\n\n在jupyter notebook中执行训练代码，你将看到类似下面的动态可视化图像和训练日志进度条。\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Flyhue1991_torchkeras_readme_60147ac91d54.gif)\n\n\n\n除此之外，torchkeras还提供了一个VLog类，方便你在任意的训练逻辑中使用动态可视化图像和日志进度条。\n\n```python\nimport time\nimport math,random\nfrom torchkeras import VLog\n\nepochs = 10\nbatchs = 30\n\n#0, 指定监控北极星指标，以及指标优化方向\nvlog = VLog(epochs, monitor_metric='val_loss', monitor_mode='min') \n\n#1, log_start 初始化动态图表\nvlog.log_start() \n\nfor epoch in range(epochs):\n    \n    #train\n    for step in range(batchs):\n        \n        #2, log_step 更新step级别日志信息，打日志，并用小进度条显示进度\n        vlog.log_step({'train_loss':100-2.5*epoch+math.sin(2*step\u002Fbatchs)}) \n        time.sleep(0.05)\n        \n    #eval    \n    for step in range(20):\n        \n        #3, log_step 更新step级别日志信息，指定training=False说明在验证模式，只打日志不更新小进度条\n        vlog.log_step({'val_loss':100-2*epoch+math.sin(2*step\u002Fbatchs)},training=False)\n        time.sleep(0.05)\n        \n    #4, log_epoch 更新epoch级别日志信息，每个epoch刷新一次动态图表和大进度条进度\n    vlog.log_epoch({'val_loss':100 - 2*epoch+2*random.random()-1,\n                    'train_loss':100-2.5*epoch+2*random.random()-1})  \n\n# 5, log_end 调整坐标轴范围，输出最终指标可视化图表\nvlog.log_end()\n\n```\n\n\n\n## 4，主要特性 🍉🍉\n\n\ntorchkeras 支持以下这些功能特性，稳定支持这些功能的起始版本以及这些功能借鉴或者依赖的库的来源见下表。\n\n\n|功能| 稳定支持起始版本 | 依赖或借鉴库 |\n|:----|:-------------------:|:--------------|\n|✅ 训练进度条 | 3.0.0   | 依赖tqdm,借鉴keras|\n|✅ 训练评估指标  | 3.0.0   | 借鉴pytorch_lightning |\n|✅ notebook中训练自带可视化 |  3.8.0  |借鉴fastai |\n|✅ early stopping | 3.0.0   | 借鉴keras |\n|✅ gpu training | 3.0.0    |依赖accelerate|\n|✅ multi-gpus training(ddp) |   3.6.0 | 依赖accelerate|\n|✅ fp16\u002Fbf16 training|   3.6.0  | 依赖accelerate|\n|✅ tensorboard callback |   3.7.0  |依赖tensorboard |\n|✅ wandb callback |  3.7.0 |依赖wandb |\n|✅ VLog |  3.9.5 | 依赖matplotlib|\n\n```python\n\n```\n\n## 5，基本范例 🌰🌰\n\n\n以下范例是torchkeras的基础范例，演示了torchkeras的主要功能。\n\n包括基础训练，使用wandb可视化，使用wandb调参，使用tensorboard可视化，使用多GPU的ddp模式训练，通用的VLog动态日志可视化等。\n\n\n|example| notebook    |  kaggle链接| \n|:----|:-------------------------|:-----------:|\n|①基础范例 🔥🔥|  [**basic example**](.\u002F01，kerasmodel_example.ipynb)  |  \u003Cbr>\u003Cdiv>\u003C\u002Fa>\u003Ca href=\"https:\u002F\u002Fwww.kaggle.com\u002Flyhue1991\u002Fkerasmodel-example\">\u003Cimg src=\"https:\u002F\u002Fkaggle.com\u002Fstatic\u002Fimages\u002Fopen-in-kaggle.svg\" alt=\"Open In Kaggle\">\u003C\u002Fa>\u003C\u002Fdiv>\u003Cbr>  |\n|②wandb可视化 🔥🔥🔥|[**wandb demo**](.\u002F02，kerasmodel_wandb_demo.ipynb)   |  \u003Cbr>\u003Cdiv>\u003C\u002Fa>\u003Ca href=\"https:\u002F\u002Fwww.kaggle.com\u002Flyhue1991\u002Fkerasmodel-wandb-example\">\u003Cimg src=\"https:\u002F\u002Fkaggle.com\u002Fstatic\u002Fimages\u002Fopen-in-kaggle.svg\" alt=\"Open In Kaggle\">\u003C\u002Fa>\u003C\u002Fdiv>\u003Cbr>  |\n|③wandb自动化调参🔥🔥|[**wandb sweep demo**](.\u002F03，kerasmodel_tuning_demo.ipynb)   |  \u003Cbr>\u003Cdiv>\u003C\u002Fa>\u003Ca href=\"https:\u002F\u002Fwww.kaggle.com\u002Flyhue1991\u002Ftorchkeras-loves-wandb-sweep\">\u003Cimg src=\"https:\u002F\u002Fkaggle.com\u002Fstatic\u002Fimages\u002Fopen-in-kaggle.svg\" alt=\"Open In Kaggle\">\u003C\u002Fa>\u003C\u002Fdiv>\u003Cbr>  |\n|④tensorboard可视化| [**tensorboard example**](.\u002F04，kerasmodel_tensorboard_demo.ipynb)   |  |\n|⑤ddp\u002Ftpu训练范例| [**ddp tpu examples**](https:\u002F\u002Fwww.kaggle.com\u002Fcode\u002Flyhue1991\u002Ftorchkeras-ddp-tpu-examples)   |\u003Cbr>\u003Cdiv>\u003C\u002Fa>\u003Ca href=\"https:\u002F\u002Fwww.kaggle.com\u002Flyhue1991\u002Ftorchkeras-ddp-tpu-examples\">\u003Cimg src=\"https:\u002F\u002Fkaggle.com\u002Fstatic\u002Fimages\u002Fopen-in-kaggle.svg\" alt=\"Open In Kaggle\">\u003C\u002Fa>\u003C\u002Fdiv>\u003Cbr>  |\n|⑥VLog动态日志可视化范例🔥🔥🔥| [**VLog example**](.\u002F10，vlog_example.ipynb)   |  |\n\n```python\n\n```\n\n## 6，进阶范例 🔥🔥 \n\n在炼丹实践中，遇到的数据集结构或者训练推理逻辑往往会千差万别。\n\n例如我们可能会遇到多输入多输出结构，或者希望在训练过程中计算并打印一些特定的指标等等。\n\n这时候炼丹师可能会倾向于使用最纯粹的pytorch编写自己的训练循环。\n\n实际上，torchkeras提供了极致的灵活性来让炼丹师掌控训练过程的每个细节。\n\n从这个意义上说，torchkeras更像是一个训练代码模版。\n\n这个模版由低到高由StepRunner，EpochRunner 和 KerasModel 三个类组成。\n\n在绝大多数场景下，用户只需要在StepRunner上稍作修改并覆盖掉，就可以实现自己想要的训练推理逻辑。\n\n就像下面这段代码范例，这是一个多输入的例子，并且嵌入了特定的accuracy计算逻辑。\n\n这段代码的完整范例，见examples下的CRNN_CTC验证码识别。\n\n```python\n\nimport torch.nn.functional as F \nfrom torchkeras import KerasModel\nfrom accelerate import Accelerator\n\n#我们覆盖KerasModel的StepRunner以实现自定义训练逻辑。\n#注意这里把acc指标的结果写在了step_losses中以便和loss一样在Epoch上求平均，这是一个非常灵活而且有用的写法。\n\nclass StepRunner:\n    def __init__(self, net, loss_fn, accelerator=None, stage = \"train\", metrics_dict = None, \n                 optimizer = None, lr_scheduler = None\n                 ):\n        self.net,self.loss_fn,self.metrics_dict,self.stage = net,loss_fn,metrics_dict,stage\n        self.optimizer,self.lr_scheduler = optimizer,lr_scheduler\n        self.accelerator = accelerator if accelerator is not None else Accelerator()\n        if self.stage=='train':\n            self.net.train() \n        else:\n            self.net.eval()\n    \n    def __call__(self, batch):\n        \n        images, targets, input_lengths, target_lengths = batch\n        \n        #loss\n        preds = self.net(images)\n        preds_log_softmax = F.log_softmax(preds, dim=-1)\n        loss = F.ctc_loss(preds_log_softmax, targets, input_lengths, target_lengths)\n        acc = eval_acc(targets,preds)\n            \n\n        #backward()\n        if self.optimizer is not None and self.stage==\"train\":\n            self.accelerator.backward(loss)\n            self.optimizer.step()\n            if self.lr_scheduler is not None:\n                self.lr_scheduler.step()\n            self.optimizer.zero_grad()\n            \n            \n        all_loss = self.accelerator.gather(loss).sum()\n        \n        #losses （or plain metric that can be averaged）\n        step_losses = {self.stage+\"_loss\":all_loss.item(),\n                       self.stage+'_acc':acc}\n        \n        #metrics (stateful metric)\n        step_metrics = {}\n        if self.stage==\"train\":\n            if self.optimizer is not None:\n                step_metrics['lr'] = self.optimizer.state_dict()['param_groups'][0]['lr']\n            else:\n                step_metrics['lr'] = 0.0\n        return step_losses,step_metrics\n    \n#覆盖掉默认StepRunner \nKerasModel.StepRunner = StepRunner \n\n```\n\n可以看到，这种修改实际上是非常简单并且灵活的，保持每个模块的输出与原始实现格式一致就行，中间处理逻辑根据需要灵活调整。\n\n同理，用户也可以修改并覆盖EpochRunner来实现自己的特定逻辑，但我一般很少遇到有这样需求的场景。\n\nexamples目录下的范例库包括了使用torchkeras对一些非常常用的库中的模型进行训练的例子。\n\n例如：\n\n* torchvision\n* transformers\n* segmentation_models_pytorch\n* ultralytics\n* timm\n\n> 如果你想掌握一个东西，那么就去使用它，如果你想真正理解一个东西，那么尝试去改变它。 ———— 爱因斯坦\n\n\n|example|使用模型库  |notebook |\n|:----|:-----------|:-----------:|\n||||\n|**RL**|||\n|强化学习——Q-Learning 🔥🔥|- |[Q-learning](.\u002Fexamples\u002FQ-learning.ipynb)|\n|强化学习——DQN|- |[DQN](.\u002Fexamples\u002FDQN.ipynb)|\n||||\n|**Tabular**|||\n|二分类——LightGBM |- |[LightGBM](.\u002Fexamples\u002FLightGBM二分类.ipynb)|\n|多分类——Tabm🔥🔥🔥🔥🔥|- |[Tabm](.\u002Fexamples\u002FTabm多分类.ipynb)|\n|多分类——FTTransformer🔥🔥|- |[FTTransformer](.\u002Fexamples\u002FFTTransformer多分类.ipynb)|\n|二分类——FM|- |[FM](.\u002Fexamples\u002FFM二分类.ipynb)|\n|二分类——DeepFM|- |[DeepFM](.\u002Fexamples\u002FDeepFM二分类.ipynb)|\n|二分类——DeepCross|- |[DeepCross](.\u002Fexamples\u002FDeepCross二分类.ipynb)|\n||||\n|**CV**|||\n|图片分类——Resnet|  -  | [Resnet](.\u002Fexamples\u002FResNet.ipynb) |\n|语义分割——UNet|  - | [UNet](.\u002Fexamples\u002FUNet.ipynb) |\n|目标检测——SSD| -  | [SSD](.\u002Fexamples\u002FSSD.ipynb) |\n|文字识别——CRNN 🔥🔥| -  | [CRNN-CTC](.\u002Fexamples\u002FCRNN_CTC.ipynb) |\n|目标检测——FasterRCNN| torchvision  |  [FasterRCNN](.\u002Fexamples\u002FFasterRCNN——vision.ipynb) | \n|语义分割——DeepLabV3++ | segmentation_models_pytorch |  [Deeplabv3++](.\u002Fexamples\u002FDeeplabv3plus——smp.ipynb) |\n|实例分割——MaskRCNN | detectron2 |  [MaskRCNN](.\u002Fexamples\u002FMaskRCNN——detectron2.ipynb) |\n|图片分类——SwinTransformer|timm| [Swin](.\u002Fexamples\u002FSwinTransformer——timm.ipynb)|\n|目标检测——YOLOv8 🔥🔥🔥| ultralytics |  [YOLOv8_Detect](.\u002Fexamples\u002FYOLOV8_Detect——ultralytics.ipynb) |\n|实例分割——YOLOv8 🔥🔥🔥| ultralytics |  [YOLOv8_Segment](.\u002Fexamples\u002FYOLOV8_Segment——ultralytics.ipynb) |\n||||\n|**NLP**|||\n|序列翻译——Transformer🔥🔥| - |  [Transformer](.\u002Fexamples\u002FDive_into_Transformer.ipynb) |\n|文本生成——Llama🔥| - |  [Llama](.\u002Fexamples\u002FDive_into_Llama.ipynb) |\n|文本分类——BERT| transformers |  [BERT](.\u002Fexamples\u002FBERT——transformers.ipynb) |\n|命名实体识别——BERT | transformers |  [BERT_NER](.\u002Fexamples\u002FBERT_NER——transformers.ipynb) |\n|LLM微调——ChatGLM2_LoRA 🔥🔥🔥| transformers |  [ChatGLM2_LoRA](.\u002Fexamples\u002FChatGLM2_LoRA——transformers.ipynb) |\n|LLM微调——ChatGLM2_AdaLoRA 🔥| transformers |  [ChatGLM2_AdaLoRA](.\u002Fexamples\u002FChatGLM2_AdaLoRA——transformers.ipynb) |\n|LLM微调——ChatGLM2_QLoRA | transformers |  [ChatGLM2_QLoRA_Kaggle](.\u002Fexamples\u002FChatGLM2_QLoRA_Kaggle——transformers.ipynb) |\n|LLM微调——BaiChuan13B_QLoRA | transformers |  [BaiChuan13B_QLoRA](.\u002Fexamples\u002FBaiChuan13B_QLoRA——transformers.ipynb) |\n|LLM微调——BaiChuan13B_NER 🔥🔥🔥| transformers |  [BaiChuan13B_NER](.\u002Fexamples\u002FBaiChuan13B_NER——transformers.ipynb) |\n|LLM微调——BaiChuan13B_MultiRounds 🔥| transformers |  [BaiChuan13B_MultiRounds](.\u002Fexamples\u002FBaiChuan13B_MultiRounds——transformers.ipynb) |\n|LLM微调——Qwen7B_MultiRounds 🔥🔥🔥| transformers |  [Qwen7B_MultiRounds](.\u002Fexamples\u002FQwen7B_MultiRounds——transformers.ipynb) |\n|LLM微调——BaiChuan2_13B 🔥| transformers |  [BaiChuan2_13B](.\u002Fexamples\u002FBaiChuan2_13B——transformers.ipynb) |\n\n\n```python\n\n```\n\n## 7，鼓励和联系作者 🎈🎈\n\n\n**如果本项目对你有所帮助，想鼓励一下作者，记得给本项目加一颗星星star⭐️，并分享给你的朋友们喔😊!** \n\n如果在torchkeras的使用中遇到问题，可以在项目中提交issue。\n\n如果想要获得更快的反馈或者与其他torchkeras用户小伙伴进行交流，\n\n可以在公众号算法美食屋后台回复关键字：**加群**。\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Flyhue1991_torchkeras_readme_a560f06063e8.jpg)","# torchkeras 快速上手指南\n\ntorchkeras 是一个专为 PyTorch 设计的通用模型训练模版工具。它结合了 PyTorch 的灵活性与 Keras 的优雅接口（`compile`, `fit`, `evaluate`），旨在让训练代码更简洁、日志更美观、修改更简单。\n\n## 1. 环境准备\n\n在使用 torchkeras 之前，请确保你的开发环境满足以下要求：\n\n*   **操作系统**：Linux, macOS 或 Windows\n*   **Python 版本**：建议 Python 3.7+\n*   **核心依赖**：\n    *   `torch` (PyTorch)\n    *   `torchmetrics` (用于评估指标)\n    *   `tqdm` (用于进度条)\n    *   `matplotlib` (用于可视化)\n*   **可选依赖**（按需安装）：\n    *   `accelerate` (支持多 GPU\u002FTPU 及混合精度训练)\n    *   `tensorboard` 或 `wandb` (用于高级日志监控)\n\n## 2. 安装步骤\n\n推荐使用 pip 进行安装。国内用户可使用清华源或阿里源加速下载。\n\n**标准安装：**\n```bash\npip install torchkeras\n```\n\n**使用国内镜像源加速安装（推荐）：**\n```bash\npip install torchkeras -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n若需使用多卡训练或混合精度功能，请额外安装 accelerate：\n```bash\npip install accelerate -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 3. 基本使用\n\n使用 torchkeras 无需编写繁琐的训练循环，只需两步即可完成模型训练：\n\n1.  **构建模型**：实例化 `KerasModel`，传入网络结构、损失函数、优化器和评估指标。\n2.  **开始训练**：调用 `fit` 方法，传入训练集和验证集的 DataLoader。\n\n### 最简代码示例\n\n```python\nimport torch \nimport torch.nn as nn\nimport torchkeras\nimport torchmetrics\n\n# 假设 net 是你定义好的 PyTorch 模型\n# net = MyModel() \n\n# 1. 构建 KerasModel\nmodel = torchkeras.KerasModel(\n    net,\n    loss_fn=nn.BCEWithLogitsLoss(),\n    optimizer=torch.optim.Adam(net.parameters(), lr=1e-4),\n    metrics_dict={\"acc\": torchmetrics.Accuracy(task='binary')}\n)\n\n# 2. 执行训练\n# dl_train 和 dl_val 是封装好的 DataLoader\ndfhistory = model.fit(\n    train_data=dl_train, \n    val_data=dl_val, \n    epochs=20, \n    patience=3,              # 早停机制：3 个 epoch 无提升则停止\n    ckpt_path='checkpoint',  # 模型保存路径\n    monitor=\"val_acc\",       # 监控指标\n    mode=\"max\",              # 指标优化方向：最大化\n    plot=True                # 开启动态可视化\n)\n```\n\n### 特性说明\n*   **动态可视化**：在 Jupyter Notebook 中运行上述代码，将自动展示实时的损失\u002F指标曲线图和训练进度条。\n*   **功能内置**：默认支持早停（Early Stopping）、模型检查点保存（Checkpoint）以及详细的训练日志。\n*   **灵活扩展**：如需自定义训练逻辑（如多输入多输出），可通过继承并重写 `StepRunner` 类轻松实现，无需改动核心框架。","某计算机视觉算法工程师正在基于 PyTorch 微调一个医疗影像分割模型，急需快速验证多种网络结构并监控训练效果。\n\n### 没有 torchkeras 时\n- **代码重复且混乱**：每次更换模型库（如从 torchvision 切换到 segmentation_models），都需要重新阅读并改写几十行风格迥异的训练循环代码，极易出错。\n- **调试过程盲目**：缺乏统一的可视化界面，只能盯着枯燥的终端日志猜测收敛情况，难以直观判断是否过拟合或需要早停。\n- **功能扩展困难**：想要添加自定义评估指标或断点续训功能时，往往陷入层层嵌套的私有变量和复杂的 Trainer 类中，修改成本极高。\n- **多卡配置繁琐**：部署到多 GPU 环境时，需手动编写分布式数据并行（DDP）样板代码，配置过程耗时且容易引发环境兼容问题。\n\n### 使用 torchkeras 后\n- **接口统一简洁**：只需定义好网络结构和损失函数，通过 `KerasModel` 封装后调用 `fit` 方法即可启动训练，彻底告别手写训练循环。\n- **训练过程透明**：在 Jupyter Notebook 中自动呈现动态损失曲线和进度条，实时可视化监控“北极星指标”，让调参决策有据可依。\n- **功能即插即用**：原生支持 Early Stopping、自定义 Metrics 及 TensorBoard 回调，核心逻辑仅约 200 行，按需修改极其轻松。\n- **高性能一键开启**：依托 accelerate 后端，仅需简单参数配置即可无缝切换单卡、多卡 DDP 甚至混合精度训练，大幅提升实验效率。\n\ntorchkeras 将 PyTorch 的灵活性与 Keras 的优雅体验完美融合，让算法工程师从繁琐的工程细节中解放出来，真正专注于模型创新本身。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Flyhue1991_torchkeras_60147ac9.gif","lyhue1991","一个有毅力的吃货","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Flyhue1991_7fa271b1.png","INTP；Trainer of dragons and models 😋😋","HUST","Beijing China","lyhue1991@163.com",null,"https:\u002F\u002Fspace.bilibili.com\u002F448076260","https:\u002F\u002Fgithub.com\u002Flyhue1991",[83,87],{"name":84,"color":85,"percentage":86},"Jupyter Notebook","#DA5B0B",71.5,{"name":88,"color":89,"percentage":90},"Python","#3572A5",28.5,2011,255,"2026-04-10T08:32:47","Apache-2.0",1,"未说明","非必需。支持 GPU 训练、多 GPU (DDP) 及 TPU，依赖 accelerate 库自动管理设备。具体显存和 CUDA 版本取决于用户所选模型（如 LLM 微调需大显存），工具本身无硬性限制。",{"notes":99,"python":96,"dependencies":100},"该工具是一个通用的 PyTorch 训练模板，核心代码仅约 200 行。它通过封装 KerasModel 类简化训练流程（compile\u002Ffit\u002Fevaluate 风格），并支持动态可视化日志 (VLog)。具体的硬件需求（如显存大小）完全取决于用户加载的具体模型（例如 examples 中展示的 YOLOv8、Llama、BERT 等），而非 torchkeras 本身。安装只需执行 'pip install torchkeras'。",[101,64,102,103,104,105,106,107],"torch","torchmetrics","accelerate","tqdm","matplotlib","tensorboard","wandb",[14],"2026-03-27T02:49:30.150509","2026-04-12T03:03:55.043453",[112,117,122,127,132,137,142,147],{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},30199,"如何在训练时将默认使用的 CPU 改为 GPU？","通常是因为 PyTorch 环境未正确安装 CUDA 版本。请卸载现有版本，并使用以下命令安装指定 CUDA 版本的 PyTorch（以 cu116 为例）：\npip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1 --extra-index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu116\n安装完成后，代码通常会自动检测到 GPU 并使用它进行训练。","https:\u002F\u002Fgithub.com\u002Flyhue1991\u002Ftorchkeras\u002Fissues\u002F54",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},30200,"为什么使用学习率调度器（lr_scheduler）后，日志中显示的学习率没有变化？","torchkeras 的日志默认只输出每个 epoch 结束时的学习率。此外，`ReduceLROnPlateau` 等需要传入 metric 的调度器支持不佳。建议改用不需要传入 loss\u002Fmetric 且按 step 更新的调度器（如 `CosineAnnealingLR`）。如果必须使用特定调度器，可能需要自定义 `StepRunner` 和 `EpochRunner` 源代码来适配。","https:\u002F\u002Fgithub.com\u002Flyhue1991\u002Ftorchkeras\u002Fissues\u002F39",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},30201,"在使用 PEFT\u002FLoRA 微调模型时，报错\"Target modules ['query', 'value'] not found in the base model\"怎么办？","这是因为不同版本的模型或 PEFT 库对模块命名的要求不同。对于 ChatGLM2 等模型，尝试将 `target_modules` 参数从 `[\"query\", \"value\"]` 修改为 `[\"query_key_value\"]` 即可解决该问题。","https:\u002F\u002Fgithub.com\u002Flyhue1991\u002Ftorchkeras\u002Fissues\u002F58",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},30202,"遇到\"Cannot pickle a prepared model with automatic mixed precision\"错误如何解决？","该错误通常发生在启用自动混合精度（AMP）时尝试保存模型。解决方法是在训练配置中将 `mixed_precision` 设置为 `'no'` 以关闭混合精度。但需注意，关闭后显存占用可能会增加，若显存不足需调整 batch_size 或使用梯度累积。","https:\u002F\u002Fgithub.com\u002Flyhue1991\u002Ftorchkeras\u002Fissues\u002F24",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},30203,"在多 GPU 环境下运行代码报错，或者设备映射出现问题怎么办？","如果在多 GPU 或分布式环境中遇到设备相关错误，尝试在模型加载或配置中去掉 `device_map='auto'` 参数。此外，请确保 `torchkeras` 和 `accelerate` 库的版本与官方示例环境一致（例如 accelerate 0.20+ 和 torchkeras 3.9.0+），版本不匹配常导致此类问题。","https:\u002F\u002Fgithub.com\u002Flyhue1991\u002Ftorchkeras\u002Fissues\u002F19",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},30204,"在 Windows 上导入 torchkeras 时报错\"No module named 'accelerate'\"或\"AttributeError: module 'signal' has no attribute 'SIGKILL'\"？","这是由于 `accelerate` 库在 Windows 上的兼容性问题。解决方案有两个：1. 升级 `accelerate` 到最新开发版：`pip install -U git+https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Faccelerate`；2. 或者降级 `accelerate` 到 0.12.0 版本。如果问题依旧，尝试将 PyTorch 降级到 1.13.0 版本也可能有效。","https:\u002F\u002Fgithub.com\u002Flyhue1991\u002Ftorchkeras\u002Fissues\u002F11",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},30205,"在使用 datasets 库进行 map 操作处理数据时出现多进程报错怎么办？","在 Windows 或部分环境下，datasets 的 `map` 函数默认多进程可能导致错误。解决方法是在调用 map 时显式设置 `num_proc=1` 以禁用多进程，例如：`ds_train = ds_train_raw.map(..., num_proc=1)`。如果需要传递额外参数，建议使用 `functools.partial` 封装预处理函数。","https:\u002F\u002Fgithub.com\u002Flyhue1991\u002Ftorchkeras\u002Fissues\u002F28",{"id":148,"question_zh":149,"answer_zh":150,"source_url":151},30206,"使用 wandb.agent 进行超参数搜索时出现递归错误或内存泄露怎么办？","`wandb.agent` 在某些环境下（如 .py 文件而非 Jupyter）可能存在兼容性导致内存泄露或递归错误。如果数据是固定的，避免在每次 train 函数中重新制作 dataloader。可以尝试将 dataloader 作为全局变量或通过闭包方式传入，但需注意避免对象引用导致的递归序列化问题。建议检查 torchkeras 最新版本是否已修复此回调相关问题。","https:\u002F\u002Fgithub.com\u002Flyhue1991\u002Ftorchkeras\u002Fissues\u002F46",[153],{"id":154,"version":155,"summary_zh":156,"released_at":157},214543,"v3.7.2","发布一些玩具数据集","2023-02-21T02:55:59"]