[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-jeya-maria-jose--Medical-Transformer":3,"tool-jeya-maria-jose--Medical-Transformer":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":81,"owner_email":82,"owner_twitter":83,"owner_website":84,"owner_url":85,"languages":86,"stars":95,"forks":96,"last_commit_at":97,"license":98,"difficulty_score":10,"env_os":99,"env_gpu":100,"env_ram":99,"env_deps":101,"category_tags":106,"github_topics":107,"view_count":23,"oss_zip_url":81,"oss_zip_packed_at":81,"status":16,"created_at":116,"updated_at":117,"faqs":118,"releases":149},2533,"jeya-maria-jose\u002FMedical-Transformer","Medical-Transformer","Official Pytorch Code for \"Medical Transformer: Gated Axial-Attention for Medical Image Segmentation\" - MICCAI 2021","Medical-Transformer 是一款专为医学图像分割设计的开源深度学习框架，基于 PyTorch 构建。它主要解决了传统 Transformer 模型在视觉任务中依赖大规模数据集，而医学影像数据通常稀缺且标注成本高，导致模型难以高效训练和收敛的痛点。\n\n该项目的核心创新在于提出了“门控轴向注意力”（Gated Axial-Attention）机制。通过在自注意力模块中引入额外的控制机制，它能在有限的数据条件下更有效地捕捉图像特征。此外，Medical-Transformer 还配套了一种名为 LoGo（Local-Global）的训练策略，通过同时处理整张图像和局部补丁，分别学习全局上下文与局部细节，从而显著提升了分割精度。代码库中包含了 Gated Axial Attention U-Net 和 MedT 两种网络架构的实现，并提供了完整的训练、测试脚本及环境配置指南，支持 MoNuSeG 和 GLAS 等公开数据集。\n\nMedical-Transformer 非常适合从事医学图像分析的研究人员、算法工程师以及生物医学领域的开发者使用。如果你正在探索如何将 Transfor","Medical-Transformer 是一款专为医学图像分割设计的开源深度学习框架，基于 PyTorch 构建。它主要解决了传统 Transformer 模型在视觉任务中依赖大规模数据集，而医学影像数据通常稀缺且标注成本高，导致模型难以高效训练和收敛的痛点。\n\n该项目的核心创新在于提出了“门控轴向注意力”（Gated Axial-Attention）机制。通过在自注意力模块中引入额外的控制机制，它能在有限的数据条件下更有效地捕捉图像特征。此外，Medical-Transformer 还配套了一种名为 LoGo（Local-Global）的训练策略，通过同时处理整张图像和局部补丁，分别学习全局上下文与局部细节，从而显著提升了分割精度。代码库中包含了 Gated Axial Attention U-Net 和 MedT 两种网络架构的实现，并提供了完整的训练、测试脚本及环境配置指南，支持 MoNuSeG 和 GLAS 等公开数据集。\n\nMedical-Transformer 非常适合从事医学图像分析的研究人员、算法工程师以及生物医学领域的开发者使用。如果你正在探索如何将 Transformer 架构应用于小样本医学数据，或者需要复现 MICCAI 2021 的相关前沿成果，这是一个极具参考价值的基准项目。需要注意的是，使用者需具备一定的 Python 和深度学习基础，以便根据具体需求调整数据加载器或超参数。对于希望快速验证想法或进行二次开发的团队来说，其清晰的代码结构和详细的文档能大幅降低上手门槛。","# Medical-Transformer\n\n \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2102.10662\"> \u003C\u002Fa> \n\nPytorch code for the paper \n[\"Medical Transformer: Gated Axial-Attention for\nMedical Image Segmentation\"](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2102.10662.pdf), MICCAI 2021\n\n[Paper](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2102.10662.pdf) | [Poster](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1gMjc5guT_dYQFT6TEEwdHAFKwG5XkEc9\u002Fview?usp=sharing)\n\n## News:\n\n:rocket: : Checkout our latest work [UNeXt](https:\u002F\u002Farxiv.org\u002Fabs\u002F2203.04967), a faster and more efficient segmentation architecture which is also easy to train and implement! Code is available [here](https:\u002F\u002Fgithub.com\u002Fjeya-maria-jose\u002FUNeXt-pytorch).\n\n### About this repo:\n\nThis repo hosts the code for the following networks:\n\n1) Gated Axial Attention U-Net\n2) MedT\n\n## Introduction\n\nMajority of existing Transformer-based network architectures proposed for vision applications require large-scale\ndatasets to train properly. However, compared to the datasets for vision\napplications, for medical imaging the number of data samples is relatively\nlow, making it difficult to efficiently train transformers for medical appli-\ncations. To this end, we propose a Gated Axial-Attention model which\nextends the existing architectures by introducing an additional control\nmechanism in the self-attention module. Furthermore, to train the model\neffectively on medical images, we propose a Local-Global training strat-\negy (LoGo) which further improves the performance. Specifically, we op-\nerate on the whole image and patches to learn global and local features,\nrespectively. The proposed Medical Transformer (MedT) uses LoGo training strategy on Gated Axial Attention U-Net.\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjeya-maria-jose_Medical-Transformer_readme_e2eb70f6e00e.png\" width=\"800\"\u002F>\n\u003C\u002Fp>\n\n### Using the code:\n\n- Clone this repository:\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fjeya-maria-jose\u002FMedical-Transformer\ncd Medical-Transformer\n```\n\nThe code is stable using Python 3.6.10, Pytorch 1.4.0\n\nTo install all the dependencies using conda:\n\n```bash\nconda env create -f environment.yml\nconda activate medt\n```\n\nTo install all the dependencies using pip:\n\n```bash\npip install -r requirements.txt\n```\n\n### Links for downloading the public Datasets:\n\n1) MoNuSeG Dataset - \u003Ca href=\"https:\u002F\u002Fmonuseg.grand-challenge.org\u002FData\u002F\"> Link (Original)\u003C\u002Fa> \n2) GLAS Dataset - \u003Ca href=\"https:\u002F\u002Fwarwick.ac.uk\u002Ffac\u002Fsci\u002Fdcs\u002Fresearch\u002Ftia\u002Fglascontest\u002F\"> Link (Original) \u003C\u002Fa> \n3) Brain Anatomy US dataset from the paper will be made public soon !\n\n## Using the Code for your dataset\n\n### Dataset Preparation\n\nPrepare the dataset in the following format for easy use of the code. The train and test folders should contain two subfolders each: img and label. Make sure the images their corresponding segmentation masks are placed under these folders and have the same name for easy correspondance. Please change the data loaders to your need if you prefer not preparing the dataset in this format.\n\n\n\n```bash\nTrain Folder-----\n      img----\n          0001.png\n          0002.png\n          .......\n      labelcol---\n          0001.png\n          0002.png\n          .......\nValidation Folder-----\n      img----\n          0001.png\n          0002.png\n          .......\n      labelcol---\n          0001.png\n          0002.png\n          .......\nTest Folder-----\n      img----\n          0001.png\n          0002.png\n          .......\n      labelcol---\n          0001.png\n          0002.png\n          .......\n\n```\n\n- The ground truth images should have pixels corresponding to the labels. Example: In case of binary segmentation, the pixels in the GT should be 0 or 255.\n\n### Training Command:\n\n```bash \npython train.py --train_dataset \"enter train directory\" --val_dataset \"enter validation directory\" --direc 'path for results to be saved' --batch_size 4 --epoch 400 --save_freq 10 --modelname \"gatedaxialunet\" --learning_rate 0.001 --imgsize 128 --gray \"no\"\n```\n\n```bash\nChange modelname to MedT or logo to train them\n```\n\n### Testing Command:\n\n```bash \npython test.py --loaddirec \".\u002Fsaved_model_path\u002Fmodel_name.pth\" --val_dataset \"test dataset directory\" --direc 'path for results to be saved' --batch_size 1 --modelname \"gatedaxialunet\" --imgsize 128 --gray \"no\"\n```\n\nThe results including predicted segmentations maps will be placed in the results folder along with the model weights. Run the performance metrics code in MATLAB for calculating F1 Score and mIoU. \n\n### Notes:\n\n1)Note that these experiments were conducted in Nvidia Quadro 8000 with 48 GB memory. \n2)Google Colab Code is an unofficial implementation for quick train\u002Ftest. Please follow original code for proper training.\n\n### Acknowledgement:\n\nThe dataloader code is inspired from \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fcosmic-cortex\u002Fpytorch-UNet\"> pytorch-UNet \u003C\u002Fa>. The axial attention code is developed from \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fcsrhddlam\u002Faxial-deeplab\">axial-deeplab\u003C\u002Fa>. \n\n# Citation:\n\n```bash\n@InProceedings{jose2021medical,\nauthor=\"Valanarasu, Jeya Maria Jose\nand Oza, Poojan\nand Hacihaliloglu, Ilker\nand Patel, Vishal M.\",\ntitle=\"Medical Transformer: Gated Axial-Attention for Medical Image Segmentation\",\nbooktitle=\"Medical Image Computing and Computer Assisted Intervention -- MICCAI 2021\",\nyear=\"2021\",\npublisher=\"Springer International Publishing\",\naddress=\"Cham\",\npages=\"36--46\",\nisbn=\"978-3-030-87193-2\"\n}\n\n```\n\nOpen an issue or mail me directly in case of any queries or suggestions. \n","# 医疗Transformer\n\n \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2102.10662\"> \u003C\u002Fa> \n\n用于论文《Medical Transformer: Gated Axial-Attention for Medical Image Segmentation》（MICCAI 2021）的PyTorch代码  \n[论文](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2102.10662.pdf) | [海报](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1gMjc5guT_dYQFT6TEEwdHAFKwG5XkEc9\u002Fview?usp=sharing)\n\n## 新闻：\n\n:rocket: : 欢迎查看我们的最新工作 [UNeXt](https:\u002F\u002Farxiv.org\u002Fabs\u002F2203.04967)，这是一种更快、更高效的分割架构，同时易于训练和实现！代码可在[这里](https:\u002F\u002Fgithub.com\u002Fjeya-maria-jose\u002FUNeXt-pytorch)获取。\n\n### 关于此仓库：\n\n本仓库包含以下网络的代码实现：\n\n1) 门控轴向注意力U-Net  \n2) MedT\n\n## 简介\n\n大多数为视觉任务设计的基于Transformer的网络架构都需要大规模数据集才能进行有效训练。然而，与视觉领域的数据集相比，医学影像的数据样本数量相对较少，这使得在医学领域高效训练Transformer模型变得困难。为此，我们提出了一种门控轴向注意力模型，通过在自注意力模块中引入额外的控制机制来扩展现有架构。此外，为了在医学图像上有效地训练该模型，我们还提出了一种局部-全局训练策略（LoGo），以进一步提升性能。具体而言，我们分别对整张图像和图像块进行操作，以学习全局和局部特征。所提出的Medical Transformer（MedT）在门控轴向注意力U-Net的基础上使用了LoGo训练策略。\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjeya-maria-jose_Medical-Transformer_readme_e2eb70f6e00e.png\" width=\"800\"\u002F>\n\u003C\u002Fp>\n\n### 使用代码：\n\n- 克隆此仓库：\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fjeya-maria-jose\u002FMedical-Transformer\ncd Medical-Transformer\n```\n\n代码在Python 3.6.10和PyTorch 1.4.0环境下运行稳定。\n\n使用conda安装所有依赖项：\n```bash\nconda env create -f environment.yml\nconda activate medt\n```\n\n使用pip安装所有依赖项：\n```bash\npip install -r requirements.txt\n```\n\n### 公开数据集下载链接：\n\n1) MoNuSeG数据集 - \u003Ca href=\"https:\u002F\u002Fmonuseg.grand-challenge.org\u002FData\u002F\"> 链接（原始）\u003C\u002Fa>  \n2) GLAS数据集 - \u003Ca href=\"https:\u002F\u002Fwarwick.ac.uk\u002Ffac\u002Fsci\u002Fdcs\u002Fresearch\u002Ftia\u002Fglascontest\u002F\"> 链接（原始）\u003C\u002Fa>  \n3) 论文中使用的Brain Anatomy US数据集将很快公开！\n\n## 在您的数据集上使用代码\n\n### 数据集准备\n\n请按照以下格式准备数据集，以便于代码的使用。训练和测试文件夹应各包含两个子文件夹：img和label。确保图像与其对应的分割掩码位于这些文件夹中，并且文件名相同，以便于对应。如果您不希望按此格式准备数据集，可以相应地修改数据加载器。\n\n```bash\n训练文件夹-----\n      img----\n          0001.png\n          0002.png\n          .......\n      label----\n          0001.png\n          0002.png\n          .......\n验证文件夹-----\n      img----\n          0001.png\n          0002.png\n          .......\n      label----\n          0001.png\n          0002.png\n          .......\n测试文件夹-----\n      img----\n          0001.png\n          0002.png\n          .......\n      label----\n          0001.png\n          0002.png\n          .......\n```\n\n- 真值图像中的像素应与标签一一对应。例如，在二值分割中，真值图像的像素应为0或255。\n\n### 训练命令：\n\n```bash \npython train.py --train_dataset \"输入训练目录\" --val_dataset \"输入验证目录\" --direc '保存结果的路径' --batch_size 4 --epoch 400 --save_freq 10 --modelname \"gatedaxialunet\" --learning_rate 0.001 --imgsize 128 --gray \"no\"\n```\n\n```bash\n若要训练MedT或LoGo，请将modelname改为MedT或logo。\n```\n\n### 测试命令：\n\n```bash \npython test.py --loaddirec \".\u002Fsaved_model_path\u002Fmodel_name.pth\" --val_dataset \"测试数据集目录\" --direc '保存结果的路径' --batch_size 1 --modelname \"gatedaxialunet\" --imgsize 128 --gray \"no\"\n```\n\n测试结果（包括预测的分割图）将与模型权重一同保存在results文件夹中。请使用MATLAB运行性能指标代码以计算F1分数和mIoU。\n\n### 注意事项：\n\n1) 请注意，这些实验是在配备48 GB显存的Nvidia Quadro 8000上进行的。  \n2) Google Colab代码是用于快速训练\u002F测试的非官方实现。请遵循原始代码以确保正确训练。\n\n### 致谢：\n\n数据加载器代码灵感来源于\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fcosmic-cortex\u002Fpytorch-UNet\"> pytorch-UNet \u003C\u002Fa>。轴向注意力代码则基于\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fcsrhddlam\u002Faxial-deeplab\">axial-deeplab\u003C\u002Fa>开发。\n\n# 引用：\n\n```bash\n@InProceedings{jose2021medical,\nauthor=\"Valanarasu, Jeya Maria Jose\nand Oza, Poojan\nand Hacihaliloglu, Ilker\nand Patel, Vishal M.\",\ntitle=\"Medical Transformer: Gated Axial-Attention for Medical Image Segmentation\",\nbooktitle=\"Medical Image Computing and Computer Assisted Intervention -- MICCAI 2021\",\nyear=\"2021\",\npublisher=\"Springer International Publishing\",\naddress=\"Cham\",\npages=\"36--46\",\nisbn=\"978-3-030-87193-2\"\n}\n\n```\n\n如有任何疑问或建议，请随时提交Issue或直接联系我。","# Medical-Transformer 快速上手指南\n\nMedical-Transformer (MedT) 是 MICCAI 2021 发表的一种用于医学图像分割的 Transformer 架构，引入了门控轴向注意力机制（Gated Axial-Attention）和局部-全局训练策略（LoGo），旨在解决医疗数据量少导致 Transformer 难以训练的问题。\n\n## 环境准备\n\n*   **系统要求**：Linux\u002FWindows\u002FmacOS\n*   **推荐配置**：Nvidia GPU（原文实验基于 Nvidia Quadro 8000 48GB，显存较小需调整 batch_size）\n*   **核心依赖版本**：\n    *   Python 3.6.10\n    *   PyTorch 1.4.0\n\n## 安装步骤\n\n### 1. 克隆代码库\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fjeya-maria-jose\u002FMedical-Transformer\ncd Medical-Transformer\n```\n\n### 2. 安装依赖\n\n你可以选择使用 Conda 或 Pip 进行安装。\n\n**方式一：使用 Conda（推荐）**\n\n```bash\nconda env create -f environment.yml\nconda activate medt\n```\n\n**方式二：使用 Pip**\n\n```bash\npip install -r requirements.txt\n```\n\n> **提示**：若在国内网络环境下安装缓慢，建议配置 pip 国内镜像源（如清华源）：\n> `pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n## 基本使用\n\n### 1. 数据集准备\n\n请将数据集整理为以下目录结构，确保图像和标签文件名一致，且标签像素值对应类别（例如二分类为 0 和 255）。\n\n```text\nTrain Folder-----\n      img----\n          0001.png\n          0002.png\n          .......\n      labelcol---\n          0001.png\n          0002.png\n          .......\nValidation Folder-----\n      img----\n          0001.png\n          0002.png\n          .......\n      labelcol---\n          0001.png\n          0002.png\n          .......\nTest Folder-----\n      img----\n          0001.png\n          0002.png\n          .......\n      labelcol---\n          0001.png\n          0002.png\n          .......\n```\n\n支持的数据集示例：MoNuSeG, GLAS 等。\n\n### 2. 模型训练\n\n使用 `train.py` 进行训练。可以通过 `--modelname` 参数选择模型：`gatedaxialunet`、`MedT` 或 `logo`。\n\n```bash \npython train.py --train_dataset \"enter train directory\" --val_dataset \"enter validation directory\" --direc 'path for results to be saved' --batch_size 4 --epoch 400 --save_freq 10 --modelname \"gatedaxialunet\" --learning_rate 0.001 --imgsize 128 --gray \"no\"\n```\n\n**关键参数说明：**\n*   `--train_dataset`: 训练集路径\n*   `--val_dataset`: 验证集路径\n*   `--direc`: 结果保存路径\n*   `--modelname`: 模型名称 (`gatedaxialunet`, `MedT`, `logo`)\n*   `--imgsize`: 输入图像尺寸\n\n### 3. 模型测试\n\n使用 `test.py` 进行推理测试。\n\n```bash \npython test.py --loaddirec \".\u002Fsaved_model_path\u002Fmodel_name.pth\" --val_dataset \"test dataset directory\" --direc 'path for results to be saved' --batch_size 1 --modelname \"gatedaxialunet\" --imgsize 128 --gray \"no\"\n```\n\n**关键参数说明：**\n*   `--loaddirec`: 预训练模型权重路径 (.pth)\n*   `--val_dataset`: 测试集路径\n*   `--direc`: 预测结果保存路径\n\n测试完成后，预测的分割图将保存在结果文件夹中。如需计算 F1 Score 和 mIoU，请使用提供的 MATLAB 代码进行性能评估。","某三甲医院病理科的 AI 研发团队正致力于开发一套自动化辅助诊断系统，旨在从海量的结肠组织病理切片图像中精准分割出腺体结构，以协助医生进行癌症分级。\n\n### 没有 Medical-Transformer 时\n- **数据饥渴导致训练困难**：传统 Vision Transformer 架构依赖大规模数据集才能收敛，而医疗标注数据稀缺且昂贵，模型极易过拟合，难以在有限样本下学到有效特征。\n- **细节与全局context难以兼顾**：现有 CNN 方法感受野受限，难以捕捉长距离依赖；而普通 Transformer 计算量大且容易忽略局部细微的细胞边界，导致腺体边缘分割模糊。\n- **算力资源消耗巨大**：标准自注意力机制计算复杂度随图像尺寸平方级增长，处理高分辨率病理大图时对显存要求极高，普通科研服务器难以负荷。\n- **泛化能力弱**：在不同染色批次或不同扫描仪来源的数据上，模型性能波动大，鲁棒性不足，难以直接部署到临床实际环境中。\n\n### 使用 Medical-Transformer 后\n- **小样本高效训练**：借助门控轴向注意力（Gated Axial-Attention）机制，Medical-Transformer 引入了额外的控制模块，显著降低了对数据量的需求，在少量标注数据下也能稳定收敛。\n- **局部全局特征融合**：通过 LoGo（Local-Global）训练策略，模型同时学习整图的全局上下文和补丁的局部细节，既保留了腺体的整体拓扑结构，又锐化了细胞级的分割边界。\n- **计算效率显著提升**：轴向注意力将二维全局注意力分解为两个一维操作，大幅降低了计算复杂度和显存占用，使得在常规 GPU 上训练高分辨率医学图像成为可能。\n- **跨域鲁棒性强**：在 MoNuSeG 和 GLAS 等公开基准测试中展现出优异的泛化性能，即使面对不同来源的病理图像，也能保持稳定的分割精度，更具临床落地潜力。\n\nMedical-Transformer 通过创新的注意力机制和训练策略，成功解决了医疗影像领域“数据少、精度高、算力限”的核心矛盾，为高精度病理分割提供了轻量且高效的解决方案。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjeya-maria-jose_Medical-Transformer_d9087458.png","jeya-maria-jose","Jeya Maria Jose","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fjeya-maria-jose_b2779a27.jpg","ML & CV | Healthcare","Microsoft Research",null,"jeyamariajose7@gmail.com","jeyamariajose","jeya-maria-jose.github.io\u002Fresearch","https:\u002F\u002Fgithub.com\u002Fjeya-maria-jose",[87,91],{"name":88,"color":89,"percentage":90},"Python","#3572A5",97.1,{"name":92,"color":93,"percentage":94},"MATLAB","#e16737",2.9,858,177,"2026-03-29T05:13:56","MIT","未说明","需要 NVIDIA GPU，实验中使用了 Nvidia Quadro 8000 (48GB 显存)",{"notes":102,"python":103,"dependencies":104},"代码在 Python 3.6.10 和 Pytorch 1.4.0 环境下稳定运行。可通过 conda (environment.yml) 或 pip (requirements.txt) 安装依赖。性能指标（F1 Score 和 mIoU）需使用 MATLAB 代码计算。Google Colab 版本为非官方实现，建议遵循原始代码进行正式训练。","3.6.10",[105],"Pytorch==1.4.0",[13,14,26],[108,109,110,111,112,113,114,115],"pytorch","segmentation","medical-imaging","medical-image-analysis","deep-learning","transformers","attention","transformer","2026-03-27T02:49:30.150509","2026-04-06T05:44:09.007043",[119,124,129,134,139,144],{"id":120,"question_zh":121,"answer_zh":122,"source_url":123},11688,"运行 train.py 时出现 TypeError: '\u003C=' not supported between instances of 'NoneType' and 'int' 错误，如何解决？","该错误通常是因为掩码（mask）文件夹中包含了非图像文件（例如 macOS 的 .DS_Store 文件或其他格式的文件）。请检查数据集的 mask 文件夹，删除所有非图像文件（如 .DS_Store），确保只包含有效的图像文件（如 .png 或 .jpg），即可解决此问题。","https:\u002F\u002Fgithub.com\u002Fjeya-maria-jose\u002FMedical-Transformer\u002Fissues\u002F44",{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},11689,"训练较大尺寸图像时出现 \"CUDA out of memory\" 显存不足错误，该如何调整？","可以通过减少通道数来适应显存限制。具体方法是修改模型定义函数中的 `s` 和 `layers` 参数值。例如，在 `lib\u002Fmodels\u002Faxialnet.py` 中调整这些参数以降低内存消耗。注意：`medt_net` 中注释掉部分解码器代码主要是为了减少训练时间，而非直接解决显存问题，主要优化手段仍是调整 `s` 和 `layers`。","https:\u002F\u002Fgithub.com\u002Fjeya-maria-jose\u002FMedical-Transformer\u002Fissues\u002F17",{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},11690,"测试代码（test.py）运行时出现 TypeError: expected str, bytes or os.PathLike object, not NoneType 错误，原因是什么？","这通常是因为传入的参数路径不正确或未正确解析。虽然有人建议为 `parser.add_argument` 添加默认路径，但根本原因往往是图像路径配置错误。请仔细检查命令行中 `--val_dataset` 和其他路径参数是否指向了正确的目录结构（通常应包含 'img' 子文件夹），确保路径字符串有效且文件存在。","https:\u002F\u002Fgithub.com\u002Fjeya-maria-jose\u002FMedical-Transformer\u002Fissues\u002F84",{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},11691,"复现实验时，Colab 上的测试结果（F1, IoU）与论文中的数据不一致，原因是什么？","Colab 上的代码是非官方实现，仅用于快速训练和测试，因此结果可能与论文有差异。此外，论文中的实验是将 GLAS 数据集调整为 128x128 分辨率后进行的。官方预训练模型和更准确的实现代码后续会提供，建议以官方发布的预训练模型为准。","https:\u002F\u002Fgithub.com\u002Fjeya-maria-jose\u002FMedical-Transformer\u002Fissues\u002F10",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},11692,"训练过程中 Loss 变为 NaN 或者训练中途断开，可能是什么原因？","这可能是由于批次大小（batch size）或轮数（epoch）设置不当导致的。原作者实验中使用的 batch size 为 4。如果遇到此类问题，建议检查输入数据是否正确（确保预测对应的输入与可视化一致），并尝试使用推荐的超参数组合。维护者表示将在后续提交中更新每个数据集获得最佳性能的确切 epoch 和 batch size。","https:\u002F\u002Fgithub.com\u002Fjeya-maria-jose\u002FMedical-Transformer\u002Fissues\u002F3",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},11693,"如何获取 MedT 项目使用的预处理数据集？","目前许多用户请求提供预处理后的数据集。根据维护者在其他 issue 中的回复，GLAS 数据集在实验前被调整为 128x128 分辨率。具体的预处理数据集和预训练模型计划在未来发布，建议关注仓库更新或查看是否有官方提供的 Colab 链接获取标准数据处理流程。","https:\u002F\u002Fgithub.com\u002Fjeya-maria-jose\u002FMedical-Transformer\u002Fissues\u002F38",[]]