[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-HobbitLong--SupContrast":3,"tool-HobbitLong--SupContrast":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":81,"owner_email":81,"owner_twitter":82,"owner_website":83,"owner_url":84,"languages":85,"stars":90,"forks":91,"last_commit_at":92,"license":93,"difficulty_score":10,"env_os":94,"env_gpu":95,"env_ram":94,"env_deps":96,"category_tags":101,"github_topics":81,"view_count":23,"oss_zip_url":81,"oss_zip_packed_at":81,"status":16,"created_at":102,"updated_at":103,"faqs":104,"releases":140},2110,"HobbitLong\u002FSupContrast","SupContrast","PyTorch implementation of \"Supervised Contrastive Learning\"  (and SimCLR incidentally)","SupContrast 是一个基于 PyTorch 实现的开源项目，核心提供了“监督对比学习”（Supervised Contrastive Learning）的参考代码，同时也兼容经典的无监督 SimCLR 框架。它主要解决了传统监督学习仅依赖交叉熵损失函数时，模型在特征空间中对同类样本聚集不够紧密、对噪声鲁棒性不足的问题。通过引入对比机制，SupContrast 强制拉近同标签样本的特征距离并推远不同标签样本，从而显著提升了模型的泛化能力和最终准确率。实验数据显示，在 CIFAR-10 和 CIFAR-100 数据集上，其表现均优于传统的监督交叉熵方法和无监督 SimCLR。\n\n该项目特别适合人工智能研究人员和深度学习开发者使用，尤其是那些希望复现前沿论文、探索更优损失函数或需要在自定义数据集上训练高性能视觉模型的用户。其独特的技术亮点在于灵活的损失函数设计：同一个 `SupConLoss` 模块，传入标签即可执行监督对比学习，若不传标签则自动退化为 SimCLR，极大地方便了算法对比与调试。此外，项目还分享了在 ImageNet 上利用动量编码器技巧达到超过 79% 准确率的预训","SupContrast 是一个基于 PyTorch 实现的开源项目，核心提供了“监督对比学习”（Supervised Contrastive Learning）的参考代码，同时也兼容经典的无监督 SimCLR 框架。它主要解决了传统监督学习仅依赖交叉熵损失函数时，模型在特征空间中对同类样本聚集不够紧密、对噪声鲁棒性不足的问题。通过引入对比机制，SupContrast 强制拉近同标签样本的特征距离并推远不同标签样本，从而显著提升了模型的泛化能力和最终准确率。实验数据显示，在 CIFAR-10 和 CIFAR-100 数据集上，其表现均优于传统的监督交叉熵方法和无监督 SimCLR。\n\n该项目特别适合人工智能研究人员和深度学习开发者使用，尤其是那些希望复现前沿论文、探索更优损失函数或需要在自定义数据集上训练高性能视觉模型的用户。其独特的技术亮点在于灵活的损失函数设计：同一个 `SupConLoss` 模块，传入标签即可执行监督对比学习，若不传标签则自动退化为 SimCLR，极大地方便了算法对比与调试。此外，项目还分享了在 ImageNet 上利用动量编码器技巧达到超过 79% 准确率的预训练模型，为工业界应用提供了宝贵的基准参考。","# SupContrast: Supervised Contrastive Learning\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHobbitLong_SupContrast_readme_9c5bad6dc27b.png\" width=\"700\">\n\u003C\u002Fp>\n\nThis repo covers an reference implementation for the following papers in PyTorch, using CIFAR as an illustrative example:  \n(1) Supervised Contrastive Learning. [Paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2004.11362)  \n(2) A Simple Framework for Contrastive Learning of Visual Representations. [Paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2002.05709)  \n\n## Update\n\n${\\color{red}Note}$: if you found it not easy to parse the supcon loss implementation in this repo, we got you. Supcon loss essentially is just a cross-entropy loss (see eq 4 in the [StableRep](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.00984.pdf) paper). So we got a cleaner and simpler implementation [here](https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Fsyn-rep-learn\u002Fblob\u002Fmain\u002FStableRep\u002Fmodels\u002Flosses.py#L49). Hope it helps.\n\nImageNet model (small batch size with the trick of the momentum encoder) is released [here](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fl4a69ececk4spdt\u002Fsupcon.pth?dl=0). It achieved > 79% top-1 accuracy.\n\n## Loss Function\nThe loss function [`SupConLoss`](https:\u002F\u002Fgithub.com\u002FHobbitLong\u002FSupContrast\u002Fblob\u002Fmaster\u002Flosses.py#L11) in `losses.py` takes `features` (L2 normalized) and `labels` as input, and return the loss. If `labels` is `None` or not passed to the it, it degenerates to SimCLR.\n\nUsage:\n```python\nfrom losses import SupConLoss\n\n# define loss with a temperature `temp`\ncriterion = SupConLoss(temperature=temp)\n\n# features: [bsz, n_views, f_dim]\n# `n_views` is the number of crops from each image\n# better be L2 normalized in f_dim dimension\nfeatures = ...\n# labels: [bsz]\nlabels = ...\n\n# SupContrast\nloss = criterion(features, labels)\n# or SimCLR\nloss = criterion(features)\n...\n```\n\n## Comparison\nResults on CIFAR-10:\n|          |Arch | Setting | Loss | Accuracy(%) |\n|----------|:----:|:---:|:---:|:---:|\n|  SupCrossEntropy | ResNet50 | Supervised   | Cross Entropy |  95.0  |\n|  SupContrast     | ResNet50 | Supervised   | Contrastive   |  96.0  | \n|  SimCLR          | ResNet50 | Unsupervised | Contrastive   |  93.6  |\n\nResults on CIFAR-100:\n|          |Arch | Setting | Loss | Accuracy(%) |\n|----------|:----:|:---:|:---:|:---:|\n|  SupCrossEntropy | ResNet50 | Supervised   | Cross Entropy |  75.3 |\n|  SupContrast     | ResNet50 | Supervised   | Contrastive   |  76.5 | \n|  SimCLR          | ResNet50 | Unsupervised | Contrastive   |  70.7 |\n\nResults on ImageNet (Stay tuned):\n|          |Arch | Setting | Loss | Accuracy(%) |\n|----------|:----:|:---:|:---:|:---:|\n|  SupCrossEntropy | ResNet50 | Supervised   | Cross Entropy |  -  |\n|  SupContrast     | ResNet50 | Supervised   | Contrastive   |  79.1 (MoCo trick)  | \n|  SimCLR          | ResNet50 | Unsupervised | Contrastive   |  -  |\n\n## Running\nYou might use `CUDA_VISIBLE_DEVICES` to set proper number of GPUs, and\u002For switch to CIFAR100 by `--dataset cifar100`.  \n**(1) Standard Cross-Entropy**\n```\npython main_ce.py --batch_size 1024 \\\n  --learning_rate 0.8 \\\n  --cosine --syncBN \\\n```\n**(2) Supervised Contrastive Learning**  \nPretraining stage:\n```\npython main_supcon.py --batch_size 1024 \\\n  --learning_rate 0.5 \\\n  --temp 0.1 \\\n  --cosine\n```\n\n\u003Cs>You can also specify `--syncBN` but I found it not crucial for SupContrast (`syncBN` 95.9% v.s. `BN` 96.0%). \u003C\u002Fs>\n\nWARN: Currently, `--syncBN` has no effect since the code is using `DataParallel` instead of `DistributedDataParaleel`\n\nLinear evaluation stage:\n```\npython main_linear.py --batch_size 512 \\\n  --learning_rate 5 \\\n  --ckpt \u002Fpath\u002Fto\u002Fmodel.pth\n```\n**(3) SimCLR**  \nPretraining stage:\n```\npython main_supcon.py --batch_size 1024 \\\n  --learning_rate 0.5 \\\n  --temp 0.5 \\\n  --cosine --syncBN \\\n  --method SimCLR\n```\nThe `--method SimCLR` flag simply stops `labels` from being passed to `SupConLoss` criterion.\nLinear evaluation stage:\n```\npython main_linear.py --batch_size 512 \\\n  --learning_rate 1 \\\n  --ckpt \u002Fpath\u002Fto\u002Fmodel.pth\n```\n\nOn custom dataset:\n```\npython main_supcon.py --batch_size 1024 \\\n  --learning_rate 0.5  \\ \n  --temp 0.1 --cosine \\\n  --dataset path \\\n  --data_folder .\u002Fpath \\\n  --mean \"(0.4914, 0.4822, 0.4465)\" \\\n  --std \"(0.2675, 0.2565, 0.2761)\" \\\n  --method SimCLR\n```\n\nThe `--data_folder` must be of form .\u002Fpath\u002Flabel\u002Fxxx.png folowing https:\u002F\u002Fpytorch.org\u002Fdocs\u002Fstable\u002Ftorchvision\u002Fdatasets.html#torchvision.datasets.ImageFolder convension.\n\nand \n## t-SNE Visualization\n\n**(1) Standard Cross-Entropy**\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHobbitLong_SupContrast_readme_2b922edc6f92.jpg\" width=\"400\">\n\u003C\u002Fp>\n\n**(2) Supervised Contrastive Learning**\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHobbitLong_SupContrast_readme_8daa2843f14e.jpg\" width=\"800\">\n\u003C\u002Fp>\n\n**(3) SimCLR**\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHobbitLong_SupContrast_readme_a255907ba4e8.jpg\" width=\"800\">\n\u003C\u002Fp>\n\n## Reference\n```\n@Article{khosla2020supervised,\n    title   = {Supervised Contrastive Learning},\n    author  = {Prannay Khosla and Piotr Teterwak and Chen Wang and Aaron Sarna and Yonglong Tian and Phillip Isola and Aaron Maschinot and Ce Liu and Dilip Krishnan},\n    journal = {arXiv preprint arXiv:2004.11362},\n    year    = {2020},\n}\n```\n","# SupContrast：有监督对比学习\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHobbitLong_SupContrast_readme_9c5bad6dc27b.png\" width=\"700\">\n\u003C\u002Fp>\n\n本仓库提供了以下论文的 PyTorch 参考实现，并以 CIFAR 数据集作为示例：\n(1) 有监督对比学习。[论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2004.11362)  \n(2) 视觉表征对比学习的简单框架。[论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2002.05709)  \n\n## 更新\n\n${\\color{red}注意}$：如果您觉得解析本仓库中的 supcon 损失实现有些困难，我们为您准备了更简洁的版本。SupCon 损失本质上就是交叉熵损失（参见 [StableRep](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.00984.pdf) 论文中的公式 4）。因此，我们在 [这里](https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Fsyn-rep-learn\u002Fblob\u002Fmain\u002FStableRep\u002Fmodels\u002Flosses.py#L49) 提供了一个更加清晰、简单的实现。希望对您有所帮助。\n\n使用动量编码器技巧的小批量 ImageNet 模型已发布在 [这里](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fl4a69ececk4spdt\u002Fsupcon.pth?dl=0)，其 top-1 准确率超过 79%。\n\n## 损失函数\n`losses.py` 中的 [`SupConLoss`](https:\u002F\u002Fgithub.com\u002FHobbitLong\u002FSupContrast\u002Fblob\u002Fmaster\u002Flosses.py#L11) 损失函数接受 L2 归一化的 `features` 和 `labels` 作为输入，并返回损失值。如果 `labels` 为 `None` 或未传入，则该损失退化为 SimCLR 的形式。\n\n使用方法如下：\n```python\nfrom losses import SupConLoss\n\n# 定义带有温度参数 `temp` 的损失函数\ncriterion = SupConLoss(temperature=temp)\n\n# features: [bsz, n_views, f_dim]\n# `n_views` 是每张图像的裁剪数量\n# 建议在 f_dim 维度上进行 L2 归一化\nfeatures = ...\n# labels: [bsz]\nlabels = ...\n\n# SupContrast\nloss = criterion(features, labels)\n# 或者 SimCLR\nloss = criterion(features)\n...\n```\n\n## 对比结果\nCIFAR-10 上的结果：\n|          |架构 | 设置       | 损失     | 准确率(%) |\n|----------|:----:|:---:|:---:|:---:|\n|  SupCrossEntropy | ResNet50 | 有监督   | 交叉熵 |  95.0  |\n|  SupContrast     | ResNet50 | 有监督   | 对比学习 |  96.0  | \n|  SimCLR          | ResNet50 | 无监督   | 对比学习 |  93.6  |\n\nCIFAR-100 上的结果：\n|          |架构 | 设置       | 损失     | 准确率(%) |\n|----------|:----:|:---:|:---:|:---:|\n|  SupCrossEntropy | ResNet50 | 有监督   | 交叉熵 |  75.3 |\n|  SupContrast     | ResNet50 | 有监督   | 对比学习 |  76.5 | \n|  SimCLR          | ResNet50 | 无监督   | 对比学习 |  70.7 |\n\nImageNet 上的结果（敬请期待）：\n|          |架构 | 设置       | 损失     | 准确率(%) |\n|----------|:----:|:---:|:---:|:---:|\n|  SupCrossEntropy | ResNet50 | 有监督   | 交叉熵 |  -  |\n|  SupContrast     | ResNet50 | 有监督   | 对比学习 |  79.1（MoCo 技巧）  | \n|  SimCLR          | ResNet50 | 无监督   | 对比学习 |  -  |\n\n## 运行\n您可以使用 `CUDA_VISIBLE_DEVICES` 来设置合适的 GPU 数量，或者通过 `--dataset cifar100` 切换到 CIFAR100 数据集。  \n**(1) 标准交叉熵**\n```\npython main_ce.py --batch_size 1024 \\\n  --learning_rate 0.8 \\\n  --cosine --syncBN \\\n```\n**(2) 有监督对比学习**  \n预训练阶段：\n```\npython main_supcon.py --batch_size 1024 \\\n  --learning_rate 0.5 \\\n  --temp 0.1 \\\n  --cosine\n```\n\n\u003Cs>您也可以指定 `--syncBN`，但我发现它对 SupContrast 并不关键（`syncBN` 95.9% v.s. `BN` 96.0%）。 \u003C\u002Fs>\n\n警告：目前 `--syncBN` 没有效果，因为代码使用的是 `DataParallel` 而不是 `DistributedDataParallel`。\n\n线性评估阶段：\n```\npython main_linear.py --batch_size 512 \\\n  --learning_rate 5 \\\n  --ckpt \u002Fpath\u002Fto\u002Fmodel.pth\n```\n**(3) SimCLR**  \n预训练阶段：\n```\npython main_supcon.py --batch_size 1024 \\\n  --learning_rate 0.5 \\\n  --temp 0.5 \\\n  --cosine --syncBN \\\n  --method SimCLR\n```\n`--method SimCLR` 标志的作用是阻止 `labels` 被传递给 `SupConLoss` 损失函数。\n\n线性评估阶段：\n```\npython main_linear.py --batch_size 512 \\\n  --learning_rate 1 \\\n  --ckpt \u002Fpath\u002Fto\u002Fmodel.pth\n```\n\n针对自定义数据集：\n```\npython main_supcon.py --batch_size 1024 \\\n  --learning_rate 0.5  \\ \n  --temp 0.1 --cosine \\\n  --dataset path \\\n  --data_folder .\u002Fpath \\\n  --mean \"(0.4914, 0.4822, 0.4465)\" \\\n  --std \"(0.2675, 0.2565, 0.2761)\" \\\n  --method SimCLR\n```\n\n`--data_folder` 必须遵循 https:\u002F\u002Fpytorch.org\u002Fdocs\u002Fstable\u002Ftorchvision\u002Fdatasets.html#torchvision.datasets.ImageFolder 的约定，格式为 .\u002Fpath\u002Flabel\u002Fxxx.png。\n\n以及\n## t-SNE 可视化\n\n**(1) 标准交叉熵**\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHobbitLong_SupContrast_readme_2b922edc6f92.jpg\" width=\"400\">\n\u003C\u002Fp>\n\n**(2) 有监督对比学习**\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHobbitLong_SupContrast_readme_8daa2843f14e.jpg\" width=\"800\">\n\u003C\u002Fp>\n\n**(3) SimCLR**\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHobbitLong_SupContrast_readme_a255907ba4e8.jpg\" width=\"800\">\n\u003C\u002Fp>\n\n## 参考文献\n```\n@Article{khosla2020supervised,\n    title   = {Supervised Contrastive Learning},\n    author  = {Prannay Khosla and Piotr Teterwak and Chen Wang and Aaron Sarna and Yonglong Tian and Phillip Isola and Aaron Maschinot and Ce Liu and Dilip Krishnan},\n    journal = {arXiv preprint arXiv:2004.11362},\n    year    = {2020},\n}\n```","# SupContrast 快速上手指南\n\nSupContrast 是一个基于 PyTorch 的开源项目，实现了**监督对比学习（Supervised Contrastive Learning）**。相比传统的交叉熵损失函数，该方法在图像分类任务中通常能获得更高的准确率；若不提供标签，它也可退化为无监督的 SimCLR 方法。\n\n## 环境准备\n\n本项目依赖 Python 和 PyTorch 环境。建议在使用前确保系统已安装以下基础组件：\n\n*   **操作系统**: Linux (推荐) 或 macOS\n*   **Python**: 3.6+\n*   **PyTorch**: 1.4+ (需包含 torchvision)\n*   **GPU**: 推荐使用 NVIDIA GPU 以加速训练（代码示例中使用了多卡批处理）\n\n**前置依赖安装：**\n```bash\npip install torch torchvision tensorboard numpy\n```\n\n> **提示**：国内用户建议使用清华或阿里镜像源加速安装：\n> `pip install torch torchvision tensorboard numpy -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n## 安装步骤\n\nSupContrast 无需复杂的编译安装过程，直接克隆仓库即可使用。\n\n1.  **克隆仓库**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002FHobbitLong\u002FSupContrast.git\n    cd SupContrast\n    ```\n\n2.  **验证文件结构**\n    确保目录下包含 `losses.py`（核心损失函数）、`main_supcon.py`（训练脚本）等关键文件。\n\n## 基本使用\n\n### 1. 核心损失函数调用\n\n这是最精简的使用方式，可直接集成到你现有的 PyTorch 训练循环中。`SupConLoss` 接受归一化的特征向量和标签。\n\n```python\nfrom losses import SupConLoss\n\n# 定义损失函数，设置温度参数 temp\ncriterion = SupConLoss(temperature=0.1)\n\n# 模拟输入数据\n# features: [batch_size, n_views, feature_dim] \n# n_views 表示每张图像的增强视图数量（通常为 2）\n# 建议在 feature_dim 维度进行 L2 归一化\nfeatures = ... \n# labels: [batch_size]\n# 如果传入 labels，则为 Supervised Contrastive Learning\n# 如果不传 labels (或设为 None)，则自动退化为 SimCLR\nlabels = ...\n\n# 计算损失\nloss = criterion(features, labels)\n```\n\n### 2. 运行训练示例\n\n项目提供了完整的训练脚本，支持 CIFAR-10\u002F100 数据集。\n\n**场景 A：监督对比学习 (Supervised Contrastive Learning)**\n使用标签进行预训练，通常能获得最佳效果。\n```bash\npython main_supcon.py --batch_size 1024 \\\n  --learning_rate 0.5 \\\n  --temp 0.1 \\\n  --cosine\n```\n\n**场景 B：无监督对比学习 (SimCLR)**\n不传入标签，复现 SimCLR 算法。\n```bash\npython main_supcon.py --batch_size 1024 \\\n  --learning_rate 0.5 \\\n  --temp 0.5 \\\n  --cosine \\\n  --method SimCLR\n```\n\n**场景 C：线性评估 (Linear Evaluation)**\n在预训练模型基础上冻结骨干网络，仅训练分类头进行评估。\n```bash\npython main_linear.py --batch_size 512 \\\n  --learning_rate 5 \\\n  --ckpt \u002Fpath\u002Fto\u002Fmodel.pth\n```\n\n### 3. 自定义数据集\n\n若要使用自己的图像数据集，需遵循 PyTorch `ImageFolder` 的目录结构（即 `.\u002Fdata_folder\u002Flabel_name\u002Fimage.png`），并指定均值和标准差。\n\n```bash\npython main_supcon.py --batch_size 1024 \\\n  --learning_rate 0.5 \\\n  --temp 0.1 --cosine \\\n  --dataset path \\\n  --data_folder .\u002Fyour_data_path \\\n  --mean \"(0.4914, 0.4822, 0.4465)\" \\\n  --std \"(0.2675, 0.2565, 0.2761)\"\n```\n\n> **注意**：多卡训练时，可通过 `CUDA_VISIBLE_DEVICES` 环境变量指定 GPU 编号。例如：`CUDA_VISIBLE_DEVICES=0,1 python main_supcon.py ...`","某医疗影像初创团队正在开发基于 X 光片的肺炎辅助诊断系统，面临标注数据有限且模型泛化能力不足的难题。\n\n### 没有 SupContrast 时\n- 团队沿用传统的交叉熵损失函数训练 ResNet50，在数据增强产生的细微变异面前，模型难以捕捉同类病灶的本质特征，导致测试集准确率卡在 95.0% 的瓶颈。\n- 由于缺乏对特征空间的有效约束，同类病例的特征分布松散，不同类别的边界模糊，模型在面对罕见变异株时极易发生误判。\n- 为了提升精度，工程师被迫花费数周时间清洗更多数据或手动调整复杂的网络结构，研发周期被大幅拉长。\n\n### 使用 SupContrast 后\n- 引入监督对比学习损失后，模型强制将同一类病例的不同增强视图在特征空间中拉近，同时将不同类别推远，使 CIFAR-10 级别的验证准确率直接提升至 96.0%。\n- 特征表示变得更加紧凑且鲁棒，即使输入图像存在噪声或拍摄角度差异，模型也能精准锁定病灶区域，显著降低了漏诊率。\n- 无需更改骨干网络架构，仅需替换损失函数并调整少量超参数（如温度系数），团队便在两天内完成了模型迭代，快速满足了临床部署需求。\n\nSupContrast 通过重构特征空间的分布逻辑，以极低的改造成本突破了传统监督学习在细粒度分类上的性能天花板。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHobbitLong_SupContrast_9c5bad6d.png","HobbitLong","Yonglong Tian","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FHobbitLong_7499641b.jpg","Temporarily @OpenAI. Previously @Google-DeepMind, @MIT.","MIT CSAIL",null,"YonglongT","http:\u002F\u002Fpeople.csail.mit.edu\u002Fyonglong\u002F","https:\u002F\u002Fgithub.com\u002FHobbitLong",[86],{"name":87,"color":88,"percentage":89},"Python","#3572A5",100,3426,553,"2026-04-05T07:45:42","BSD-2-Clause","未说明","需要 NVIDIA GPU (通过 CUDA_VISIBLE_DEVICES 设置)，具体型号和显存未说明，但示例命令中 batch_size 高达 1024，暗示需要较大显存或多卡环境",{"notes":97,"python":94,"dependencies":98},"代码目前使用 DataParallel 而非 DistributedDataParallel，因此 --syncBN 参数无效。支持在自定义数据集上运行，需遵循 PyTorch ImageFolder 目录结构规范。提供了 SimCLR 和 Supervised Contrastive Learning 两种模式的实现。",[99,100],"PyTorch","torchvision",[14,13],"2026-03-27T02:49:30.150509","2026-04-06T06:44:27.632076",[105,110,115,120,125,130,135],{"id":106,"question_zh":107,"answer_zh":108,"source_url":109},9713,"训练过程中 Loss 变为 NaN 或出现除零错误怎么办？","这通常是因为 `exp_logits` 计算结果为 0，导致后续取对数 `log` 时出现未定义值。解决方案有两种：\n1. 在计算 log_prob 时分母添加一个极小值（如 1e-20 或 1e-12）以防止除零：\n   `mean_log_prob_pos = (mask * log_prob).sum(1) \u002F (mask.sum(1) + 1e-12)`\n2. 在将特征向量传入损失函数之前，先对特征向量进行归一化处理。\n如果未使用数据增强导致某些类别只有一个样本，`mask.sum(1)` 可能为 0，此时必须采用上述加法策略。","https:\u002F\u002Fgithub.com\u002FHobbitLong\u002FSupContrast\u002Fissues\u002F2",{"id":111,"question_zh":112,"answer_zh":113,"source_url":114},9714,"在 ImageNet 数据集上运行时显存溢出（OOM）或无法加载大分辨率图像怎么办？","这是因为代码中的 `resnet_big.py` 默认是为 CIFAR-10\u002F100 设计的，其第一层卷积核大小（kernel_size=3）和步长（stride=1）不适合 ImageNet 的 224x224 输入，会导致生成巨大的特征图从而占满显存。\n解决方法：不要直接使用 `resnet_big.py` 处理 ImageNet，应替换为官方适配 ImageNet 的 ResNet 模型，或者修改 `resnet_big.py` 的第一层卷积参数以适配大分辨率输入。","https:\u002F\u002Fgithub.com\u002FHobbitLong\u002FSupContrast\u002Fissues\u002F74",{"id":116,"question_zh":117,"answer_zh":118,"source_url":119},9715,"Loss 在几次迭代后饱和不再下降，且所有输出向量的点积都接近 1 是什么原因？","这通常发生在未使用数据增强（augmentation）的场景下（例如直接使用 BERT 的 cls token）。由于没有增强数据，每个类别可能只有一个样本，导致正样本掩码 `mask.sum(1)` 为 0，进而引发计算不稳定。\n解决方案：\n1. 确保在损失计算的分母中加入平滑项（如 1e-12）：`mask.sum(1) + 1e-12`。\n2. 如果使用 BERT 等模型且不使用 MLP 投影头，直接输入表示向量时需注意输入形状应为 `[batch_size, 1, dim]`。\n3. 需要更多的迭代次数，因为模型需要测试更多的标签组合才能收敛。","https:\u002F\u002Fgithub.com\u002FHobbitLong\u002FSupContrast\u002Fissues\u002F21",{"id":121,"question_zh":122,"answer_zh":123,"source_url":124},9716,"如何在多 GPU 或多节点环境下高效计算 SupConLoss？","原实现可能在多卡计算时存在瓶颈。维护者推荐参考 Google Research 的稳定实现版本，该版本专为分布式数据并行（DDP）设计，支持多节点和多 GPU 场景。\n参考代码地址：https:\u002F\u002Fgithub.com\u002Fgoogle-research\u002Fsyn-rep-learn\u002Fblob\u002Fmain\u002FStableRep\u002Fmodels\u002Flosses.py#L49\n你可以将该实现复用为支持 DDP 的 SupCon loss。此外，有用户反馈在单卡上使用 FP16 混合精度训练可以显著减少显存占用并加快训练速度。","https:\u002F\u002Fgithub.com\u002FHobbitLong\u002FSupContrast\u002Fissues\u002F15",{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},9717,"代码中的 `base_temperature` 参数有什么作用？是否需要调整？","`base_temperature` 主要用于缩放学习率或作为温度参数的基准值（默认通常为 0.07）。代码逻辑中先除以 `self.temperature` 再乘以 `(self.temperature \u002F self.base_temperature)`，这在数学上看似抵消，但实际上是为了保持与原始论文或基准实验的一致性。\n目前社区对于该参数是否需要在不同数据集上进行精细调优尚无定论，但在大多数标准实验中，保持默认值 0.07 即可。如果发现训练不稳定，可尝试将其视为敏感超参数进行微调。","https:\u002F\u002Fgithub.com\u002FHobbitLong\u002FSupContrast\u002Fissues\u002F1",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},9718,"如何使用 t-SNE 可视化潜在空间（latent space）的结果？","虽然可以直接调用 t-SNE 库进行可视化，但有用户指出，对于自监督学习或对比学习模型，简单地使用 t-SNE 往往无法正确反映潜在空间的结构，结果可能没有实际意义。\n建议：在可视化前确保提取的是经过充分训练的表征向量，并可能需要结合特定的降维策略或聚类分析来辅助观察，而不仅仅依赖默认的 t-SNE 参数。目前仓库未提供专门的可视化脚本，需自行编写代码提取特征后调用 `sklearn.manifold.TSNE` 进行处理。","https:\u002F\u002Fgithub.com\u002FHobbitLong\u002FSupContrast\u002Fissues\u002F39",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},9719,"在使用 DataParallel 时，SyncBN（同步批归一化）是否能正常工作？","SyncBN 通常是专门为 `DistributedDataParallel` (DDP) 设计的，而在 `DataParallel` (DP) 模式下可能无法发挥预期作用甚至无效。\n如果在 DP 模式下遇到训练效果不佳或复现论文结果困难的情况，建议切换到 `DistributedDataParallel` 模式以正确使用 SyncBN。有用户质疑在 DP 模式下使用 SyncBN 可能导致论文数据复现出现问题。","https:\u002F\u002Fgithub.com\u002FHobbitLong\u002FSupContrast\u002Fissues\u002F18",[]]