[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-aqlaboratory--proteinnet":3,"tool-aqlaboratory--proteinnet":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":80,"owner_twitter":81,"owner_website":82,"owner_url":83,"languages":84,"stars":89,"forks":90,"last_commit_at":91,"license":92,"difficulty_score":23,"env_os":93,"env_gpu":93,"env_ram":94,"env_deps":95,"category_tags":101,"github_topics":102,"view_count":23,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":109,"updated_at":110,"faqs":111,"releases":140},2146,"aqlaboratory\u002Fproteinnet","proteinnet","Standardized data set for machine learning of protein structure","ProteinNet 是一套专为蛋白质结构机器学习设计的标准化数据集。它整合了蛋白质序列、二级与三级结构、多序列比对（MSA）以及位置特异性评分矩阵（PSSM），并提供了严格划分的训练、验证和测试集。\n\n在生物化学领域，蛋白质结构预测虽至关重要，但机器学习研究者往往因缺乏统一的数据标准和历史版本控制而难以公平评估新算法。ProteinNet 正是为了解决这一痛点而生。它巧妙依托每两年举办一次的 CASP（蛋白质结构预测关键评估）竞赛，利用其“盲测”机制构建测试集，确保评估结果代表当时的技术前沿。更独特的是，ProteinNet 通过回溯历史数据库，重构了每个 CASP 节点之前的数据环境，有效避免了数据泄露，让模型训练与测试的时间界限清晰分明。\n\n这套工具非常适合从事生物信息学、计算生物学以及深度学习领域的研究人员和开发者使用。无论是希望在数据稀缺环境下探索新方法的学者，还是致力于推动 AI 在生命科学领域应用的工程师，都能利用 ProteinNet 快速搭建实验环境，进行公平、可复现的算法对比与研究，从而加速蛋白质结构预测技术的创新突破。","# ProteinNet\nProteinNet is a standardized data set for machine learning of protein structure. It provides protein sequences, structures ([secondary](https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FProtein_secondary_structure) and [tertiary](https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FProtein_tertiary_structure)), multiple sequence alignments ([MSAs](https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FMultiple_sequence_alignment)), position-specific scoring matrices ([PSSMs](https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FPosition_weight_matrix)), and standardized [training \u002F validation \u002F test](https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FTraining,_test,_and_validation_sets) splits. ProteinNet builds on the biennial [CASP](http:\u002F\u002Fpredictioncenter.org\u002F) assessments, which carry out blind predictions of recently solved but publicly unavailable protein structures, to provide test sets that push the frontiers of computational methodology. It is organized as a series of data sets, spanning CASP 7 through 12 (covering a ten-year period), to provide a range of data set sizes that enable assessment of new methods in relatively data poor and data rich regimes.\n\n**Note that this is a preliminary release.** The raw data used for construction of the data sets, as well as the MSAs, are not yet generally available. However, the raw MSA data (4TB) for ProteinNet 12 is available upon request. Transfer requires downloading of a Globus client. See the [raw data](https:\u002F\u002Fgithub.com\u002Faqlaboratory\u002Fproteinnet\u002Fblob\u002Fmaster\u002Fdocs\u002Fraw_data.md) section for more information.\n\n### Motivation\nProtein structure prediction is one of the central problems of biochemistry. While the problem is well-studied within the biological and chemical sciences, it is less well represented within the machine learning community. We suspect this is due to two reasons: 1) a high barrier to entry for non-domain experts, and 2) lack of standardization in terms of training \u002F validation \u002F test splits that make fair and consistent comparisons across methods possible. If these two issues are addressed, protein structure prediction can become a major source of innovation in ML research, alongside the canonical tasks of computer vision, NLP, and speech recognition. Much like [ImageNet](http:\u002F\u002Fwww.image-net.org) helped [spur the development](https:\u002F\u002Fqz.com\u002F1034972\u002Fthe-data-that-changed-the-direction-of-ai-research-and-possibly-the-world\u002F) of new computer vision techniques, ProteinNet aims to facilitate ML research on protein structure by providing a standardized data set, and standardized training \u002F validation \u002F test splits, that any group can use with minimal effort to get started.\n\n### Approach\nOnce every two years the [CASP](http:\u002F\u002Fpredictioncenter.org\u002F) assessment is held. During this competition structure predictors from across the globe are presented with protein sequences whose structures have been recently solved but which have not yet been made publicly available. The predictors make blind predictions of these structures, which are then assessed for their accuracy. The CASP structures thus provide a standardized benchmark for how well prediction methods perform at a _given moment in time_. The basic idea behind ProteinNet is to piggyback on CASP, by using CASP structures as test sets. ProteinNet augments these test sets with training \u002F validation sets that _reset the historical record_ to the conditions preceding each CASP experiment. In particular, ProteinNet restricts the set of sequences (used for building PSSMs and MSAs) and structures to those available prior to the commencement of each CASP. This is critical as standard databases such as [BLAST](https:\u002F\u002Fblast.ncbi.nlm.nih.gov\u002FBlast.cgi) do not maintain historical versions. We use time-reset versions of the [UniParc](http:\u002F\u002Fwww.uniprot.org\u002Funiparc\u002F) dataset as well as metagenomic sequences from the [JGI](https:\u002F\u002Fimg.jgi.doe.gov\u002F) to build sequence databases for deriving MSAs. ProteinNet further provides carefully split validation sets that range in difficulty from easy (>90% seq. id.), useful for assessing a model's ability to predict minor changes in protein structure such as mutations, to extremely difficult (\u003C10 seq. id.), useful for assessing a model's abiliy to predict entirely new protein folds, as in the CASP Free Modeling (FM) category. In a sense, our validation sets provide a series of transferability challenges to test how well a model can withstand distributional shifts in the data set. We have found that our most difficult validation subsets exceed the difficulty of CASP FM targets.\n\n### Download\nProteinNet records are provided in two forms: human- and machine-readable text files that can be used programmatically by any tool, and TensorFlow-specific `TFRecord` files. More information on the file format can be found in the documentation [here](https:\u002F\u002Fgithub.com\u002Faqlaboratory\u002Fproteinnet\u002Fblob\u002Fmaster\u002Fdocs\u002Fproteinnet_records.md#file-formats).\n\n| CASP7 | CASP8 | CASP9 | CASP10 | CASP11 | CASP12* |\n| --- | --- | --- | --- | --- | --- |\n| [Text-based](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Fhuman_readable\u002Fcasp7.tar.gz) | [Text-based](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Fhuman_readable\u002Fcasp8.tar.gz) | [Text-based](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Fhuman_readable\u002Fcasp9.tar.gz) | [Text-based](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Fhuman_readable\u002Fcasp10.tar.gz) | [Text-based](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Fhuman_readable\u002Fcasp11.tar.gz) | [Text-based](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Fhuman_readable\u002Fcasp12.tar.gz) |\n| [TF Records](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Ftfrecords\u002Fcasp7.tar.gz) | [TF Records](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Ftfrecords\u002Fcasp8.tar.gz) | [TF Records](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Ftfrecords\u002Fcasp9.tar.gz) | [TF Records](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Ftfrecords\u002Fcasp10.tar.gz) | [TF Records](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Ftfrecords\u002Fcasp11.tar.gz) | [TF Records](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Ftfrecords\u002Fcasp12.tar.gz) |\n\n| Secondary Structure Data |\n| --- |\n|[ASTRAL entries](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F59y3nud4rixombf\u002Fsingle_domain_dssp_annotations.json.gz?dl=0)|\n|[PDB entries](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fsne2ak1woy1lrqr\u002Ffull_protein_dssp_annotations.json.gz?dl=0)|\n\n\\* CASP12 test set is incomplete due to embargoed structures. Once the embargo is lifted we will release all structures.\n\n### Documentation\n* [ProteinNet Records](docs\u002Fproteinnet_records.md)\n* [Splitting Methodology](docs\u002Fsplitting_methodology.md)\n* [Raw Data](docs\u002Fraw_data.md)\n* [FAQ](docs\u002FFAQ.md)\n\n### PyTorch Parser\nProteinNet includes an official TensorFlow-based parser. [Jeppe Hallgren](https:\u002F\u002Fgithub.com\u002FJeppeHallgren) has kindly created a PyTorch-based parser that is available [here](https:\u002F\u002Fgithub.com\u002FOpenProtein\u002Fopenprotein\u002Fblob\u002Fmaster\u002Fpreprocessing.py).\n\n### Extensions\n[SideChainNet](https:\u002F\u002Fgithub.com\u002Fjonathanking\u002Fsidechainnet) extends ProteinNet by adding angle and atomic coordinate information for side chain atoms.\n\n### Citation\nPlease cite the [ProteinNet paper](https:\u002F\u002Fbmcbioinformatics.biomedcentral.com\u002Farticles\u002F10.1186\u002Fs12859-019-2932-0) in BMC Bioinformatics.\n\n### Acknowledgements\nConstruction of this data set consumed millions of compute hours and was possible thanks to the generous support of the [HMS Laboratory of Systems Pharmacology](http:\u002F\u002Fhits.harvard.edu\u002Fthe-program\u002Flaboratory-of-systems-pharmacology\u002Fabout\u002F), the [Harvard Program in Therapeutic Science](http:\u002F\u002Fhits.harvard.edu\u002Fthe-program\u002Fprogram-in-regulatory-science\u002Fabout\u002F), and the [Research Computing](https:\u002F\u002Frc.hms.harvard.edu) group at [Harvard Medical School](https:\u002F\u002Fhms.harvard.edu). We also thank [Martin Steinegger](https:\u002F\u002Fgithub.com\u002Fmartin-steinegger) and [Milot Mirdita](https:\u002F\u002Fgithub.com\u002Fmilot-mirdita) for their extensive help with the MMseqs2 and HHblits software packages, [Sergey Ovchinnikov](http:\u002F\u002Fsite.solab.org\u002F) for providing metagenomic sequences, [Andriy Kryshtafovych](http:\u002F\u002Fpredictioncenter.org\u002Fpeople\u002Fkryshtafovych\u002Findex.cgi) for his assistance with CASP data, and [Sean Eddy](https:\u002F\u002Fgithub.com\u002Fcryptogenomicon) for his help with the HMMer software package. This data set is hosted by the [HMS Research Information Technology Solutions](https:\u002F\u002Frits.hms.harvard.edu) group at Harvard University.\n\n### Funding\nThis work was supported by NIGMS grant P50GM107618 and NCI grant U54-CA225088.\n","# ProteinNet\nProteinNet 是一个用于蛋白质结构机器学习的标准化数据集。它提供了蛋白质序列、结构（包括[二级结构](https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FProtein_secondary_structure)和[三级结构](https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FProtein_tertiary_structure)）、多序列比对（[MSAs](https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FMultiple_sequence_alignment)）、位置特异性评分矩阵（[PSSMs](https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FPosition_weight_matrix)）以及标准化的[训练\u002F验证\u002F测试](https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FTraining,_test,_and_validation_sets)划分。ProteinNet 基于两年一度的 [CASP](http:\u002F\u002Fpredictioncenter.org\u002F) 评估——该评估对近期解析但尚未公开的蛋白质结构进行盲测——来提供能够推动计算方法前沿发展的测试集。它以一系列数据集的形式组织，涵盖 CASP 7 至 12（为期十年），从而提供不同规模的数据集，便于在数据相对匮乏和丰富的场景下评估新方法。\n\n**请注意，这只是一个初步版本。** 用于构建这些数据集的原始数据以及 MSA 尚未公开发布。不过，ProteinNet 12 的原始 MSA 数据（4TB）可按需提供。传输需要下载 Globus 客户端。更多信息请参阅 [原始数据](https:\u002F\u002Fgithub.com\u002Faqlaboratory\u002Fproteinnet\u002Fblob\u002Fmaster\u002Fdocs\u002Fraw_data.md) 部分。\n\n### 动机\n蛋白质结构预测是生物化学的核心问题之一。尽管这一领域在生物学和化学界已被广泛研究，但在机器学习社区中的关注度却相对较低。我们推测这主要有两个原因：1) 对非领域专家而言，入门门槛较高；2) 缺乏标准化的训练\u002F验证\u002F测试划分，难以实现不同方法之间公平且一致的比较。如果能解决这两个问题，蛋白质结构预测有望成为机器学习研究中继计算机视觉、自然语言处理和语音识别之后的重要创新方向。正如 [ImageNet](http:\u002F\u002Fwww.image-net.org) 曾经推动了[计算机视觉技术的发展](https:\u002F\u002Fqz.com\u002F1034972\u002Fthe-data-that-changed-the-direction-of-ai-research-and-possibly-the-world\u002F)一样，ProteinNet 旨在通过提供标准化的数据集及训练\u002F验证\u002F测试划分，使任何研究团队都能以最小的努力开展蛋白质结构相关的机器学习研究。\n\n### 方法\n每两年一次，会举行 [CASP](http:\u002F\u002Fpredictioncenter.org\u002F) 评估。在这项竞赛中，来自全球的结构预测者会收到一些近期已解析但尚未公开的蛋白质序列，并对其结构进行盲测，随后根据预测的准确性进行评估。因此，CASP 结构为评估预测方法在某一特定时刻的表现提供了一个标准化的基准。ProteinNet 的基本思路是依托 CASP，将 CASP 结构用作测试集。同时，ProteinNet 还为这些测试集补充了训练和验证集，这些集合将“历史记录重置”到每次 CASP 实验开始之前的状态。具体来说，ProteinNet 限制了用于构建 PSSM 和 MSA 的序列及结构，仅使用各次 CASP 开始前可用的数据。这一点至关重要，因为像 [BLAST](https:\u002F\u002Fblast.ncbi.nlm.nih.gov\u002FBlast.cgi) 这样的标准数据库并不保留历史版本。我们使用时间重置后的 [UniParc](http:\u002F\u002Fwww.uniprot.org\u002Funiparc\u002F) 数据集以及来自 [JGI](https:\u002F\u002Fimg.jgi.doe.gov\u002F) 的宏基因组序列来构建用于生成 MSA 的序列数据库。此外，ProteinNet 还提供了精心划分的验证集，难度从简单（序列相似度 >90%）——可用于评估模型预测蛋白质结构微小变化的能力，如突变——到极其困难（序列相似度 \u003C10%）——可用于评估模型预测全新蛋白质折叠的能力，类似于 CASP 自由建模（FM）类别。从某种意义上讲，我们的验证集构成了一系列迁移性挑战，用以测试模型在数据分布发生变化时的适应能力。我们发现，最难的验证子集甚至超过了 CASP FM 目标的难度。\n\n### 下载\nProteinNet 记录以两种形式提供：人类可读和机器可读的文本文件，可被任何工具以编程方式使用；以及 TensorFlow 特有的 `TFRecord` 文件。有关文件格式的更多信息，请参阅文档[此处](https:\u002F\u002Fgithub.com\u002Faqlaboratory\u002Fproteinnet\u002Fblob\u002Fmaster\u002Fdocs\u002Fproteinnet_records.md#file-formats)。\n\n| CASP7 | CASP8 | CASP9 | CASP10 | CASP11 | CASP12* |\n| --- | --- | --- | --- | --- | --- |\n| [文本版](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Fhuman_readable\u002Fcasp7.tar.gz) | [文本版](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Fhuman_readable\u002Fcasp8.tar.gz) | [文本版](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Fhuman_readable\u002Fcasp9.tar.gz) | [文本版](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Fhuman_readable\u002Fcasp10.tar.gz) | [文本版](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Fhuman_readable\u002Fcasp11.tar.gz) | [文本版](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Fhuman_readable\u002Fcasp12.tar.gz) |\n| [TF Records](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Ftfrecords\u002Fcasp7.tar.gz) | [TF Records](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Ftfrecords\u002Fcasp8.tar.gz) | [TF Records](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Ftfrecords\u002Fcasp9.tar.gz) | [TF Records](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Ftfrecords\u002Fcasp10.tar.gz) | [TF Records](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Ftfrecords\u002Fcasp11.tar.gz) | [TF Records](https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Ftfrecords\u002Fcasp12.tar.gz) |\n\n| 二级结构数据 |\n| --- |\n|[ASTRAL 条目](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F59y3nud4rixombf\u002Fsingle_domain_dssp_annotations.json.gz?dl=0)|\n|[PDB 条目](https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fsne2ak1woy1lrqr\u002Ffull_protein_dssp_annotations.json.gz?dl=0)|\n\n\\* CASP12 的测试集因受禁运保护的结构而尚未完整。一旦禁运解除，我们将公布所有结构。\n\n### 文档\n* [ProteinNet 记录](docs\u002Fproteinnet_records.md)\n* [划分方法](docs\u002Fsplitting_methodology.md)\n* [原始数据](docs\u002Fraw_data.md)\n* [常见问题解答](docs\u002FFAQ.md)\n\n### PyTorch 解析器\nProteinNet 包含一个官方的基于 TensorFlow 的解析器。[Jeppe Hallgren](https:\u002F\u002Fgithub.com\u002FJeppeHallgren) 慷慨地创建了一个基于 PyTorch 的解析器，该解析器可在 [这里](https:\u002F\u002Fgithub.com\u002FOpenProtein\u002Fopenprotein\u002Fblob\u002Fmaster\u002Fpreprocessing.py) 获取。\n\n### 扩展\n[SideChainNet](https:\u002F\u002Fgithub.com\u002Fjonathanking\u002Fsidechainnet) 通过添加侧链原子的角度和原子坐标信息，对 ProteinNet 进行了扩展。\n\n### 引用\n请在 BMC 生物信息学期刊中引用 [ProteinNet 论文](https:\u002F\u002Fbmcbioinformatics.biomedcentral.com\u002Farticles\u002F10.1186\u002Fs12859-019-2932-0)。\n\n### 致谢\n构建该数据集耗费了数百万小时的计算资源，这得益于 [哈佛医学院系统药理学实验室](http:\u002F\u002Fhits.harvard.edu\u002Fthe-program\u002Flaboratory-of-systems-pharmacology\u002Fabout\u002F)、[哈佛治疗科学项目](http:\u002F\u002Fhits.harvard.edu\u002Fthe-program\u002Fprogram-in-regulatory-science\u002Fabout\u002F) 以及 [哈佛医学院研究计算部门](https:\u002F\u002Frc.hms.harvard.edu) 的慷慨支持。我们还要感谢 [Martin Steinegger](https:\u002F\u002Fgithub.com\u002Fmartin-steinegger) 和 [Milot Mirdita](https:\u002F\u002Fgithub.com\u002Fmilot-mirdita) 在 MMseqs2 和 HHblits 软件包方面提供的大量帮助；感谢 [Sergey Ovchinnikov](http:\u002F\u002Fsite.solab.org\u002F) 提供宏基因组序列；感谢 [Andriy Kryshtafovych](http:\u002F\u002Fpredictioncenter.org\u002Fpeople\u002Fkryshtafovych\u002Findex.cgi) 在 CASP 数据方面的协助；以及感谢 [Sean Eddy](https:\u002F\u002Fgithub.com\u002Fcryptogenomicon) 在 HMMer 软件包方面的帮助。该数据集由哈佛大学 [哈佛医学院研究信息技术解决方案部门](https:\u002F\u002Frits.hms.harvard.edu) 托管。\n\n### 资助\n本研究得到了 NIGMS 资助项目 P50GM107618 和 NCI 资助项目 U54-CA225088 的支持。","# ProteinNet 快速上手指南\n\nProteinNet 是一个用于蛋白质结构机器学习研究的标准化数据集。它基于 CASP（蛋白质结构预测关键评估）竞赛数据，提供了蛋白质序列、二级\u002F三级结构、多序列比对（MSA）和位置特异性评分矩阵（PSSM），并划分了标准的训练\u002F验证\u002F测试集，旨在降低非领域专家的研究门槛并促进方法间的公平比较。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux 或 macOS (Windows 用户建议使用 WSL2 或 Docker)。\n*   **Python**: 建议版本 3.6 及以上。\n*   **深度学习框架**:\n    *   **TensorFlow**: 官方原生支持 `TFRecord` 格式。\n    *   **PyTorch**: 社区提供了兼容的解析器（需额外安装）。\n*   **存储空间**: 根据选择的 CASP 版本（CASP7-12），数据集大小从几百 MB 到数 GB 不等。若需原始 MSA 数据（仅限 CASP12），需预留 4TB 空间并配置 Globus 客户端。\n*   **网络环境**: 数据托管于哈佛大学服务器，国内下载速度可能较慢，建议配置稳定的网络环境或使用代理加速。目前暂无官方中国镜像源。\n\n## 安装步骤\n\nProteinNet 本身是一个数据集而非 Python 包，因此无需通过 `pip` 安装核心库。您需要根据使用的框架准备相应的解析工具。\n\n### 1. 准备基础依赖\n确保已安装必要的数据处理库：\n```bash\npip install numpy pandas tqdm\n```\n\n### 2. 框架特定解析器\n*   **TensorFlow 用户**:\n    无需额外安装，直接使用 TensorFlow 内置 API 读取 `.tfrecord` 文件。\n    ```bash\n    pip install tensorflow\n    ```\n\n*   **PyTorch 用户**:\n    推荐使用社区维护的 `OpenProtein` 项目中的解析脚本。\n    ```bash\n    # 克隆包含 PyTorch 解析器的仓库\n    git clone https:\u002F\u002Fgithub.com\u002FOpenProtein\u002Fopenprotein.git\n    # 解析器位于 openprotein\u002Fpreprocessing.py\n    ```\n\n### 3. 下载数据集\n访问官方下载页面选择所需的 CASP 版本（文本格式或 TFRecord 格式）。以下以命令行下载 **CASP12 TFRecord** 为例：\n\n```bash\n# 创建数据目录\nmkdir -p proteinnet_data\ncd proteinnet_data\n\n# 下载 CASP12 TFRecord 数据 (其他版本替换 URL 即可)\nwget https:\u002F\u002Fsharehost.hms.harvard.edu\u002Fsysbio\u002Falquraishi\u002Fproteinnet\u002Ftfrecords\u002Fcasp12.tar.gz\n\n# 解压数据\ntar -xzf casp12.tar.gz\n```\n*(注：如需二级结构注释等辅助数据，请参考 README 中的 Dropbox 链接手动下载)*\n\n## 基本使用\n\n以下是加载数据的最简示例。\n\n### 方案 A：使用 TensorFlow (官方推荐)\n\n直接读取 `.tfrecord` 文件：\n\n```python\nimport tensorflow as tf\n\n# 定义文件路径\nfile_path = \"proteinnet_data\u002Fcasp12\u002Ftrain.tfrecord\" # 假设解压后的文件名\n\n# 创建数据集对象\ndataset = tf.data.TFRecordDataset(file_path)\n\n# 定义解析函数 (需参考官方 docs\u002Fproteinnet_records.md 定义 feature description)\ndef _parse_function(proto):\n    # 此处需根据实际 record 结构定义 features，以下为示意\n    features = {\n        \"sequence\": tf.io.FixedLenFeature([], tf.string),\n        \"structure\": tf.io.FixedLenFeature([], tf.string),\n        # ... 其他字段\n    }\n    return tf.io.parse_single_example(proto, features)\n\n# 映射解析函数\nparsed_dataset = dataset.map(_parse_function)\n\n# 遍历数据\nfor example in parsed_dataset.take(1):\n    print(example['sequence'])\n```\n\n### 方案 B：使用 PyTorch (社区方案)\n\n利用 `OpenProtein` 仓库中的预处理脚本进行加载：\n\n```python\nimport sys\n# 引入下载的 OpenProtein 解析模块\nsys.path.append('openprotein') \nfrom preprocessing import ProteinNetParser\n\n# 初始化解析器 (具体参数需参考该仓库文档)\nparser = ProteinNetParser()\n\n# 加载数据 (示例路径)\ndata_path = \"proteinnet_data\u002Fcasp12\u002Ftrain.txt\" # 如果使用文本格式\n# 注意：PyTorch 解析器通常针对文本格式优化，若需使用 TFRecord 可能需要转换或自定义 Dataset 类\n\n# 模拟获取一条数据\n# sequence, structure, msa = parser.parse_entry(entry_line)\nprint(\"PyTorch 解析器已就绪，请参考 openprotein\u002Fpreprocessing.py 实现自定义 Dataset 类。\")\n```\n\n### 数据划分说明\n下载的数据包通常已按标准划分为：\n*   **Train**: 用于模型训练。\n*   **Validation**: 包含不同难度子集（序列相似度 >90% 到 \u003C10%），用于评估模型泛化能力。\n*   **Test**: 基于 CASP 竞赛的盲测数据，用于最终基准测试。\n\n在使用时，请根据实验目的选择对应的文件子集。","某生物计算实验室的研究团队正致力于开发一种基于深度学习的新型蛋白质结构预测模型，急需高质量且无数据泄露风险的数据集进行训练与评估。\n\n### 没有 proteinnet 时\n- **数据清洗耗时巨大**：研究人员需手动从 UniProt 等数据库抓取序列，并自行构建多序列比对（MSA）和位置特异性评分矩阵（PSSM），预处理流程繁琐且易出错。\n- **难以杜绝数据泄露**：由于缺乏按时间切分的标准数据集，训练集中可能混入测试阶段已解构的蛋白质信息，导致模型评估虚高，无法反映真实泛化能力。\n- **学术对比不公平**：不同团队使用的训练\u002F验证\u002F测试集划分标准不一，使得新提出的算法难以与现有方法进行公平、一致的性能基准对比。\n- **历史复现困难**：公共数据库不断更新，无法获取特定 CASP 竞赛时期的“历史快照”，导致无法复现或验证几年前的经典算法效果。\n\n### 使用 proteinnet 后\n- **开箱即用的标准化数据**：proteinnet 直接提供包含序列、二级\u002F三级结构、MSA 及 PSSM 的完整数据包，团队可跳过数周的数据工程，立即投入模型架构设计。\n- **严格的时间隔离机制**：借助 proteinnet 基于 CASP 竞赛构建的“时间重置”测试集，确保了训练数据严格早于测试数据，彻底消除了数据泄露隐患，评估结果真实可信。\n- **统一的基准评测体系**：利用 proteinnet 固定的训练\u002F验证\u002F测试划分，团队能直接将模型性能与全球其他研究组在同等条件下进行横向对比，显著提升论文说服力。\n- **多时期数据覆盖**：通过调用涵盖 CASP 7 至 12 的不同版本数据集，团队既能利用大数据量训练强力模型，也能在小数据场景下验证方法的鲁棒性。\n\nproteinnet 通过提供像 ImageNet 一样标准化的时空隔离数据集，极大地降低了蛋白质结构预测领域的机器学习研发门槛，让算法创新不再受制于数据处理的泥潭。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Faqlaboratory_proteinnet_7bb942f7.png","aqlaboratory","AQ Laboratory","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Faqlaboratory_14546198.png","",null,"m.alquraishi@columbia.edu","MoAlQuraishi","aqlab.io","https:\u002F\u002Fgithub.com\u002Faqlaboratory",[85],{"name":86,"color":87,"percentage":88},"Python","#3572A5",100,913,138,"2026-03-30T09:52:08","MIT","未说明","未说明（注：构建原始数据需数百万计算小时，原始 MSA 数据达 4TB）",{"notes":96,"python":93,"dependencies":97},"ProteinNet 主要是一个标准化数据集而非直接运行的软件模型。它提供文本格式和 TensorFlow TFRecord 格式的数据文件。官方提供基于 TensorFlow 的解析器，社区提供基于 PyTorch 的解析器。若需获取用于构建数据集的原始多序列比对（MSA）数据（约 4TB），需要申请并安装 Globus 客户端进行下载。数据集涵盖 CASP 7 至 12，用于蛋白质结构预测的机器学习研究。",[98,99,100],"TensorFlow (官方解析器)","PyTorch (社区解析器)","Globus Client (用于下载原始数据)",[51,13],[103,104,105,106,107,108],"machine-learning","deep-learning","protein-structure","dataset","protein-sequence","proteins","2026-03-27T02:49:30.150509","2026-04-06T05:36:41.281963",[112,117,122,127,132,136],{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},9881,"ProteinNet 数据与原始 PDB\u002FmmCIF 文件中的序列长度或模型 ID 为何不一致？","这种差异通常是因为 PDB 文件中的 Model 0 包含水分子和其他非标准残基（垃圾数据），而 ProteinNet 记录引用的是经过清洗的 Model 1。Model 1 在原始 PDB 文件中可能不存在，它是通过根据主序列和掩码（mask）对 Model 0 进行归一化推导出来的。例如，对于某些条目，需要将 model_id 减 1 才能对应，且需依据 ProteinNet 提供的掩码提取有效残基，而不是直接连接 PDB 中不连续的片段。","https:\u002F\u002Fgithub.com\u002Faqlaboratory\u002Fproteinnet\u002Fissues\u002F16",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},9882,"如何解析 ProteinNet 的 TFRecord 数据以便用于 Keras 或 TensorFlow 模型？","如果您只想读取数据而不必处理复杂的 TensorFlow 队列机制，建议使用文本版本的数据集，它更易于解析，官方提供了专门的文本解析器（text_parser.py）。如果您必须在 TensorFlow 中使用 TFRecord 格式，可以参考 RGN 项目的代码（特别是 model.py 中的 _dataflow 和 read_protein 函数），那里包含了如何在 TensorFlow 中正确构建文件队列并读取数据的完整示例。直接使用简单的 dataset.map 可能无法工作，因为该解析器设计为独立函数配合文件队列使用。","https:\u002F\u002Fgithub.com\u002Faqlaboratory\u002Fproteinnet\u002Fissues\u002F7",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},9883,"论文《End-to-end differentiable learning of protein structure》的代码和模型在哪里下载？","该论文相关的代码和模型已经发布，可以在 GitHub 上的 RGN 仓库中找到：https:\u002F\u002Fgithub.com\u002Faqlaboratory\u002Frgn。","https:\u002F\u002Fgithub.com\u002Faqlaboratory\u002Fproteinnet\u002Fissues\u002F3",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},9884,"ProteinNet 中类似 '1IQ8_d1iq8b4' 这样的奇怪 ID 格式代表什么意思？","这种格式表示该条目来自 ASTRAL 数据库（蛋白质结构域数据库），而非完整的 PDB 蛋白质链。下划线前的部分（如 '1IQ8'）是衍生该结构域的原始 PDB ID，下划线后的部分（如 'd1iq8b4'）是 ASTRAL 特定的结构域 ID。ProteinNet 结合了 PDB 全长蛋白和 ASTRAL 结构域数据以增强模型训练效果。因此，不能直接将其作为普通 PDB 链 ID 处理，而应识别其为特定结构域条目。","https:\u002F\u002Fgithub.com\u002Faqlaboratory\u002Fproteinnet\u002Fissues\u002F23",{"id":133,"question_zh":134,"answer_zh":135,"source_url":116},9885,"为什么使用 BioPython 读取 PDB 文件时，得到的序列与 ProteinNet 提供的序列不匹配？","这是因为 BioPython 默认可能会读取 PDB 文件中所有解析出的残基（包括不连续的片段或非标准残基），而 ProteinNet 提供的是经过严格筛选的主序列。正确的做法是不要简单地将 PDB 文件中的残基拼接起来，而应该使用 ProteinNet 数据中提供的“掩码（mask）”信息，仅提取对应位置的残基，或者直接使用 ProteinNet 推导出的 Model 1 序列，这样才能保证物理意义和序列的一致性。",{"id":137,"question_zh":138,"answer_zh":139,"source_url":121},9886,"是否有比 TFRecord 更容易使用的数据格式供初学者快速上手？","是的，对于不熟悉 TensorFlow 内部机制（如 QueueRunner、Session 等）的用户，强烈建议使用 ProteinNet 提供的基于文本的数据格式。这种格式可以直接用标准 Python 脚本解析，无需配置复杂的 TensorFlow 输入管道。维护者专门为此编写了 text_parser.py 脚本，并在项目主页添加了相关链接，方便用户快速加载数据进行原型开发。",[]]