[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-acbull--pyHGT":3,"tool-acbull--pyHGT":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",144730,2,"2026-04-07T23:26:32",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":78,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":91,"forks":92,"last_commit_at":93,"license":94,"difficulty_score":10,"env_os":95,"env_gpu":96,"env_ram":97,"env_deps":98,"category_tags":112,"github_topics":113,"view_count":32,"oss_zip_url":119,"oss_zip_packed_at":119,"status":17,"created_at":120,"updated_at":121,"faqs":122,"releases":152},5402,"acbull\u002FpyHGT","pyHGT","Code for \"Heterogeneous Graph Transformer\" (WWW'20), which is based on pytorch_geometric","pyHGT 是“异构图转换器”（Heterogeneous Graph Transformer）模型的开源实现，基于 PyTorch Geometric 构建。它专为处理大规模、动态且包含多种节点与边类型的异构图谱而设计，有效解决了传统图神经网络难以捕捉复杂图中多样化语义关系及长距离依赖的难题。\n\n该工具的核心亮点在于其独特的异构图谱卷积层，能够自适应地学习不同节点类型和边类型的注意力权重。此外，它还内置了高效的子图采样算法，支持按节点类型固定数量采样，并采用并行化处理策略，显著降低了显存占用并提升了训练效率，使其能够轻松应对如开放学术图谱（OAG）等超大规模数据集。\n\npyHGT 主要面向人工智能领域的研究人员与开发者，特别是那些从事知识图谱构建、学术文献分析、推荐系统或需要处理复杂关联数据的专业人士。通过提供清晰的数据接口和模块化代码结构，用户可以便捷地将其应用于节点分类、链接预测等多种下游任务，快速复现前沿研究成果或构建自定义的图学习模型。","# Heterogeneous Graph Transformer (HGT)\n\n\n[Alternative reference Deep Graph Library (DGL) implementation](https:\u002F\u002Fgithub.com\u002Fdmlc\u002Fdgl\u002Ftree\u002Fmaster\u002Fexamples\u002Fpytorch\u002Fhgt)\n\nHeterogeneous Graph Transformer is a graph neural network architecture that can deal with large-scale heterogeneous and dynamic graphs.\n\nYou can see our WWW 2020 paper [“**Heterogeneous Graph Transformer**”](https:\u002F\u002Farxiv.org\u002Fabs\u002F2003.01332)  for more details.\n\nThis implementation of HGT is based on [Pytorch Geometric](https:\u002F\u002Fgithub.com\u002Frusty1s\u002Fpytorch_geometric) API\n\n## Overview\nThe most important files in this projects are as follow:\n- conv.py: The core of our model, implements the transformer-like heterogeneous graph convolutional layer.\n- model.py: The wrap of different model components.\n- data.py: The data interface and usage.\n  - `class Graph`: The data structure of heterogeneous graph. Stores feature in ``Graph.node_feature`` as pandas.DataFrame; Stores adjacency matrix in ``Graph.edge_list`` as dictionay.\n  - `def sample_subgraph`: The sampling algorithm for heterogeneous graph. Each iteration samples a fixed number of nodes per type. All the sampled nodes are within the region of already sampled nodes, with sampling probability as the square of relative degree.\n- train_*.py: The training and validation script for a specific downstream task.\n  - `def *_sample`: The sampling function for a given task. Remember to mask out existing link within the graph to avoid information leakage.\n  - `def prepare_data`: Conduct sampling in parallel with multiple processes, which can seamlessly coordinate with model training.\n  \n## Setup\n\nThis implementation is based on pytorch_geometric. To run the code, you need the following dependencies:\n\n- [Pytorch 1.3.0](https:\u002F\u002Fpytorch.org\u002F)\n- [pytorch_geometric 1.3.2](https:\u002F\u002Fpytorch-geometric.readthedocs.io\u002F)\n  - torch-cluster==1.4.5\n  - torch-scatter==1.3.2\n  - torch-sparse==0.4.3\n- [gensim](https:\u002F\u002Fgithub.com\u002FRaRe-Technologies\u002Fgensim)\n- [sklearn](https:\u002F\u002Fgithub.com\u002Fscikit-learn\u002Fscikit-learn)\n- [tqdm](https:\u002F\u002Fgithub.com\u002Ftqdm\u002Ftqdm)\n- [dill](https:\u002F\u002Fgithub.com\u002Fuqfoundation\u002Fdill)\n- [pandas](https:\u002F\u002Fgithub.com\u002Fpandas-dev\u002Fpandas)\n\nYou can simply run ```pip install -r requirements.txt``` to install all the necessary packages.\n\n  \n## OAG DataSet\n\nOur current experiments are conducted on Open Academic Graph (OAG). For easiness of usage, we split and preprocess the whole dataset into different granularity: all **CS papers (8.1G), all ML papers (1.9G), all NN papers (0.6G)** spanning from 1900-2020. You can download the preprocessed graph via this [link](https:\u002F\u002Fdrive.google.com\u002Fopen?id=1a85skqsMBwnJ151QpurLFSa9o2ymc_rq).\n\nIf you want to directly process from raw data, you can download via this [link](https:\u002F\u002Fdrive.google.com\u002Fopen?id=1yDdVaartOCOSsQlUZs8cJcAUhmvRiBSz). After downloading it, run `preprocess_OAG.py` to extract features and store them in our data structure.\n\n\n\nYou can also use our code to process other heterogeneous graph, as long as you load them into our data structure `class Graph` in data.py. Refer to preprocess_OAG.py for a demonstration.\n\n## Usage\nExecute the following scripts to train on paper-field (L2) classification task using HGT:\n\n```bash\npython3 train_paper_field.py --data_dir PATH_OF_DATASET --model_dir PATH_OF_SAVED_MODEL --conv_name hgt\n```\nConducting other two tasks are similar.\nThere are some key options of this scrips:\n- `conv_name`: Choose corresponding model for training. By default we use HGT.\n- `--sample_depth` and `--sample_width`: The depth and width of sampled graph. If the model exceeds the GPU memory, can consider reduce their number; if one wants to train a deeper GNN model, consider adding these numbers.\n- `--n_pool`: The number of process to parallely conduct sampling. If one has a machine with large memory, can consider adding this number to reduce batch prepartion time.\n- `--repeat`: The number of time to reuse a sampled batch for training. If the training time is much smaller than sampling time, can consider adding this number.\n\nThe details of other optional hyperparameters can be found in train_*.py.\n### Citation\n\nPlease consider citing the following paper when using our code for your application.\n\n```bibtex\n@inproceedings{hgt,\n  author    = {Ziniu Hu and\n               Yuxiao Dong and\n               Kuansan Wang and\n               Yizhou Sun},\n  title     = {Heterogeneous Graph Transformer},\n  booktitle = {{WWW} '20: The Web Conference 2020, Taipei, Taiwan, April 20-24, 2020},\n  pages     = {2704--2710},\n  publisher = {{ACM} \u002F {IW3C2}},\n  year      = {2020},\n  url       = {https:\u002F\u002Fdoi.org\u002F10.1145\u002F3366423.3380027},\n  doi       = {10.1145\u002F3366423.3380027},\n  timestamp = {Wed, 06 May 2020 12:56:16 +0200},\n  biburl    = {https:\u002F\u002Fdblp.org\u002Frec\u002Fconf\u002Fwww\u002FHuDWS20.bib},\n  bibsource = {dblp computer science bibliography, https:\u002F\u002Fdblp.org}\n}\n```\n","# 异构图Transformer (HGT)\n\n\n[替代参考：深度图库 (DGL) 实现](https:\u002F\u002Fgithub.com\u002Fdmlc\u002Fdgl\u002Ftree\u002Fmaster\u002Fexamples\u002Fpytorch\u002Fhgt)\n\n异构图Transformer是一种图神经网络架构，能够处理大规模的异构动态图。\n\n更多详细信息请参阅我们在 WWW 2020 上发表的论文 [“**异构图Transformer**”](https:\u002F\u002Farxiv.org\u002Fabs\u002F2003.01332)。\n\n本实现基于 [PyTorch Geometric](https:\u002F\u002Fgithub.com\u002Frusty1s\u002Fpytorch_geometric) API。\n\n## 概述\n该项目中最重要的文件如下：\n- conv.py：我们模型的核心部分，实现了类似Transformer的异构图卷积层。\n- model.py：不同模型组件的封装。\n- data.py：数据接口及使用方法。\n  - `class Graph`：异构图的数据结构。节点特征存储在 `Graph.node_feature` 中，格式为 pandas.DataFrame；邻接矩阵存储在 `Graph.edge_list` 中，格式为字典。\n  - `def sample_subgraph`：异构图的采样算法。每次迭代会按类型采样固定数量的节点，所有采样的节点都位于已采样节点的邻域内，采样概率与相对度数的平方成正比。\n- train_*.py：针对特定下游任务的训练和验证脚本。\n  - `def *_sample`：给定任务的采样函数。请注意屏蔽图中已存在的边，以避免信息泄露。\n  - `def prepare_data`：使用多进程并行进行采样，可与模型训练无缝衔接。\n\n## 环境配置\n\n本实现基于 PyTorch Geometric。要运行代码，您需要以下依赖项：\n\n- [PyTorch 1.3.0](https:\u002F\u002Fpytorch.org\u002F)\n- [PyTorch Geometric 1.3.2](https:\u002F\u002Fpytorch-geometric.readthedocs.io\u002F)\n  - torch-cluster==1.4.5\n  - torch-scatter==1.3.2\n  - torch-sparse==0.4.3\n- [gensim](https:\u002F\u002Fgithub.com\u002FRaRe-Technologies\u002Fgensim)\n- [scikit-learn](https:\u002F\u002Fgithub.com\u002Fscikit-learn\u002Fscikit-learn)\n- [tqdm](https:\u002F\u002Fgithub.com\u002Ftqdm\u002Ftqdm)\n- [dill](https:\u002F\u002Fgithub.com\u002Fuqfoundation\u002Fdill)\n- [pandas](https:\u002F\u002Fgithub.com\u002Fpandas-dev\u002Fpandas)\n\n您可以直接运行 `pip install -r requirements.txt` 来安装所有必要的包。\n\n## OAG 数据集\n\n我们目前的实验是在开放学术图（OAG）上进行的。为了便于使用，我们将整个数据集按不同粒度进行了拆分和预处理：包括1900年至2020年间的所有 **CS 论文（8.1G）**、**ML 论文（1.9G）** 和 **NN 论文（0.6G）**。您可以通过此 [链接](https:\u002F\u002Fdrive.google.com\u002Fopen?id=1a85skqsMBwnJ151QpurLFSa9o2ymc_rq) 下载预处理后的图。\n\n如果您希望直接从原始数据开始处理，可以从此 [链接](https:\u002F\u002Fdrive.google.com\u002Fopen?id=1yDdVaartOCOSsQlUZs8cJcAUhmvRiBSz) 下载数据。下载后，请运行 `preprocess_OAG.py` 来提取特征，并将其存储到我们的数据结构中。\n\n您也可以使用我们的代码处理其他异构图，只需将它们加载到 `data.py` 中的 `class Graph` 数据结构中即可。具体操作可参考 `preprocess_OAG.py` 的示例。\n\n## 使用方法\n要使用 HGT 在论文领域（L2）分类任务上进行训练，请执行以下脚本：\n\n```bash\npython3 train_paper_field.py --data_dir DATASET_PATH --model_dir SAVED_MODEL_PATH --conv_name hgt\n```\n\n其他两个任务的训练方式与此类似。该脚本的一些关键选项如下：\n- `conv_name`：选择用于训练的相应模型。默认使用 HGT。\n- `--sample_depth` 和 `--sample_width`：采样子图的深度和宽度。如果模型占用显存过多，可以考虑减少这两个参数；若希望训练更深的 GNN 模型，则可适当增加这些参数。\n- `--n_pool`：用于并行采样的进程数。如果您的机器内存较大，可以增加该参数以缩短批次准备时间。\n- `--repeat`：重复使用采样子图进行训练的次数。如果训练时间远小于采样时间，可以考虑增加该参数。\n\n其他可选超参数的详细信息请参阅 `train_*.py` 文件。\n### 引用\n\n在您的应用中使用我们的代码时，请考虑引用以下论文：\n\n```bibtex\n@inproceedings{hgt,\n  author    = {Ziniu Hu and\n               Yuxiao Dong and\n               Kuansan Wang and\n               Yizhou Sun},\n  title     = {Heterogeneous Graph Transformer},\n  booktitle = {{WWW} '20: The Web Conference 2020, Taipei, Taiwan, April 20-24, 2020},\n  pages     = {2704--2710},\n  publisher = {{ACM} \u002F {IW3C2}},\n  year      = {2020},\n  url       = {https:\u002F\u002Fdoi.org\u002F10.1145\u002F3366423.3380027},\n  doi       = {10.1145\u002F3366423.3380027},\n  timestamp = {Wed, 06 May 2020 12:56:16 +0200},\n  biburl    = {https:\u002F\u002Fdblp.org\u002Frec\u002Fconf\u002Fwww\u002FHuDWS20.bib},\n  bibsource = {dblp computer science bibliography, https:\u002F\u002Fdblp.org}\n}\n```","# pyHGT 快速上手指南\n\npyHGT 是一个基于 PyTorch Geometric 实现的异构图变压器（Heterogeneous Graph Transformer）模型，专为处理大规模异构及动态图数据设计。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux \u002F macOS (Windows 需额外配置编译环境)\n*   **Python**: 推荐 Python 3.6+\n*   **核心依赖**:\n    *   PyTorch 1.3.0+\n    *   pytorch_geometric 1.3.2+ (及其底层库：torch-cluster, torch-scatter, torch-sparse)\n    *   其他辅助库：gensim, sklearn, tqdm, dill, pandas\n\n> **国内加速建议**：安装 PyTorch 及相关扩展库时，建议使用清华或阿里镜像源以提升下载速度。\n\n## 安装步骤\n\n### 1. 安装 PyTorch (推荐使用清华镜像)\n根据您的 CUDA 版本选择合适的命令。若无 GPU 环境，可使用 CPU 版本：\n```bash\npip install torch==1.3.0 torchvision==0.4.1 -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n### 2. 安装 pytorch_geometric 及其依赖\n由于 `pytorch_geometric` 需要编译特定的 C++\u002FCUDA 扩展，建议先安装其底层依赖（版本号需与 PyTorch 匹配），再安装主库。\n\n```bash\n# 安装底层扩展库 (版本参考原文要求，可根据实际 PyTorch 版本调整)\npip install torch-scatter==1.3.2 torch-sparse==0.4.3 torch-cluster==1.4.5 -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n\n# 安装 pytorch_geometric\npip install torch-geometric==1.3.2 -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n### 3. 安装项目其余依赖\n克隆项目代码后，在项目根目录下运行：\n```bash\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n*(注：若项目中无 `requirements.txt`，请手动安装：`pip install gensim scikit-learn tqdm dill pandas`)*\n\n## 基本使用\n\n本项目以开放学术图谱（OAG）为例，演示如何训练论文领域分类任务。\n\n### 1. 数据准备\n您可以下载预处理好的数据集（包含 CS、ML、NN 论文子集），或者使用原始数据自行预处理。\n\n*   **下载预处理数据**：访问 [Google Drive 链接](https:\u002F\u002Fdrive.google.com\u002Fopen?id=1a85skqsMBwnJ151QpurLFSa9o2ymc_rq) 下载并解压。\n*   **自行预处理**：下载 [原始数据](https:\u002F\u002Fdrive.google.com\u002Fopen?id=1yDdVaartOCOSsQlUZs8cJcAUhmvRiBSz)，然后运行：\n    ```bash\n    python preprocess_OAG.py\n    ```\n\n### 2. 运行训练脚本\n以下命令演示如何使用 HGT 模型在“论文 - 领域 (L2)\"分类任务上进行训练：\n\n```bash\npython3 train_paper_field.py --data_dir PATH_OF_DATASET --model_dir PATH_OF_SAVED_MODEL --conv_name hgt\n```\n\n**关键参数说明：**\n*   `--data_dir`: 预处理后的数据集路径。\n*   `--model_dir`: 模型保存路径。\n*   `--conv_name`: 指定模型类型，默认为 `hgt`。\n*   `--sample_depth` \u002F `--sample_width`: 采样图的深度和宽度。若显存不足可适当减小；若需训练更深模型则增大。\n*   `--n_pool`: 并行采样的进程数。内存充足的机器可增加此数值以缩短数据准备时间。\n*   `--repeat`: 每个采样批次重复使用的次数。若采样耗时远大于训练耗时，可增加此值以提高效率。\n\n其他下游任务的训练方式类似，只需替换对应的 `train_*.py` 脚本即可。","某学术大数据团队需要构建一个能精准预测论文研究领域的智能系统，面对的是包含作者、机构、会议和论文等多种节点类型的超大规模异构图数据。\n\n### 没有 pyHGT 时\n- **类型信息丢失**：传统图神经网络难以区分“作者”与“论文”等不同节点类型，强行统一处理导致关键的语义结构信息被抹平，模型预测准确率低下。\n- **动态演化难捕捉**：学术关系随时间快速变化，旧有静态图算法无法有效建模 1900 年至 2020 年长跨度下的动态依赖关系，难以反映最新的研究趋势。\n- **显存爆炸与采样低效**：面对千万级节点的开放学术图谱（OAG），全图训练直接撑爆 GPU 显存，且缺乏高效的邻域采样机制，数据预处理耗时极长。\n- **代码复用成本高**：开发者需从零手写复杂的异构图卷积逻辑和并行数据加载器，极易引入信息泄露漏洞，研发周期长达数月。\n\n### 使用 pyHGT 后\n- **感知异构结构**：pyHGT 内置的 Transformer 式卷积层能自动识别并加权不同节点类型及边类型的贡献，显著提升了论文领域分类的精度。\n- **建模时空动态**：利用其特有的动态图架构，模型能精准捕捉学术网络随时间演化的模式，有效识别新兴交叉学科方向。\n- **高效亚图采样**：借助 `sample_subgraph` 算法，pyHGT 可按节点类型固定数量采样，配合多进程并行准备数据，在有限显存下轻松训练深层模型。\n- **开箱即用流程**：基于 PyTorch Geometric 的成熟封装，团队直接调用 `train_paper_field.py` 即可复现 WWW'20 论文效果，将原本数月的开发工作缩短至数天。\n\npyHGT 通过专为异构图设计的注意力机制与高效采样策略，让大规模动态学术图谱的深度挖掘变得高效且精准。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Facbull_pyHGT_9ede7ab4.png","acbull","Ziniu Hu","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Facbull_c6ff0ce5.jpg","https:\u002F\u002Facbull.github.io\u002F","@xai-org ","Palo Alto","acgbull@gmail.com","acbuller","http:\u002F\u002Facbull.github.io","https:\u002F\u002Fgithub.com\u002Facbull",[83,87],{"name":84,"color":85,"percentage":86},"Python","#3572A5",96.9,{"name":88,"color":89,"percentage":90},"Dockerfile","#384d54",3.1,908,176,"2026-04-07T12:55:01","MIT","","需要 GPU（文中提及若模型超出显存需调整参数，但未指定具体型号、显存大小或 CUDA 版本）","未说明（文中提及若机器内存大可增加采样进程数，暗示内存需求与数据规模及并行度相关）",{"notes":99,"python":100,"dependencies":101},"该实现基于 PyTorch Geometric。支持处理大规模异构图和动态图。默认数据集为开放学术图谱（OAG），预处理后的数据集大小从 0.6GB 到 8.1GB 不等。训练时可通过 --n_pool 参数利用多进程并行采样，建议在大内存机器上增加该数值以减少批次准备时间；若显存不足，可减小 --sample_depth 和 --sample_width 参数。","未说明（文中示例命令使用 python3）",[102,103,104,105,106,107,108,109,110,111],"torch==1.3.0","pytorch_geometric==1.3.2","torch-cluster==1.4.5","torch-scatter==1.3.2","torch-sparse==0.4.3","gensim","scikit-learn","tqdm","dill","pandas",[35,14],[114,115,116,117,118],"graph-neural-networks","heterogeneous-network","transformer","network-embedding","graph-representation-learning",null,"2026-03-27T02:49:30.150509","2026-04-08T13:57:54.688974",[123,128,133,138,143,148],{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},24504,"如何复现 OGBN-MAG 数据集上的 leaderboard 结果？","为了获得更稳定且符合官方榜单的结果，需要在训练和评估脚本中显式添加采样宽度和深度参数。请使用以下命令运行：\n训练：python3 train_ogbn_mag.py --n_hid 512 --n_layer 4 --n_heads 8 --data_dir .\u002FOGB_MAG.pk --model_dir $dir_name --prev_norm --last_norm --use_RTE --conv_name hgt --sample_width 520 --sample_depth 6\n评估：python3 eval_ogbn_mag.py --n_hid 512 --n_layer 4 --n_heads 8 --data_dir .\u002FOGB_MAG.pk --model_dir $dir_name --prev_norm --last_norm --use_RTE --conv_name hgt --sample_width 520 --sample_depth 6\n注意：增加 sample_width（如从 520 增加到 600）可能会提升性能，但也会导致显存占用增加，需根据显卡容量调整。","https:\u002F\u002Fgithub.com\u002Facbull\u002FpyHGT\u002Fissues\u002F26",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},24505,"运行代码时遇到 'ValueError: a cannot be empty unless no samples are taken' 错误怎么办？","该错误通常是因为使用的预处理数据文件（如 graph_NN 或 graph_ML）缺少关键字段，导致节点对列表为空。解决方法是：\n1. 更新代码仓库到最新版本（git pull）。\n2. 重新下载最新的预处理数据文件，因为作者已修复了旧文件中缺失字段的问题。\n3. 确保数据目录路径正确指向更新后的文件。","https:\u002F\u002Fgithub.com\u002Facbull\u002FpyHGT\u002Fissues\u002F2",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},24506,"使用较大 batch size 运行时出现 multiprocessing 相关错误（如 received 0 items of ancdata）如何解决？","这通常是由于使用了旧版本的代码导致的兼容性问题。请执行以下步骤：\n1. 重新拉取（git pull）最新的代码仓库，作者已修复了相关的多进程处理逻辑。\n2. 确保所有依赖包版本与 requirements.txt 一致。\n3. 如果问题依旧，尝试在其他图数据集上测试以排除特定数据问题，但首要步骤是更新代码。","https:\u002F\u002Fgithub.com\u002Facbull\u002FpyHGT\u002Fissues\u002F13",{"id":139,"question_zh":140,"answer_zh":141,"source_url":142},24507,"HGT 模型中的 'relationship prior'（关系先验）是什么？","在 HGT 模型的代码实现中，'relationship prior' 被解释为一个可学习的权重参数（learnable weight）。它用于在消息传递过程中建模不同关系类型的重要性或偏好，具体实现细节可以在模型的注意力机制代码部分找到。","https:\u002F\u002Fgithub.com\u002Facbull\u002FpyHGT\u002Fissues\u002F62",{"id":144,"question_zh":145,"answer_zh":146,"source_url":147},24508,"运行示例脚本时遇到 'ImportError: attempted relative import with no known parent package' 错误？","该错误表明 Python 无法识别相对导入的父包。这通常是因为直接运行了模块脚本而不是作为包运行。请尝试以下方法：\n1. 确保在当前项目根目录下运行命令。\n2. 检查是否需要将当前目录添加到 PYTHONPATH，或者使用 'python -m module_name' 的方式运行。\n3. 确认文件结构完整，没有移动或丢失必要的 __init__.py 文件或数据文件。","https:\u002F\u002Fgithub.com\u002Facbull\u002FpyHGT\u002Fissues\u002F12",{"id":149,"question_zh":150,"answer_zh":151,"source_url":127},24509,"增加采样宽度（sample_width）导致显存溢出（OOM）怎么办？","增加 sample_width 确实会显著提升显存消耗。如果遇到 OOM 错误：\n1. 尝试减小 sample_width 参数（例如从 600 降回 520 或更低），虽然这可能轻微影响精度，但能保证运行。\n2. 减小 batch size。\n3. 作者提到在 Tesla K80 (12GB) 上运行正常，如果你的显存更大却报错，请检查是否还有其他进程占用显存，或尝试清理显存后重试。",[]]