[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-google-research-datasets--paws":3,"tool-google-research-datasets--paws":65},[4,23,32,40,49,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":22},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,2,"2026-04-05T10:45:23",[13,14,15,16,17,18,19,20,21],"图像","数据工具","视频","插件","Agent","其他","语言模型","开发框架","音频","ready",{"id":24,"name":25,"github_repo":26,"description_zh":27,"stars":28,"difficulty_score":29,"last_commit_at":30,"category_tags":31,"status":22},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[17,13,20,19,18],{"id":33,"name":34,"github_repo":35,"description_zh":36,"stars":37,"difficulty_score":29,"last_commit_at":38,"category_tags":39,"status":22},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[19,13,20,18],{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":46,"last_commit_at":47,"category_tags":48,"status":22},3215,"awesome-machine-learning","josephmisiti\u002Fawesome-machine-learning","awesome-machine-learning 是一份精心整理的机器学习资源清单，汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点，这份清单按编程语言（如 Python、C++、Go 等）和应用场景（如计算机视觉、自然语言处理、深度学习等）进行了系统化分类，帮助使用者快速定位高质量项目。\n\n它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库，还是资深工程师对比不同语言的技术选型，都能从中获得极具价值的参考。此外，清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源，构建了从学习到实践的全链路支持体系。\n\n其独特亮点在于严格的维护标准：明确标记已停止维护或长期未更新的项目，确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”，awesome-machine-learning 以开源协作的方式持续更新，旨在降低技术探索门槛，让每一位从业者都能高效地站在巨人的肩膀上创新。",72149,1,"2026-04-03T21:50:24",[20,18],{"id":50,"name":51,"github_repo":52,"description_zh":53,"stars":54,"difficulty_score":46,"last_commit_at":55,"category_tags":56,"status":22},2234,"scikit-learn","scikit-learn\u002Fscikit-learn","scikit-learn 是一个基于 Python 构建的开源机器学习库，依托于 SciPy、NumPy 等科学计算生态，旨在让机器学习变得简单高效。它提供了一套统一且简洁的接口，涵盖了从数据预处理、特征工程到模型训练、评估及选择的全流程工具，内置了包括线性回归、支持向量机、随机森林、聚类等在内的丰富经典算法。\n\n对于希望快速验证想法或构建原型的数据科学家、研究人员以及 Python 开发者而言，scikit-learn 是不可或缺的基础设施。它有效解决了机器学习入门门槛高、算法实现复杂以及不同模型间调用方式不统一的痛点，让用户无需重复造轮子，只需几行代码即可调用成熟的算法解决分类、回归、聚类等实际问题。\n\n其核心技术亮点在于高度一致的 API 设计风格，所有估算器（Estimator）均遵循相同的调用逻辑，极大地降低了学习成本并提升了代码的可读性与可维护性。此外，它还提供了强大的模型选择与评估工具，如交叉验证和网格搜索，帮助用户系统地优化模型性能。作为一个由全球志愿者共同维护的成熟项目，scikit-learn 以其稳定性、详尽的文档和活跃的社区支持，成为连接理论学习与工业级应用的最",65628,"2026-04-05T10:10:46",[20,18,14],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":10,"last_commit_at":63,"category_tags":64,"status":22},3364,"keras","keras-team\u002Fkeras","Keras 是一个专为人类设计的深度学习框架，旨在让构建和训练神经网络变得简单直观。它解决了开发者在不同深度学习后端之间切换困难、模型开发效率低以及难以兼顾调试便捷性与运行性能的痛点。\n\n无论是刚入门的学生、专注算法的研究人员，还是需要快速落地产品的工程师，都能通过 Keras 轻松上手。它支持计算机视觉、自然语言处理、音频分析及时间序列预测等多种任务。\n\nKeras 3 的核心亮点在于其独特的“多后端”架构。用户只需编写一套代码，即可灵活选择 TensorFlow、JAX、PyTorch 或 OpenVINO 作为底层运行引擎。这一特性不仅保留了 Keras 一贯的高层易用性，还允许开发者根据需求自由选择：利用 JAX 或 PyTorch 的即时执行模式进行高效调试，或切换至速度最快的后端以获得最高 350% 的性能提升。此外，Keras 具备强大的扩展能力，能无缝从本地笔记本电脑扩展至大规模 GPU 或 TPU 集群，是连接原型开发与生产部署的理想桥梁。",63927,"2026-04-04T15:24:37",[20,14,18],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":80,"owner_email":80,"owner_twitter":80,"owner_website":81,"owner_url":82,"languages":83,"stars":88,"forks":89,"last_commit_at":90,"license":91,"difficulty_score":46,"env_os":92,"env_gpu":93,"env_ram":93,"env_deps":94,"category_tags":98,"github_topics":80,"view_count":10,"oss_zip_url":80,"oss_zip_packed_at":80,"status":22,"created_at":99,"updated_at":100,"faqs":101,"releases":130},2033,"google-research-datasets\u002Fpaws","paws","This dataset contains 108,463 human-labeled and 656k noisily labeled pairs that feature the importance of modeling structure, context, and word order information for the problem of paraphrase identification.","PAWS 是一个用于评估和提升语义相似度模型性能的数据集，专注于识别那些词汇高度重叠但语义不同的句子对。它包含超过10万条人工标注和65万条噪声标注的句子对，涵盖英文、中文等六种语言，数据源自维基百科和Quora问答对。传统模型常误判如“从纽约飞往佛罗里达”和“从佛罗里达飞往纽约”为同义句，而PAWS通过精心构造的“词序扰动”样本，暴露了模型对结构、上下文和词序理解的不足。实验表明，加入PAWS训练后，模型准确率可从不足40%提升至85%，同时保持在其他基准上的表现。PAWS提供标注完整、质量高的训练集，也包含未标注的噪声数据，适合用于增强模型的鲁棒性。该数据集特别适合自然语言处理的研究人员和开发者，用于训练或评估语义匹配、文本蕴含、问答系统等任务，帮助构建更精准、更可靠的语义理解模型。","# PAWS: Paraphrase Adversaries from Word Scrambling\n\n**\\*\\*\\*\\*\\* New August 27th, 2019: Multilingual PAWS for six languages\n\\*\\*\\*\\*\\***\n\nWe released PAWS-X, a multilingual version of PAWS for six languages. See\n[here](https:\u002F\u002Fgithub.com\u002Fgoogle-research-datasets\u002Fpaws\u002Ftree\u002Fmaster\u002Fpawsx) for\nmore details.\n\n**\\*\\*\\*\\*\\* End new information \\*\\*\\*\\*\\***\n\nThis dataset contains 108,463 human-labeled and 656k noisily labeled pairs that\nfeature the importance of modeling structure, context, and word order\ninformation for the problem of paraphrase identification. The dataset has two\nsubsets, one based on Wikipedia and the other one based on the\n[Quora Question Pairs](https:\u002F\u002Fquoradata.quora.com\u002FFirst-Quora-Dataset-Release-Question-Pairs)\n(QQP) dataset.\n\nFor further details, see the accompanying paper:\n[PAWS: Paraphrase Adversaries from Word Scrambling](https:\u002F\u002Farxiv.org\u002Fabs\u002F1904.01130)\n\n## Motivation\n\nExisting paraphrase identification datasets lack sentence pairs that have high\nlexical overlap without being paraphrases. Models trained on such data fail to\ndistinguish pairs like *flights from New York to Florida* and *flights from\nFlorida to New York*.\n\nBelow are two examples from the dataset:\n\n|     | Sentence 1                    | Sentence 2                    | Label |\n| :-- | :---------------------------- | :---------------------------- | :---- |\n| (1) | Although interchangeable, the body pieces on the 2 cars are not similar. | Although similar, the body parts are not interchangeable  on the 2 cars.  | 0     |\n| (2) | Katz was born in Sweden in 1947 and moved to New York City at the age of 1.      | Katz was born in 1947 in Sweden and moved to New York at the age of one.   | 1     |\n\nThe first pair has different semantic meaning while the second pair is a\nparaphrase. State-of-the-art models trained on existing datasets have dismal\nperformance on PAWS (\u003C40% accuracy); however, including PAWS training data for\nthese models improves their accuracy to 85% while maintaining performance on\nexisting datasets such as the\n[Quora Question Pairs](https:\u002F\u002Fquoradata.quora.com\u002FFirst-Quora-Dataset-Release-Question-Pairs).\n\n## PAWS-Wiki\n\nThis corpus contains pairs generated from Wikipedia pages, and can be downloaded\nhere:\n\n*   [`PAWS-Wiki Labeled (Final)`](https:\u002F\u002Fstorage.googleapis.com\u002Fpaws\u002Fenglish\u002Fpaws_wiki_labeled_final.tar.gz):\n    containing pairs that are generated from both word swapping and back\n    translation methods. All pairs have human judgements on both paraphrasing\n    and fluency and they are split into Train\u002FDev\u002FTest sections.\n*   [`PAWS-Wiki Labeled (Swap-only)`](https:\u002F\u002Fstorage.googleapis.com\u002Fpaws\u002Fenglish\u002Fpaws_wiki_labeled_swap.tar.gz):\n    containing pairs that have no back translation counterparts and therefore\n    they are not included in the first set. Nevertheless, they are high-quality\n    pairs with human judgements on both paraphrasing and fluency, and they can\n    be included as an auxiliary training set.\n*   [`PAWS-Wiki Unlabeled (Final)`](https:\u002F\u002Fstorage.googleapis.com\u002Fpaws\u002Fenglish\u002Fpaws_wiki_unlabeled_final.tar.gz):\n    Pairs in this set have noisy labels without human judgments and can also be\n    used as an auxiliary training set. They are generated from both word\n    swapping and back translation methods.\n\nAll files are in the tsv format with four columns:\n\nColumn Name   | Data\n:------------ | :--------------------------\nid            | A unique id for each pair\nsentence1     | The first sentence\nsentence2     | The second sentence\n(noisy_)label | (Noisy) label for each pair\n\nEach label has two possible values: `0` indicates the pair has different\nmeaning, while `1` indicates the pair is a paraphrase.\n\nThe number of examples and the proportion of paraphrase (Yes%) pairs are shown\nbelow:\n\nData                | Train   | Dev    | Test  | Yes%\n:------------------ | ------: | -----: | ----: | ----:\nLabeled (Final)     | 49,401  | 8,000  | 8,000 | 44.2%\nLabeled (Swap-only) | 30,397  | --     | --    | 9.6%\nUnlabeled (Final)   | 645,652 | 10,000 | --    | 50.0%\n\nWe also release source sentences that are used to generate this dataset and\ntheir mappings. Please see\n[here](https:\u002F\u002Fgithub.com\u002Fgoogle-research-datasets\u002Fpaws\u002Ftree\u002Fmaster\u002Fwiki_raw_and_mapping#raw-sentences-and-mappings-for-paws-wiki)\nfor more details.\n\n## PAWS-QQP\n\nThis corpus contains pairs generated from the\n[Quora Question Pairs](https:\u002F\u002Fquoradata.quora.com\u002FFirst-Quora-Dataset-Release-Question-Pairs)\ncorpus. We cannot directly distribute the raw `PAWS-QQP` data due to the license\nof QQP, so the examples must be reconstructed by downloading the original data\nand then running our scripts to produce the data and attach the labels.\n\nTo reconstruct the `PAWS-QQP` corpus, first download the original\n[Quora Question Pairs dataset](https:\u002F\u002Fquoradata.quora.com\u002FFirst-Quora-Dataset-Release-Question-Pairs)\nand save the tsv file to some location `\u002Fpath\u002Fto\u002Foriginal_qqp\u002Fdata.tsv`. Then\ndownload the `PAWS-QQP` index file from the following link:\n\n*   [`PAWS-QQP Index (Final)`](https:\u002F\u002Fstorage.googleapis.com\u002Fpaws\u002Fenglish\u002Fpaws_qqp.tar.gz)\n\nUnpack it to some directory `\u002Fpath\u002Fto\u002Fpaws_qqp\u002F`. Run the following commands to\ngenerate the corpus.\n\n```shell\nexport ORIGINAL_QQP_FILE=\"\u002Fpath\u002Fto\u002Foriginal_qqp\u002Fdata.tsv\"\nexport PAWS_QQP_DIR=\"\u002Fpath\u002Fto\u002Fpaws_qqp\u002F\"\nexport PAWS_QQP_OUTPUT_DIR=\"\u002Fpath\u002Fto\u002Fpaws_qqp\u002Foutput\u002F\"\n\npython qqp_generate_data.py \\\n  --original_qqp_input=\"${ORIGINAL_QQP_FILE}\" \\\n  --paws_input=\"${PAWS_QQP_DIR}\u002Ftrain.tsv\" \\\n  --paws_output=\"${PAWS_QQP_OUTPUT_DIR}\u002Ftrain.tsv\"\n\npython qqp_generate_data.py \\\n  --original_qqp_input=\"${ORIGINAL_QQP_FILE}\" \\\n  --paws_input=\"${PAWS_QQP_DIR}\u002Fdev_and_test.tsv\" \\\n  --paws_output=\"${PAWS_QQP_OUTPUT_DIR}\u002Fdev_and_test.tsv\"\n```\n\nNote: this script requires NLTK and was tested on version 3.2.5.\n\nThe generated tsv files have the same format as `PAWS-Wiki`. All pairs are\nmanually labeled, and the number of examples and the proportion of paraphrase\n(Yes%) pairs are shown below:\n\nData     | Train  | Dev and Test | Yes%\n:------- | -----: | -----------: | ----:\nPAWS-QQP | 11,988 | 677          | 31.3%\n\nFor the experiments in our paper, we used the train\u002Fdev\u002Ftest split of the\noriginal QQP from [Wang et al, 2017](https:\u002F\u002Farxiv.org\u002Fabs\u002F1702.03814).\n\n## PAWS-X\n\nThis corpus contains translations of the PAWS examples in six typologically\ndistinct languages: French, Spanish, German, Chinese, Japanese, and Korean.\nPlease see\n[here](https:\u002F\u002Fgithub.com\u002Fgoogle-research-datasets\u002Fpaws\u002Ftree\u002Fmaster\u002Fpawsx) for\nmore details.\n\nNote: for multilingual experiments, please use `dev_2k.tsv` provided in the\nPAWS-X repo as the development sets for all languages, including English.\n\n## Reference\n\nIf you use or discuss this dataset in your work, please cite the following\npapers correspondingly:\n\n```\n@InProceedings{paws2019naacl,\n  title = {{PAWS: Paraphrase Adversaries from Word Scrambling}},\n  author = {Zhang, Yuan and Baldridge, Jason and He, Luheng},\n  booktitle = {Proc. of NAACL},\n  year = {2019}\n}\n\n@InProceedings{pawsx2019emnlp,\n  title = {{PAWS-X: A Cross-lingual Adversarial Dataset for Paraphrase Identification}},\n  author = {Yang, Yinfei and Zhang, Yuan and Tar, Chris and Baldridge, Jason},\n  booktitle = {Proc. of EMNLP},\n  year = {2019}\n}\n```\n\n## Contact\n\nIf you have a technical question regarding the dataset or publication, please\ncreate an issue in this repository.\n","# PAWS：通过单词打乱生成释义对抗样本\n\n**\\*\\*\\*\\*\\* 新增内容，2019年8月27日：支持六种语言的多语言PAWS**\n\\*\\*\\*\\*\\*\n\n我们发布了PAWS-X，即支持六种语言的多语言版PAWS。更多详情请见\n[这里](https:\u002F\u002Fgithub.com\u002Fgoogle-research-datasets\u002Fpaws\u002Ftree\u002Fmaster\u002Fpawsx)。\n\n**\\*\\*\\*\\*\\* 新增内容结束 \\*\\*\\*\\*\\***\n\n该数据集包含108,463对人工标注的数据和656,000对噪声标注的数据，这些数据凸显了在释义识别问题中建模结构、上下文和词序信息的重要性。该数据集分为两个子集，一个基于维基百科，另一个基于\n[Quora问题对](https:\u002F\u002Fquoradata.quora.com\u002FFirst-Quora-Dataset-Release-Question-Pairs)\n(QQP)数据集。\n\n欲了解更多细节，请参阅配套论文：\n[PAWS：通过单词打乱生成释义对抗样本](https:\u002F\u002Farxiv.org\u002Fabs\u002F1904.01130)\n\n## 背景与动机\n\n现有的释义识别数据集缺乏词汇重叠度高但并非释义的句子对。基于此类数据训练的模型无法区分诸如“从纽约飞往佛罗里达的航班”和“从佛罗里达飞往纽约的航班”这样的句子对。\n\n以下是数据集中两个示例：\n\n|     | 句子1                    | 句子2                    | 标签 |\n| :-- | :---------------------------- | :---------------------------- | :---- |\n| (1) | 尽管可互换，这两辆车的车身部件并不相似。 | 尽管相似，这两辆车的车身部件却不可互换。  | 0     |\n| (2) | 卡茨1947年出生于瑞典，1岁时搬到纽约市。      | 卡茨1947年出生于瑞典，一岁时搬到纽约。   | 1     |\n\n第一组句子语义不同，而第二组则是释义。基于现有数据集训练的最先进模型在PAWS上的表现非常糟糕（准确率低于40%）；然而，将PAWS训练数据纳入这些模型后，其准确率可提升至85%，同时还能保持在现有数据集如\n[Quora问题对](https:\u002F\u002Fquoradata.quora.com\u002FFirst-Quora-Dataset-Release-Question-Pairs)上的表现。\n\n## PAWS-Wiki\n\n该语料库包含从维基百科页面生成的句子对，可在此下载：\n\n*   [`PAWS-Wiki 标注版（最终版）`](https:\u002F\u002Fstorage.googleapis.com\u002Fpaws\u002Fenglish\u002Fpaws_wiki_labeled_final.tar.gz)：\n    包含通过单词交换和回译两种方法生成的句子对。所有句子对都经过人工判断，涵盖释义和流畅性两方面，并按训练\u002F开发\u002F测试划分。\n*   [`PAWS-Wiki 标注版（仅交换版）`](https:\u002F\u002Fstorage.googleapis.com\u002Fpaws\u002Fenglish\u002Fpaws_wiki_labeled_swap.tar.gz)：\n    包含没有回译对应句的句子对，因此未包含在第一组中。不过，这些句子对质量很高，同样经过人工判断释义和流畅性，可作为辅助训练集使用。\n*   [`PAWS-Wiki 未标注版（最终版）`](https:\u002F\u002Fstorage.googleapis.com\u002Fpaws\u002Fenglish\u002Fpaws_wiki_unlabeled_final.tar.gz)：\n    该集合中的句子对带有噪声标签，无人工判断，也可用作辅助训练集。它们同样由单词交换和回译两种方法生成。\n\n所有文件均为tsv格式，包含四列：\n\n列名   | 数据\n:------------ | :--------------------------\nid            | 每对句子的唯一ID\nsentence1     | 第一句\nsentence2     | 第二句\n(噪声_)label | （噪声）每对句子的标签\n\n每个标签有两个可能值：`0`表示这对句子语义不同，`1`则表示这对句子是释义。\n\n以下为各数据集的示例数量及释义（是%）的比例：\n\n数据                | 训练   | 开发    | 测试  | 是%\n:------------------ | ------: | -----: | ----: | ----:\n标注版（最终版）     | 49,401  | 8,000  | 8,000 | 44.2%\n标注版（仅交换版） | 30,397  | --     | --    | 9.6%\n未标注版（最终版）   | 645,652 | 10,000 | --    | 50.0%\n\n我们还发布了用于生成该数据集的原始句子及其映射关系。更多详情请见\n[这里](https:\u002F\u002Fgithub.com\u002Fgoogle-research-datasets\u002Fpaws\u002Ftree\u002Fmaster\u002Fwiki_raw_and_mapping#raw-sentences-and-mappings-for-paws-wiki)。\n\n## PAWS-QQP\n\n该语料库包含从\n[Quora问题对](https:\u002F\u002Fquoradata.quora.com\u002FFirst-Quora-Dataset-Release-Question-Pairs)\n语料库生成的句子对。由于QQP的许可协议，我们无法直接分发原始的`PAWS-QQP`数据，因此必须先下载原始数据，再运行我们的脚本生成数据并添加标签。\n\n要重建`PAWS-QQP`语料库，首先下载原始的\n[Quora问题对数据集](https:\u002F\u002Fquoradata.quora.com\u002FFirst-Quora-Dataset-Release-Question-Pairs)\n并将tsv文件保存到某个位置 `\u002Fpath\u002Fto\u002Foriginal_qqp\u002Fdata.tsv`。然后从以下链接下载`PAWS-QQP`索引文件：\n\n*   [`PAWS-QQP 索引（最终版）`](https:\u002F\u002Fstorage.googleapis.com\u002Fpaws\u002Fenglish\u002Fpaws_qqp.tar.gz)\n\n将其解压到某个目录 `\u002Fpath\u002Fto\u002Fpaws_qqp\u002F`。运行以下命令生成语料库。\n\n```shell\nexport ORIGINAL_QQP_FILE=\"\u002Fpath\u002Fto\u002Foriginal_qqp\u002Fdata.tsv\"\nexport PAWS_QQP_DIR=\"\u002Fpath\u002Fto\u002Fpaws_qqp\u002F\"\nexport PAWS_QQP_OUTPUT_DIR=\"\u002Fpath\u002Fto\u002Fpaws_qqp\u002Foutput\u002F\"\n\npython qqp_generate_data.py \\\n  --original_qqp_input=\"${ORIGINAL_QQP_FILE}\" \\\n  --paws_input=\"${PAWS_QQP_DIR}\u002Ftrain.tsv\" \\\n  --paws_output=\"${PAWS_QQP_OUTPUT_DIR}\u002Ftrain.tsv\"\n\npython qqp_generate_data.py \\\n  --original_qqp_input=\"${ORIGINAL_QQP_FILE}\" \\\n  --paws_input=\"${PAWS_QQP_DIR}\u002Fdev_and_test.tsv\" \\\n  --paws_output=\"${PAWS_QQP_OUTPUT_DIR}\u002Fdev_and_test.tsv\"\n```\n\n注意：此脚本需要NLTK，已在版本3.2.5上测试通过。\n\n生成的tsv文件格式与`PAWS-Wiki`相同。所有句子对均经人工标注，以下为各数据集的示例数量及释义（是%）的比例：\n\n数据     | 训练  | 开发和测试 | 是%\n:------- | -----: | -----------: | ----:\nPAWS-QQP | 11,988 | 677          | 31.3%\n\n在我们的论文实验中，我们采用了来自[Wang et al, 2017](https:\u002F\u002Farxiv.org\u002Fabs\u002F1702.03814)的原始QQP的训练\u002F开发\u002F测试划分。\n\n## PAWS-X\n\n该语料库包含PAWS示例在六种类型迥异的语言中的翻译：法语、西班牙语、德语、中文、日语和韩语。更多详情请见\n[这里](https:\u002F\u002Fgithub.com\u002Fgoogle-research-datasets\u002Fpaws\u002Ftree\u002Fmaster\u002Fpawsx)。\n\n注意：进行多语言实验时，请使用PAWS-X仓库中提供的`dev_2k.tsv`作为所有语言的开发集，包括英语。\n\n## 参考文献\n\n如果您在工作中使用或讨论此数据集，请相应地引用以下论文：\n\n```\n@InProceedings{paws2019naacl,\n  title = {{PAWS: 词语打乱生成的释义对抗样本}},\n  author = {张源和、巴尔德里奇·杰森和何陆恒},\n  booktitle = {NAACL会议论文集},\n  year = {2019}\n}\n\n@InProceedings{pawsx2019emnlp,\n  title = {{PAWS-X：用于释义识别的跨语言对抗数据集}},\n  author = {杨银菲、张源和、塔尔·克里斯和巴尔德里奇·杰森},\n  booktitle = {EMNLP会议论文集},\n  year = {2019}\n}\n```\n\n## 联系方式\n\n如果您对数据集或相关出版物有任何技术问题，请在此仓库中创建一个问题。","# PAWS 快速上手指南\n\n## 环境准备\n\n- **系统要求**：Linux \u002F macOS \u002F Windows（推荐 Linux 环境）\n- **前置依赖**：\n  - Python 3.6+\n  - `numpy`, `pandas`\n  - `nltk`（用于 PAWS-QQP 数据生成）\n  - `wget` 或 `curl`（用于下载数据）\n\n> 推荐使用国内镜像源加速下载：  \n> `pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple numpy pandas nltk`\n\n## 安装步骤\n\n1. 克隆官方仓库（推荐使用 GitHub 镜像加速）：\n\n```bash\ngit clone https:\u002F\u002Fghproxy.com\u002Fhttps:\u002F\u002Fgithub.com\u002Fgoogle-research-datasets\u002Fpaws.git\ncd paws\n```\n\n2. 安装必要依赖：\n\n```bash\npip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple numpy pandas nltk\n```\n\n3. 下载 PAWS-Wiki 数据（推荐使用国内镜像加速下载）：\n\n```bash\nwget https:\u002F\u002Fstorage.googleapis.com\u002Fpaws\u002Fenglish\u002Fpaws_wiki_labeled_final.tar.gz\ntar -xzf paws_wiki_labeled_final.tar.gz\n```\n\n> 如遇下载缓慢，可使用 [阿里云 OSS 镜像](https:\u002F\u002Fhelp.aliyun.com\u002Fdocument_detail\u002F31827.html) 或 [清华 TUNA 镜像站](https:\u002F\u002Fmirrors.tuna.tsinghua.edu.cn\u002F) 中转。\n\n## 基本使用\n\n### 1. 查看数据格式\n\nPAWS 数据为 TSV 格式，包含四列：`id`, `sentence1`, `sentence2`, `label`（0=非同义，1=同义）\n\n```bash\nhead -n 5 paws_wiki_labeled_final\u002Ftrain.tsv\n```\n\n### 2. 加载并简单使用（Python 示例）\n\n```python\nimport pandas as pd\n\n# 加载数据\ndf = pd.read_csv('paws_wiki_labeled_final\u002Ftrain.tsv', sep='\\t')\n\n# 查看前几行\nprint(df.head())\n\n# 统计同义句比例\nprint(f\"同义句比例: {df['label'].mean():.2%}\")\n```\n\n### 3. 生成 PAWS-QQP 数据（需原始 Quora 数据）\n\n> 请先从 [Quora Question Pairs](https:\u002F\u002Fquoradata.quora.com\u002FFirst-Quora-Dataset-Release-Question-Pairs) 下载 `data.tsv`，并保存至 `\u002Fpath\u002Fto\u002Foriginal_qqp\u002Fdata.tsv`\n\n```bash\n# 下载 PAWS-QQP 索引文件\nwget https:\u002F\u002Fstorage.googleapis.com\u002Fpaws\u002Fenglish\u002Fpaws_qqp.tar.gz\ntar -xzf paws_qqp.tar.gz\n\n# 设置路径\nexport ORIGINAL_QQP_FILE=\"\u002Fpath\u002Fto\u002Foriginal_qqp\u002Fdata.tsv\"\nexport PAWS_QQP_DIR=\"\u002Fpath\u002Fto\u002Fpaws_qqp\u002F\"\nexport PAWS_QQP_OUTPUT_DIR=\"\u002Fpath\u002Fto\u002Fpaws_qqp\u002Foutput\u002F\"\n\n# 生成训练和验证数据\npython qqp_generate_data.py \\\n  --original_qqp_input=\"${ORIGINAL_QQP_FILE}\" \\\n  --paws_input=\"${PAWS_QQP_DIR}\u002Ftrain.tsv\" \\\n  --paws_output=\"${PAWS_QQP_OUTPUT_DIR}\u002Ftrain.tsv\"\n\npython qqp_generate_data.py \\\n  --original_qqp_input=\"${ORIGINAL_QQP_FILE}\" \\\n  --paws_input=\"${PAWS_QQP_DIR}\u002Fdev_and_test.tsv\" \\\n  --paws_output=\"${PAWS_QQP_OUTPUT_DIR}\u002Fdev_and_test.tsv\"\n```\n\n> 注意：`qqp_generate_data.py` 需要 NLTK，首次运行会自动下载语料，建议提前执行 `python -c \"import nltk; nltk.download('punkt')\"`。\n\n### 4. 使用 PAWS-X 多语言数据（中文等）\n\n下载多语言数据集：\n\n```bash\ngit clone https:\u002F\u002Fghproxy.com\u002Fhttps:\u002F\u002Fgithub.com\u002Fgoogle-research-datasets\u002Fpaws\u002Ftree\u002Fmaster\u002Fpawsx\ncd pawsx\nls *.tsv  # 包含 zh (中文) 等语言版本\n```\n\n推荐使用 `dev_2k.tsv` 作为所有语言的开发集，包括英文。","某大型在线教育平台的智能客服团队正在优化问答匹配系统，用于自动识别用户提出的两个问题是否语义等价（如“如何学好英语？”和“怎样才能提高英语水平？”），以减少重复回答、提升响应效率。但系统频繁误判词序相近但语义相反的句子，导致错误引导用户。\n\n### 没有 paws 时\n- 模型将“在纽约上大学”和“在大学上纽约”误判为语义相同，错误推荐了无关课程信息\n- 用户提问“我该先学语法还是词汇？”被误认为与“我该先学词汇还是语法？”不是同义句，造成重复应答\n- 训练数据仅依赖Quora等高词重叠数据集，模型过度依赖词汇匹配，忽略结构和词序变化\n- 当用户输入语序颠倒但语义相反的句子（如“不推荐这个课程” vs “推荐这个课程”）时，系统仍给出“是同义句”结论\n- 客服团队每月需人工审核超过2000次误判，增加运营成本和用户不满\n\n### 使用 paws 后\n- 模型能准确区分“从纽约飞往佛罗里达”和“从佛罗里达飞往纽约”为不同语义，避免误导行程规划\n- 对词序调换但语义一致的句子（如“学英语的方法”和“英语的学习方法”）识别准确率从58%提升至87%\n- 引入PAWS-Wiki标注数据后，模型在保持原有Quora数据集性能的同时，对对抗性干扰句的鲁棒性显著增强\n- 误判率下降62%，每月人工复核量从2000+降至700以内，客服响应效率提升近40%\n- 团队可直接使用无标签数据进行半监督训练，进一步降低标注成本，加速模型迭代\n\npaws 让智能问答系统真正理解语言的结构与语序，从“字面匹配”进化为“语义推理”，显著提升用户体验与运营效率。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fgoogle-research-datasets_paws_4861e97d.png","google-research-datasets","Google Research Datasets","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fgoogle-research-datasets_af261fb1.png","Datasets released by Google Research",null,"research.google","https:\u002F\u002Fgithub.com\u002Fgoogle-research-datasets",[84],{"name":85,"color":86,"percentage":87},"Python","#3572A5",100,566,53,"2026-04-02T21:45:16","NOASSERTION","Linux, macOS, Windows","未说明",{"notes":95,"python":93,"dependencies":96},"PAWS 本身是数据集，需配合模型训练使用；重建 PAWS-QQP 需要先下载 Quora 原始数据并运行脚本；多语言版本 PAWS-X 需单独下载；建议使用 Python 3.8+ 和最新深度学习框架进行实验。",[97],"nltk>=3.2.5",[14,18],"2026-03-27T02:49:30.150509","2026-04-06T06:53:18.883212",[102,107,112,117,122,126],{"id":103,"question_zh":104,"answer_zh":105,"source_url":106},9247,"BERT 模型在 PAWS 任务中是如何处理句子对的？是分别编码还是拼接后编码？","将两个句子拼接为一个序列输入模型，格式为：[CLS] 句子1 [SEP] 句子2 [SEP]，然后通过 BERT 编码整个序列，最后使用 [CLS] 标记的输出进行分类。","https:\u002F\u002Fgithub.com\u002Fgoogle-research-datasets\u002Fpaws\u002Fissues\u002F7",{"id":108,"question_zh":109,"answer_zh":110,"source_url":111},9248,"PAWS 论文中使用的 QQP 数据集的训练\u002F验证\u002F测试划分是否公开标准？","PAWS 使用的是 Wang 等人（2017）的原始 QQP 划分，该划分是随机的，但被多篇论文（如 Gong et al., 2017 和 Tomar et al., 2017）广泛采用，以确保结果可比性。","https:\u002F\u002Fgithub.com\u002Fgoogle-research-datasets\u002Fpaws\u002Fissues\u002F2",{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},9249,"PAWS-Wiki 标注数据集是否包含在未标注数据集中？","PAWS-Wiki 标注数据集（Labeled）中的数据点不包含在未标注数据集（Unlabeled）中，两者是独立的，尽管存在极少量重叠（507 对），但不影响数据集设计。","https:\u002F\u002Fgithub.com\u002Fgoogle-research-datasets\u002Fpaws\u002Fissues\u002F1",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},9250,"在 QQP → PAWS 的迁移训练中，如何选择最佳模型？使用 QQP 的验证集还是 PAWS 的验证集？","通常使用 QQP 验证集进行早停（early stopping），但实验中也尝试过使用 PAWS 验证集选择最佳检查点，结果差异不大；QQP 模型在 PAWS 验证集上表现普遍较差，而 QQP+PAWS_train 模型在两个验证集上均表现最佳。","https:\u002F\u002Fgithub.com\u002Fgoogle-research-datasets\u002Fpaws\u002Fissues\u002F12",{"id":123,"question_zh":124,"answer_zh":125,"source_url":111},9251,"为什么模型在 QQP 训练集上的表现远优于在 PAWS-QQP 验证集上的表现？","这是因为 PAWS-QQP 是通过人工重写和对抗生成构建的，与原始 QQP 的语义相似性分布不同，导致模型在 QQP 上过拟合，无法泛化到更具挑战性的 PAWS-QQP 验证集，这是数据集设计的预期效果。",{"id":127,"question_zh":128,"answer_zh":129,"source_url":106},9252,"在 PAWS 任务中，模型是否为每个句子单独生成向量，还是只使用拼接序列的 [CLS] 向量？","模型不为每个句子单独生成向量，而是将两个句子拼接为 [CLS] 句子1 [SEP] 句子2 [SEP]，仅使用 [CLS] 位置的最终隐藏状态作为整个句子对的表示，再接一个分类层。",[]]