perplexity-scraper
Perplexity Scraper 是由 Oxylabs 推出的一款开源工具,旨在帮助开发者轻松从 Perplexity AI 搜索引擎中提取数据。它允许用户发送自定义提示词,自动收集 AI 生成的回答以及相关的结构化元数据,如引用来源、图片链接和搜索排名等。
这款工具主要解决了直接抓取动态 AI 内容难度大、易被反爬虫机制拦截的痛点。传统方法往往需要自行维护复杂的代理池、浏览器环境或处理 JavaScript 渲染,而 Perplexity Scraper 内置了全球代理基础设施和自动渲染能力,无需担心封禁问题,即可实时获取干净的 JSON、Markdown 或网页截图等多种格式的数据。
它非常适合需要进行品牌舆情监控、竞品分析、SEO 性能追踪以及 AI 内容审计的开发者和数据研究人员。通过简单的 API 调用,用户即可将 Perplexity 的搜索结果集成到自己的数据分析流程中,大幅降低技术门槛。
其独特亮点在于能够直接返回解析后的结构化数据,而非难以处理的原始 HTML,同时支持指定地理位置以获取本地化搜索结果。无论是构建市场调研报告还是训练垂直领域模型,Perplexity Scraper 都能提供高效、稳定的数据支持,让数据采集工作变得简单快捷。
使用场景
某电商数据团队需要每日监控全球主要市场中竞品手机的品牌提及率、价格排名及用户评价,以动态调整营销策略。
没有 perplexity-scraper 时
- 人工效率低下:分析师需手动在 Perplexity 输入不同地区的查询词,逐个复制粘贴答案和来源链接,耗时数小时且无法规模化。
- 数据结构混乱:获取的内容多为非结构化文本或截图,难以直接导入数据库进行价格趋势对比或情感分析。
- 反爬拦截频繁:自行编写脚本抓取时,常因 IP 被封或触发验证码导致任务中断,维护代理池和浏览器环境成本极高。
- 地域数据缺失:难以模拟特定国家(如美国、日本)的本地化搜索结果,导致定价策略缺乏区域针对性。
使用 perplexity-scraper 后
- 自动化批量采集:通过 API 一键发送包含地理定位参数的提示词,几分钟内即可自动收集全球多个市场的竞品情报。
- 原生结构化输出:直接返回解析好的 JSON 数据,包含精确的价格列表、来源 URL 及模型生成的摘要,无缝对接内部 BI 系统。
- 基础设施零维护:依托 Oxylabs 的全球代理网络自动处理渲染与反爬机制,开发者无需关心 IP 轮换或浏览器配置。
- 精准本地化洞察:灵活设置
geo_location参数,轻松获取特定目标市场的真实搜索排名和本地化定价信息。
perplexity-scraper 将原本繁琐的人工调研转化为实时的结构化数据流,让企业能以分钟级速度响应全球市场变化。
运行环境要求
- 未说明
不需要
未说明

快速开始
Perplexity 抓取工具
由 Oxylabs 提供的 Perplexity 抓取工具 允许开发者向 Perplexity 发送提示,并自动收集 AI 生成的回答以及结构化的元数据。它不仅能够提供原始 HTML,还可以将结果以解析后的 JSON、网站 PNG、XHR/Fetch 请求或 Markdown 格式输出。
您可以将 Oxylabs 的网页抓取 API 与 Perplexity 结合使用,用于 AI 内容审计、研究跟踪以及 SEO 表现分析。该工具能够处理动态的 AI 生成内容,全面支持实时 SERP 提取,并与 Oxylabs 的全球代理基础设施无缝集成,无需自行管理代理、浏览器或担心反机器人系统。
工作原理
Perplexity 抓取工具负责渲染、解析并将结果以任何请求的格式交付。您只需提供您的提示、认证信息以及一些可选参数,如下所示。
请求示例(Python)
import json
import requests
# API 参数。
payload = {
'source': 'perplexity',
'prompt': '2025 年排名前三的智能手机,请比较它们在美国各大电商平台上的价格',
'geo_location': '美国',
'parse': True
}
# 获取响应。
response = requests.post(
'https://realtime.oxylabs.io/v1/queries',
auth=('USERNAME', 'PASSWORD'),
json=payload
)
# 将响应打印到标准输出。
print(response.json())
# 将响应保存为 JSON 文件。
with open('response.json', 'w') as file:
json.dump(response.json(), file, indent=2)
更多不同编程语言的请求示例可在 此处 查阅。
注意: 默认情况下,所有发送至 Perplexity 的请求都会使用 JavaScript 渲染。在使用实时集成方式时,请务必设置足够长的超时时间(例如 180 秒)。
请求参数
| 参数 | 描述 | 默认值 |
|---|---|---|
source* |
设置 Perplexity 抓取工具 | perplexity |
prompt* |
提交给 Perplexity 的提示或问题。 | – |
parse |
设置为 true 时返回解析后的数据。 | true |
geo_location |
指定发送提示的国家。更多信息。 | – |
callback_url |
您的回调端点 URL。更多信息。 | – |
* 必填参数
输出示例
网页抓取 API 会返回 Perplexity 抓取工具的 HTML 文档或 JSON 对象,其中包含来自结果页面的结构化数据。
HTML 示例:

结构化 JSON 输出片段:
{
"results": [
{
"content": {
"url": "https://www.perplexity.ai/search/top-3-smartphones-in-2025-comp-wvA0dso7TgW3NpgF8Jd8tg",
"model": "turbo",
"top_images": ["url + 标题"],
"top_sources": ["url + 标题 + 来源"],
"prompt_query": "2025 年排名前三的智能手机,请比较它们在美国各大电商平台上的价格",
"answer_results": ["JSON 格式的答案"],
"displayed_tabs": [
"搜索",
"图片",
"来源"
],
"related_queries": [
"排名前三的智能手机在美国各大电商平台上的价格如何比较",
"Galaxy S25 Ultra 在 2025 年为何能成为最佳机型",
"Pixel 9a 虽然价格较低,但为何仍被认为是顶级的经济型选择",
"iPhone 16 Pro Max 的定价与其他三星和谷歌机型有何不同",
"在 2025 年选择这些顶级智能手机时,我应该考虑哪些因素"
],
"answer_results_md": ["Markdown 格式的答案"],
"parse_status_code": 12000
},
"created_at": "2025-07-16 12:14:32",
"updated_at": "2025-07-16 12:15:28",
"page": 1,
"url": "https://www.perplexity.ai/search/top-3-smartphones-in-2025-comp-wvA0dso7TgW3NpgF8Jd8tg",
"job_id": "7351222707934990337",
"is_render_forced": false,
"status_code": 200,
"parser_type": "perplexity",
"parser_preset": null
}
]
}
您可以在本仓库的 此处 找到完整的输出示例文件。此外,您也可以提取 Markdown 格式的数据,以便更轻松地与涉及 AI 工具的数据集成流程相结合。
JSON 输出结构
Structured Perplexity 抓取工具的输出包含 url、model、answer_results 等字段。下表详细列出了我们解析的页面元素,以及它们的描述、数据类型和相关元数据。
注意: 具体结果类型的条目数量和字段可能会因提交的提示而有所不同。
| 字段 | 描述 | 类型 |
|---|---|---|
url |
Perplexity 对话的 URL。 | 字符串 |
page |
页码。 | 整数 |
content |
包含已解析的 Perplexity 页面数据的对象。 | 对象 |
model |
用于生成答案的 Perplexity 模型。 | 字符串 |
prompt_query |
提交给 Perplexity 的原始提示。 | 字符串 |
displayed_tabs |
Perplexity 界面中显示的标签页(例如:购物、图片)。 | 列表 |
answer_results |
包含文本或嵌套内容的完整 Perplexity 响应。 | 列表/字符串 |
answer_results_md |
以 Markdown 格式呈现的完整答案。 | 字符串 |
related_queries |
与主提示相关的查询列表。 | 列表 |
top_images |
包含标题和 URL 的顶级图片列表。 | 数组 |
top_sources |
包含标题、来源和 URL 的顶级引用来源列表。 | 数组 |
inline_products |
包含标题、价格、链接及其他元数据的内联产品列表。 | 数组 |
additional_results.hotels_results |
包含标题、URL、地址及其他酒店详情的酒店列表。 | 数组 |
additional_results.places_results |
包含标题、URL、坐标及其他元数据的地方列表。 | 数组 |
additional_results.videos_results |
包含缩略图、标题、URL 和来源的视频列表。 | 数组 |
additional_results.shopping_results |
包含标题、价格、URL 以及其他商品元数据的购物商品列表。 | 数组 |
additional_results.sources_results |
包含标题和 URL 的引用来源列表。 | 数组 |
additional_results.images_results |
包含标题、图片 URL 和来源页面 URL 的相关图片列表。 | 数组 |
parse_status_code |
解析操作的状态码。 | 整数 |
created_at |
抓取任务创建的时间戳。 | 时间戳 |
updated_at |
抓取任务完成的时间戳。 | 时间戳 |
job_id |
与该抓取任务关联的任务 ID。 | 字符串 |
geo_location |
提交提示所使用的代理位置。 | 字符串 |
status_code |
抓取任务的状态码。更多信息。 | 整数 |
parser_type |
用于解析 HTML 内容的解析器类型。 | 字符串 |
额外结果与内联产品
除了主要的 AI 响应之外,Perplexity 抓取工具还可以在 additional_results 下返回额外的数据,例如:
images_resultssources_resultsshopping_resultsvideos_resultsplaces_resultshotels_results
这些数组是从原始结果页面的标签页中提取的,仅在存在相关内容时才会包含:

此外,inline_products 数组包含直接嵌入响应中的产品:

Perplexity 抓取工具的实际应用场景
- AI 内容审计: 比较 Perplexity 生成响应的质量、一致性和可靠性。
- 研究跟踪: 监控 Perplexity 随时间对信息的总结或解释方式。
- SEO 性能对比: 跟踪品牌提及和内容排名,以优化可见性策略。
为什么选择 Oxylabs?
- 卓越的成功率: 即使面对高流量和动态的 AI 驱动型源,也能实现最可靠的抓取。
- 免维护: 我们的 API 负责处理所有基础设施,包括代理管理、IP 轮换和反机器人系统。
- 专属支持: 从集成到调试,随时为您提供专业帮助。
常见问题解答
抓取 Perplexity AI 是否合法?
Perplexity 并未为其所有功能提供公共 API,因此抓取行为处于灰色地带,具体取决于其服务条款。我们建议您仔细阅读相关政策并确保合规。Oxylabs 提供技术能力,但如何使用则取决于您是否能够负责任地遵守相关法规。
抓取工具是否只返回 JSON?
不是,Perplexity 抓取工具可以根据您的需求返回多种格式。它可以将结果以原始 HTML、结构化 JSON、Markdown 输出、网站 PNG 或 XHR/Fetch 请求捕获的形式返回。
实时请求的推荐超时时间是多少?
由于 Perplexity 的响应是动态生成的,请求可能比常规网页抓取耗时更长。我们建议在使用实时集成方法时,将超时设置为至少 180 秒,以避免获取不完整的结果。对于更大或更复杂的提示,可以考虑使用推送-拉取等异步方法。
了解更多信息
如需深入了解可用参数、高级集成及其他示例,请参阅 Perplexity 抓取工具文档。
联系我们
如有任何疑问或需要支持,请通过 support@oxylabs.io 与我们联系,或通过 Oxylabs 控制台 访问在线聊天,亦可加入我们的 Discord 社区。企业级咨询请联系您的专属客户经理。
相似工具推荐
openclaw
OpenClaw 是一款专为个人打造的本地化 AI 助手,旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚,能够直接接入你日常使用的各类通讯渠道,包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息,OpenClaw 都能即时响应,甚至支持在 macOS、iOS 和 Android 设备上进行语音交互,并提供实时的画布渲染功能供你操控。 这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地,用户无需依赖云端服务即可享受快速、私密的智能辅助,真正实现了“你的数据,你做主”。其独特的技术亮点在于强大的网关架构,将控制平面与核心助手分离,确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者,以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力(支持 macOS、Linux 及 Windows WSL2),即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手(如 Claude Code、Codex、Cursor 等)打造的高性能优化系统。它不仅仅是一组配置文件,而是一个经过长期实战打磨的完整框架,旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能,everything-claude-code 能显著提升 AI 在复杂任务中的表现,帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略,使得模型响应更快、成本更低,同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库,还是需要 AI 协助进行安全审计与自动化测试,everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目,它融合了多语言支持与丰富的实战钩子(hooks),让 AI 真正成长为懂上
LLMs-from-scratch
LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目,旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型(LLM)。它不仅是同名技术著作的官方代码库,更提供了一套完整的实践方案,涵盖模型开发、预训练及微调的全过程。 该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型,却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码,用户能够透彻掌握 Transformer 架构、注意力机制等关键原理,从而真正理解大模型是如何“思考”的。此外,项目还包含了加载大型预训练权重进行微调的代码,帮助用户将理论知识延伸至实际应用。 LLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API,而是渴望探究模型构建细节的技术人员而言,这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计:将复杂的系统工程拆解为清晰的步骤,配合详细的图表与示例,让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础,还是为未来研发更大规模的模型做准备
NextChat
NextChat 是一款轻量且极速的 AI 助手,旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性,以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发,NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言,它也提供了便捷的自托管方案,支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性,原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型,让用户在一个界面即可自由切换不同 AI 能力。此外,它还率先支持 MCP(Model Context Protocol)协议,增强了上下文处理能力。针对企业用户,NextChat 提供专业版解决方案,具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能,满足公司对数据隐私和个性化管理的高标准要求。
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程,旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周,包含 26 节精炼课程和 52 道配套测验,内容涵盖从基础概念到实际应用的完整流程,有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员,还是对人工智能充满好奇的普通爱好者,都能从中受益。课程不仅提供了清晰的理论讲解,还强调动手实践,让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持,通过自动化机制提供了包括简体中文在内的 50 多种语言版本,极大地降低了全球不同背景用户的学习门槛。此外,项目采用开源协作模式,社区活跃且内容持续更新,确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路,ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成(RAG)引擎,旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体(Agent)能力相结合,不仅支持从各类文档中高效提取知识,还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中,幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构(如表格、图表及混合排版),显著提升了信息检索的准确度,从而有效减少模型“胡编乱造”的现象,确保回答既有据可依又具备时效性。其内置的智能体机制更进一步,使系统不仅能回答问题,还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统,还是致力于探索大模型在垂直领域落地的创新者,都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口,既降低了非算法背景用户的上手门槛,也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目,它正成为连接通用大模型与行业专有知识之间的重要桥梁。
