[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-vaexio--vaex":3,"tool-vaexio--vaex":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",150037,2,"2026-04-10T23:33:47",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":77,"owner_twitter":76,"owner_website":78,"owner_url":79,"languages":80,"stars":119,"forks":120,"last_commit_at":121,"license":122,"difficulty_score":123,"env_os":124,"env_gpu":124,"env_ram":125,"env_deps":126,"category_tags":132,"github_topics":134,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":146,"updated_at":147,"faqs":148,"releases":169},6473,"vaexio\u002Fvaex","vaex","Out-of-Core hybrid Apache Arrow\u002FNumPy DataFrame for Python, ML, visualization and exploration of big tabular data at a billion rows per second 🚀","Vaex 是一款专为 Python 打造的高性能数据分析库，旨在帮助用户轻松可视化和探索海量表格数据。它主要解决了传统工具（如 Pandas）在处理十亿级行数据时面临的内存不足和计算缓慢难题，让用户无需依赖昂贵的集群即可在普通电脑上流畅工作。\n\n这款工具非常适合数据科学家、机器学习工程师以及需要处理大规模数据集的研究人员使用。即使你的数据量高达数十亿行，Vaex 也能实现每秒十亿行的统计计算速度，让交互式分析成为可能。\n\nVaex 的核心技术亮点在于其“核外”（Out-of-Core）处理能力。通过内存映射技术，它能瞬间打开巨大的 HDF5 或 Apache Arrow 文件，而无需将数据全部加载到内存中。其独特的“惰性计算”机制和零内存复制策略，确保在进行数据过滤、特征工程或连接操作时不会浪费宝贵的内存资源。此外，Vaex 还内置了高效的并行分组聚合、快速连接操作以及强大的表达式系统，支持直方图、密度图甚至 3D 体积渲染等多种可视化方式，并无缝集成 Jupyter Notebook，让大数据探索变得简单高效。","[![Supported Python Versions](https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fpyversions\u002Fvaex-core)](https:\u002F\u002Fpypi.org\u002Fproject\u002Fvaex-core\u002F)\n[![Documentation](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fvaexio_vaex_readme_13d664e1afd7.png)](https:\u002F\u002Fdocs.vaex.io)\n[![Slack](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fslack-chat-green.svg)](https:\u002F\u002Fjoin.slack.com\u002Ft\u002Fvaexio\u002Fshared_invite\u002Fzt-shhxzf5i-Cf5n2LtkoYgUjOjbB3bGQQ)\n\n# What is Vaex?\n\nVaex is a high performance Python library for lazy **Out-of-Core DataFrames**\n(similar to Pandas), to visualize and explore big tabular datasets. It\ncalculates *statistics* such as mean, sum, count, standard deviation etc, on an\n*N-dimensional grid* for more than **a billion** (`10^9`) samples\u002Frows **per\nsecond**. Visualization is done using **histograms**, **density plots** and **3d\nvolume rendering**, allowing interactive exploration of big data. Vaex uses\nmemory mapping, zero memory copy policy and lazy computations for best\nperformance (no memory wasted).\n\n# Installing\nWith pip:\n```\n$ pip install vaex\n```\nOr conda:\n```\n$ conda install -c conda-forge vaex\n```\n\n[For more details, see the documentation](https:\u002F\u002Fdocs.vaex.io\u002Fen\u002Flatest\u002Finstalling.html)\n\n# Key features\n## Instant opening of Huge data files (memory mapping)\n[HDF5](https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FHierarchical_Data_Format) and [Apache Arrow](https:\u002F\u002Farrow.apache.org\u002F) supported.\n\n![opening1a](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fvaexio_vaex_readme_8b7d0ae18b93.png)\n\n\n![opening1b](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fvaexio_vaex_readme_865ec2346306.png)\n\n[Read the documentation on how to efficiently convert your data](https:\u002F\u002Fdocs.vaex.io\u002Fen\u002Flatest\u002Fexample_io.html) from CSV files, Pandas DataFrames, or other sources.\n\n\nLazy streaming from S3 supported in combination with memory mapping.\n\n![opening1c](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fvaexio_vaex_readme_9b57dd3c624c.png)\n\n\n## Expression system\nDon't waste memory or time with feature engineering, we (lazily) transform your data when needed.\n\n\n![expression](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fvaexio_vaex_readme_1c49b6e39bac.png)\n\n\n\n## Out-of-core DataFrame\nFiltering and evaluating expressions will not waste memory by making copies; the data is kept untouched on disk, and will be streamed only when needed. Delay the time before you need a cluster.\n\n\n![occ-animated](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fvaexio_vaex_readme_98d51df9d6ff.gif)\n\n## Fast groupby \u002F aggregations\nVaex implements parallelized, highly performant `groupby` operations, especially when using categories (>1 billion\u002Fsecond).\n\n\n![groupby](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fvaexio_vaex_readme_6309380a3896.png)\n\n\n## Fast and efficient join\nVaex doesn't copy\u002Fmaterialize the 'right' table when joining, saving gigabytes of memory. With subsecond joining on a billion rows, it's pretty fast!\n\n![join](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fvaexio_vaex_readme_a5f1431463c0.png)\n\n## More features\n\n * Remote DataFrames (documentation coming soon)\n * Integration into [Jupyter and Voila for interactive notebooks and dashboards](https:\u002F\u002Fvaex.readthedocs.io\u002Fen\u002Flatest\u002Ftutorial_jupyter.html)\n * [Machine Learning without (explicit) pipelines](https:\u002F\u002Fvaex.readthedocs.io\u002Fen\u002Flatest\u002Ftutorial_ml.html)\n\n\n## Contributing\n\nSee [contributing](CONTRIBUTING.md) page.\n\n## Slack\n\nJoin the discussion in our [Slack](https:\u002F\u002Fjoin.slack.com\u002Ft\u002Fvaexio\u002Fshared_invite\u002Fzt-shhxzf5i-Cf5n2LtkoYgUjOjbB3bGQQ) channel!\n\n# Learn more about Vaex\n * Articles\n   * [Beyond Pandas: Spark, Dask, Vaex and other big data technologies battling head to head](https:\u002F\u002Ftowardsdatascience.com\u002Fbeyond-pandas-spark-dask-vaex-and-other-big-data-technologies-battling-head-to-head-a453a1f8cc13) (includes benchmarks)\n   * [7 reasons why I love Vaex for data science](https:\u002F\u002Ftowardsdatascience.com\u002F7-reasons-why-i-love-vaex-for-data-science-99008bc8044b) (tips and trics)\n   * [ML impossible: Train 1 billion samples in 5 minutes on your laptop using Vaex and Scikit-Learn](https:\u002F\u002Ftowardsdatascience.com\u002Fml-impossible-train-a-1-billion-sample-model-in-20-minutes-with-vaex-and-scikit-learn-on-your-9e2968e6f385)\n   * [How to analyse 100 GB of data on your laptop with Python](https:\u002F\u002Ftowardsdatascience.com\u002Fhow-to-analyse-100s-of-gbs-of-data-on-your-laptop-with-python-f83363dda94)\n   * [Flying high with Vaex: analysis of over 30 years of flight data in Python](https:\u002F\u002Ftowardsdatascience.com\u002Fhttps-medium-com-jovan-veljanoski-flying-high-with-vaex-analysis-of-over-30-years-of-flight-data-in-python-b224825a6d56)\n   * [Vaex: A DataFrame with super strings - Speed up your text processing up to a 1000x\n](https:\u002F\u002Ftowardsdatascience.com\u002Fvaex-a-dataframe-with-super-strings-789b92e8d861)\n   * [Vaex: Out of Core Dataframes for Python and Fast Visualization - 1 billion row datasets on your laptop](https:\u002F\u002Ftowardsdatascience.com\u002Fvaex-out-of-core-dataframes-for-python-and-fast-visualization-12c102db044a)\n\n * [Follow our tutorials](https:\u002F\u002Fdocs.vaex.io\u002Fen\u002Flatest\u002Ftutorials.html)\n * Watch our more recent talks:\n   * [PyData London 2019](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=2Tt0i823-ec)\n   * [SciPy 2019](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=ELtjRdPT8is)\n * Contact us for data science solutions, training, or enterprise support at https:\u002F\u002Fvaex.io\u002F\n","[![支持的 Python 版本](https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fpyversions\u002Fvaex-core)](https:\u002F\u002Fpypi.org\u002Fproject\u002Fvaex-core\u002F)\n[![文档](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fvaexio_vaex_readme_13d664e1afd7.png)](https:\u002F\u002Fdocs.vaex.io)\n[![Slack](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fslack-chat-green.svg)](https:\u002F\u002Fjoin.slack.com\u002Ft\u002Fvaexio\u002Fshared_invite\u002Fzt-shhxzf5i-Cf5n2LtkoYgUjOjbB3bGQQ)\n\n# 什么是 Vaex？\n\nVaex 是一个高性能的 Python 库，用于实现惰性的 **外存 DataFrame**\n（类似于 Pandas），以便可视化和探索大型表格数据集。它可以在\n*N 维网格* 上计算诸如均值、总和、计数、标准差等 *统计量*，\n每秒可处理超过 **十亿**（`10^9`）个样本\u002F行。可视化通过\n**直方图**、**密度图** 和 **三维体绘制** 实现，从而允许对大数据进行交互式探索。Vaex 使用内存映射、零拷贝策略和惰性计算来达到最佳性能（不浪费内存）。\n\n# 安装\n使用 pip：\n```\n$ pip install vaex\n```\n或 conda：\n```\n$ conda install -c conda-forge vaex\n```\n\n[更多详细信息，请参阅文档](https:\u002F\u002Fdocs.vaex.io\u002Fen\u002Flatest\u002Finstalling.html)\n\n# 核心功能\n## 瞬间打开超大数据文件（内存映射）\n支持 [HDF5](https:\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FHierarchical_Data_Format) 和 [Apache Arrow](https:\u002F\u002Farrow.apache.org\u002F)。\n\n![opening1a](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fvaexio_vaex_readme_8b7d0ae18b93.png)\n\n\n![opening1b](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fvaexio_vaex_readme_865ec2346306.png)\n\n[阅读文档了解如何高效地转换您的数据](https:\u002F\u002Fdocs.vaex.io\u002Fen\u002Flatest\u002Fexample_io.html)，无论是 CSV 文件、Pandas DataFrame 还是其他来源。\n\n\n结合内存映射，还支持从 S3 的惰性流式读取。\n\n![opening1c](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fvaexio_vaex_readme_9b57dd3c624c.png)\n\n\n## 表达式系统\n无需在特征工程上浪费时间和内存，我们会在需要时（惰性地）转换您的数据。\n\n\n![expression](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fvaexio_vaex_readme_1c49b6e39bac.png)\n\n\n\n## 外存 DataFrame\n过滤和评估表达式不会因复制而浪费内存；数据原封不动地保留在磁盘上，仅在需要时才会被流式读取。推迟您对集群的需求时间。\n\n\n![occ-animated](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fvaexio_vaex_readme_98d51df9d6ff.gif)\n\n## 快速的 groupby \u002F 聚合\nVaex 实现了并行化的高性能 `groupby` 操作，尤其是在使用分类变量时（每秒可处理超过十亿条记录）。\n\n\n![groupby](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fvaexio_vaex_readme_6309380a3896.png)\n\n\n## 快速高效的连接\nVaex 在连接时不会复制或物化“右表”，从而节省了数十 GB 的内存。对于十亿行的数据，连接时间可以低至一秒，速度非常快！\n\n![join](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fvaexio_vaex_readme_a5f1431463c0.png)\n\n## 更多功能\n\n * 远程 DataFrame（文档即将发布）\n * 集成到 [Jupyter 和 Voila 中，用于交互式笔记本和仪表板](https:\u002F\u002Fvaex.readthedocs.io\u002Fen\u002Flatest\u002Ftutorial_jupyter.html)\n * [无需（显式）管道的机器学习](https:\u002F\u002Fvaex.readthedocs.io\u002Fen\u002Flatest\u002Ftutorial_ml.html)\n\n\n## 贡献\n\n请参阅 [贡献](CONTRIBUTING.md) 页面。\n\n## Slack\n\n加入我们的 [Slack](https:\u002F\u002Fjoin.slack.com\u002Ft\u002Fvaexio\u002Fshared_invite\u002Fzt-shhxzf5i-Cf5n2LtkoYgUjOjbB3bGQQ) 频道参与讨论！\n\n# 了解更多关于 Vaex 的信息\n * 文章\n   * [超越 Pandas：Spark、Dask、Vaex 等大数据技术的正面交锋](https:\u002F\u002Ftowardsdatascience.com\u002Fbeyond-pandas-spark-dask-vaex-and-other-big-data-technologies-battling-head-to-head-a453a1f8cc13)（包含基准测试）\n   * [我为何热爱 Vaex 用于数据科学的 7 个理由](https:\u002F\u002Ftowardsdatascience.com\u002F7-reasons-why-i-love-vaex-for-data-science-99008bc8044b)（技巧与窍门）\n   * [不可能的 ML：使用 Vaex 和 Scikit-Learn，在您的笔记本电脑上 5 分钟内训练 10 亿个样本](https:\u002F\u002Ftowardsdatascience.com\u002Fml-impossible-train-a-1-billion-sample-model-in-20-minutes-with-vaex-and-scikit-learn-on-your-9e2968e6f385)\n   * [如何用 Python 在您的笔记本电脑上分析 100 GB 的数据](https:\u002F\u002Ftowardsdatascience.com\u002Fhow-to-analyse-100s-of-gbs-of-data-on-your-laptop-with-python-f83363dda94)\n   * [乘风破浪：用 Vaex 分析 30 多年的飞行数据](https:\u002F\u002Ftowardsdatascience.com\u002Fhttps-medium-com-jovan-veljanoski-flying-high-with-vaex-analysis-of-over-30-years-of-flight-data-in-python-b224825a6d56)\n   * [Vaex：具有超强字符串功能的 DataFrame——将文本处理速度提升至 1000 倍](https:\u002F\u002Ftowardsdatascience.com\u002Fvaex-a-dataframe-with-super-strings-789b92e8d861)\n   * [Vaex：适用于 Python 的外存 DataFrame 和快速可视化——在您的笔记本电脑上处理十亿行数据](https:\u002F\u002Ftowardsdatascience.com\u002Fvaex-out-of-core-dataframes-for-python-and-fast-visualization-12c102db044a)\n\n * [浏览我们的教程](https:\u002F\u002Fdocs.vaex.io\u002Fen\u002Flatest\u002Ftutorials.html)\n * 观看我们最近的演讲：\n   * [PyData London 2019](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=2Tt0i823-ec)\n   * [SciPy 2019](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=ELtjRdPT8is)\n * 如需数据科学解决方案、培训或企业级支持，请访问 https:\u002F\u002Fvaex.io\u002F","# Vaex 快速上手指南\n\nVaex 是一个高性能的 Python 库，专为处理**超大表格数据集**（Out-of-Core DataFrames）而设计。它利用内存映射、零内存复制和惰性计算技术，能够在普通笔记本电脑上每秒处理超过 **10 亿行**数据的统计计算（如均值、总和、标准差等），并支持直方图、密度图和 3D 体积渲染等交互式可视化。\n\n## 环境准备\n\n*   **操作系统**：支持 Linux, macOS, Windows。\n*   **Python 版本**：建议 Python 3.7 及以上（具体支持版本请参考 PyPI 徽章）。\n*   **前置依赖**：无需特殊系统级依赖，Vaex 会自动处理底层库。\n*   **数据格式支持**：原生支持 HDF5 和 Apache Arrow 格式以实现极速读取；支持从 CSV、Pandas DataFrame 或其他来源高效转换数据。\n\n## 安装步骤\n\n推荐使用 `pip` 或 `conda` 进行安装。国内用户建议使用清华或阿里镜像源以加速下载。\n\n### 方式一：使用 pip 安装\n\n```bash\n# 使用默认源\npip install vaex\n\n# 【推荐】国内用户使用清华镜像源加速安装\npip install vaex -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n### 方式二：使用 conda 安装\n\n```bash\n# 使用 conda-forge 渠道\nconda install -c conda-forge vaex\n\n# 【推荐】国内用户使用中科大镜像源加速安装\nconda install -c https:\u002F\u002Fmirrors.ustc.edu.cn\u002Fanaconda\u002Fcloud\u002Fconda-forge vaex\n```\n\n> **提示**：更多详细的安装选项（如仅安装核心模块 `vaex-core`）请参阅官方文档。\n\n## 基本使用\n\nVaex 的核心优势在于**惰性计算**和**内存映射**。以下是最简单的使用示例，展示如何打开大文件、创建虚拟列以及进行快速聚合统计。\n\n### 1. 导入与数据加载\n\nVaex 可以瞬间打开巨大的 HDF5 或 Arrow 文件，因为数据并未真正加载到内存中，而是建立了内存映射。\n\n```python\nimport vaex\n\n# 瞬间打开一个包含十亿行数据的 HDF5 文件 (数据实际上仍在磁盘上)\ndf = vaex.open('data\u002Fbig_dataset.hdf5')\n\n# 也可以从其他格式转换，例如将 CSV 转换为高效的 HDF5 格式\n# df = vaex.from_csv('data\u002Flarge_file.csv', convert=True)\n```\n\n### 2. 表达式系统（特征工程）\n\n无需立即消耗内存创建新列。Vaex 使用惰性表达式系统，只有在需要计算时才会执行。\n\n```python\n# 定义一个虚拟列（不会立即计算或占用内存）\n# 假设数据集中有 'x' 和 'y' 列\ndf['r'] = (df.x**2 + df.y**2)**0.5\n\n# 此时数据并未改变，只是注册了一个计算逻辑\nprint(df.column_names)\n```\n\n### 3. 快速统计与聚合\n\n对十亿行数据进行统计计算仅需秒级时间。\n\n```python\n# 计算整个数据集的统计信息 (均值，标准差等)\nprint(df.describe())\n\n# 快速的 groupby 操作 (并行化，极高效率)\n# 按 'category' 列分组，计算 'value' 列的平均值\nresult = df.groupby(by=df.category, agg={'mean_value': vaex.agg.mean(df.value)})\nprint(result)\n```\n\n### 4. 过滤与可视化\n\n过滤操作不会复制数据，仅在需要时流式传输相关片段。\n\n```python\n# 创建一个过滤后的视图 (不复制数据)\ndf_filtered = df[df.x > 0]\n\n# 快速绘制直方图 (基于十亿行数据)\ndf.plot(df.x, what='histogram')\n```\n\n通过以上步骤，您可以立即开始利用 Vaex 在本地机器上探索和分析海量数据，而无需立即搭建分布式集群。","某电商数据团队需要分析存储在云端的 50GB 用户行为日志（约 8 亿行），以快速生成用户画像和转化漏斗报表。\n\n### 没有 vaex 时\n- **内存爆炸导致崩溃**：尝试用 Pandas 读取数据时，因数据量远超服务器内存，程序直接报 OOM（内存溢出）错误，必须升级昂贵的高配机器或搭建 Spark 集群。\n- **特征工程效率低下**：每次新增一个计算字段（如“停留时长”），都需要立即在内存中复制一份完整数据，导致处理流程缓慢且浪费资源。\n- **交互探索几乎停滞**：执行一次简单的分组聚合（groupby）或大表关联（join）需要数分钟甚至更久，分析师无法进行实时的假设验证和数据钻取。\n\n### 使用 vaex 后\n- **秒级加载海量数据**：利用内存映射技术，vaex 能在几秒钟内“打开”50GB 的 HDF5 或 Arrow 文件，全程不占用额外内存，普通笔记本即可流畅运行。\n- **零拷贝延迟计算**：定义新的统计表达式时，vaex 仅记录逻辑而不复制数据，只有在最终绘图或输出结果时才按需流式计算，极大节省内存。\n- **十亿行级实时响应**：凭借每秒处理超 10 亿行的性能，复杂的分组统计和多表关联操作可在亚秒级完成，支持分析师在 Jupyter 中进行即时可视化探索。\n\nvaex 让数据科学家无需依赖重型集群，即可在本地单机上以交互式速度探索和挖掘十亿行级别的超大表格数据。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fvaexio_vaex_865ec234.png","vaexio","vaex io","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fvaexio_c809d92a.png","Big data made simple. Visualization and exploration. Machine learning and deployment. ",null,"contact@vaex.io","https:\u002F\u002Fvaex.io","https:\u002F\u002Fgithub.com\u002Fvaexio",[81,85,89,93,97,101,105,109,112,115],{"name":82,"color":83,"percentage":84},"Python","#3572A5",60.8,{"name":86,"color":87,"percentage":88},"JavaScript","#f1e05a",24.5,{"name":90,"color":91,"percentage":92},"C++","#f34b7d",10.5,{"name":94,"color":95,"percentage":96},"HTML","#e34c26",3.1,{"name":98,"color":99,"percentage":100},"PHP","#4F5D95",0.6,{"name":102,"color":103,"percentage":104},"Shell","#89e051",0.2,{"name":106,"color":107,"percentage":108},"Vue","#41b883",0.1,{"name":110,"color":111,"percentage":108},"CSS","#663399",{"name":113,"color":114,"percentage":108},"CMake","#DA3434",{"name":116,"color":117,"percentage":118},"Makefile","#427819",0,8502,603,"2026-04-10T03:08:38","MIT",1,"未说明","未说明（核心特性为内存映射和零拷贝，旨在低内存环境下处理大数据）",{"notes":127,"python":128,"dependencies":129},"该工具主要通过内存映射（memory mapping）、零拷贝策略和惰性计算来实现高性能，支持在本地机器上处理超过十亿行数据而无需大量内存。支持从 S3 惰性流式传输数据。可通过 pip 或 conda 安装。","未说明（参考 PyPI badge 链接获取支持版本）",[130,131],"HDF5","Apache Arrow",[14,133,16],"其他",[135,136,137,138,139,140,141,142,143,144,145],"dataframe","python","bigdata","tabular-data","visualization","memory-mapped-file","hdf5","machine-learning","machinelearning","data-science","pyarrow","2026-03-27T02:49:30.150509","2026-04-11T10:01:54.020960",[149,154,159,164],{"id":150,"question_zh":151,"answer_zh":152,"source_url":153},29294,"如何在 Vaex 表达式中使用类似 Numpy 的移位函数（如 np.roll）来创建虚拟列？","Vaex 表达式不直接支持某些 Numpy 函数（如 np.roll），因为它们需要立即计算整个数组，而 Vaex 是惰性计算的。替代方案是创建一个包含原始索引的列，然后进行过滤或操作。例如：\n1. 创建一个 ID 列匹配索引：`df['id'] = vaex.vrange(0, len(df))`\n2. 进行过滤操作：`df_filtered = df[df.condition == True]`\n3. 获取原始索引：`df_filtered.id.tolist()`\n这样可以避免复制整个列并保留原始数据关系。","https:\u002F\u002Fgithub.com\u002Fvaexio\u002Fvaex\u002Fissues\u002F1624",{"id":155,"question_zh":156,"answer_zh":157,"source_url":158},29295,"当读取超过内存大小的 CSV 文件并转换为 HDF5 时，为什么内存会爆满导致内核崩溃？","虽然使用了 chunk_size 参数分块读取，但在将多个临时分块文件合并为最终 HDF5 文件的过程中，可能会发生内存泄漏或内存未释放的情况。表现为脚本在合并步骤后静默退出，且临时文件未被删除。\n建议排查步骤：\n1. 使用 `dmesg` 检查是否被系统 OOM killer 杀死。\n2. 尝试创建新的 conda 环境或更换 Vaex 版本。\n3. 检查生成的单个分块文件是否正确，以及最终文件是否完整生成。","https:\u002F\u002Fgithub.com\u002Fvaexio\u002Fvaex\u002Fissues\u002F827",{"id":160,"question_zh":161,"answer_zh":162,"source_url":163},29296,"如何将包含 PyArrow 数组对象的 Vaex 列高效地转换为标准的 Numpy 矩阵？","直接调用 `.to_numpy()` 处理包含 PyArrow 数组的列时，会得到一个对象类型的 Numpy 数组，无法直接转换为矩阵且效率低下。\n解决方案是注册并使用自定义函数 `as_numpy`，该函数可以将 PyArrow ChunkedArray 或嵌套数组直接编组（marshal）为正确的 Numpy 格式，而无需在内存中复制数据。代码示例逻辑如下：\n```python\nimport pyarrow as pa\nimport numpy as np\nimport vaex\n\n# 注册函数（需实现具体转换逻辑）\n@vaex.register_function()\ndef as_numpy(arr):\n    # 将 pyarrow 数组转换为 numpy 数组的具体实现\n    return np.array(arr)\n\n# 使用\nresult = df.apply('as_numpy', 'column_name')\n```","https:\u002F\u002Fgithub.com\u002Fvaexio\u002Fvaex\u002Fissues\u002F1655",{"id":165,"question_zh":166,"answer_zh":167,"source_url":168},29297,"添加虚拟列后选择数据时出现 '__xxx_matrix not found' 或 'Stride != 8' 错误怎么办？","这是一个已知问题，通常发生在添加涉及坐标变换（如赤道坐标系转银河坐标系）的虚拟列后。该问题已在 Vaex 的主分支（master）中修复，并在后续的重构版本（如 vaex 2.0 及以上）中得到了支持和测试。如果遇到此错误，请升级 Vaex 到最新版本或从源码安装 master 分支版本。","https:\u002F\u002Fgithub.com\u002Fvaexio\u002Fvaex\u002Fissues\u002F40",[170,174,179,184],{"id":171,"version":172,"summary_zh":76,"released_at":173},198092,"vaexpaper_v1","2018-03-29T14:50:46",{"id":175,"version":176,"summary_zh":177,"released_at":178},198093,"1.0.0-beta.1","测试版发布\n","2016-06-10T19:41:04",{"id":180,"version":181,"summary_zh":182,"released_at":183},198094,"0.3.10","主要变更\n- 新增图层：可叠加绘制不同数据集\n- 支持超过2^31行的数据\n- 导航和选择操作的撤销\u002F重做功能\n- 支持基于逻辑表达式的选择\n- 导出 matplotlib 模板及数据\n- 新增 MIT 许可证\n","2015-02-27T22:17:44",{"id":185,"version":186,"summary_zh":187,"released_at":188},198095,"v0.2","这是首个采用体绘制技术实现三维视图的版本。\n此外，还附带了一份赫尔米和德泽乌于2000年使用的更大规模数据集。\n","2015-02-25T14:20:07"]