[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-h2oai--sparkling-water":3,"similar-h2oai--sparkling-water":126},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":9,"readme_en":10,"readme_zh":11,"quickstart_zh":12,"use_case_zh":13,"hero_image_url":14,"owner_login":15,"owner_name":16,"owner_avatar_url":17,"owner_bio":18,"owner_company":19,"owner_location":19,"owner_email":19,"owner_twitter":15,"owner_website":20,"owner_url":21,"languages":22,"stars":63,"forks":64,"last_commit_at":65,"license":66,"difficulty_score":67,"env_os":68,"env_gpu":69,"env_ram":70,"env_deps":71,"category_tags":78,"github_topics":82,"view_count":92,"oss_zip_url":19,"oss_zip_packed_at":19,"status":93,"created_at":94,"updated_at":95,"faqs":96,"releases":125},9915,"h2oai\u002Fsparkling-water","sparkling-water","Sparkling Water provides H2O functionality inside Spark cluster","Sparkling Water 是一款将高性能机器学习引擎 H2O-3 与大数据处理框架 Apache Spark 无缝集成的开源工具。它主要解决了在大规模分布式数据场景下，用户难以直接利用 Spark 生态中的数据（如 RDD、DataFrame）调用 H2O 先进算法的痛点。通过 Sparkling Water，开发者无需繁琐的数据导出导入操作，即可在 Spark 集群内部直接运行 H2O 的模型训练与预测任务，实现了数据处理与机器学习流程的高效闭环。\n\n这款工具特别适合数据工程师、算法研究人员以及需要构建企业级机器学习应用的开发团队使用。其独特的技术亮点在于提供了双向数据转换工具，能够轻松发布 Spark 数据结构为 H2O 帧，反之亦然；同时支持专用的领域特定语言（DSL），让 Spark 数据结构可直接作为 H2O 算法的输入。此外，Sparkling Water 还完善了 Python 接口（PySparkling），使得习惯使用 PySpark 的用户也能直接调用其功能。无论是通过交互式 Shell 探索数据，还是提交生产级应用，Sparkling Water 都能帮助用","Sparkling Water 是一款将高性能机器学习引擎 H2O-3 与大数据处理框架 Apache Spark 无缝集成的开源工具。它主要解决了在大规模分布式数据场景下，用户难以直接利用 Spark 生态中的数据（如 RDD、DataFrame）调用 H2O 先进算法的痛点。通过 Sparkling Water，开发者无需繁琐的数据导出导入操作，即可在 Spark 集群内部直接运行 H2O 的模型训练与预测任务，实现了数据处理与机器学习流程的高效闭环。\n\n这款工具特别适合数据工程师、算法研究人员以及需要构建企业级机器学习应用的开发团队使用。其独特的技术亮点在于提供了双向数据转换工具，能够轻松发布 Spark 数据结构为 H2O 帧，反之亦然；同时支持专用的领域特定语言（DSL），让 Spark 数据结构可直接作为 H2O 算法的输入。此外，Sparkling Water 还完善了 Python 接口（PySparkling），使得习惯使用 PySpark 的用户也能直接调用其功能。无论是通过交互式 Shell 探索数据，还是提交生产级应用，Sparkling Water 都能帮助用户充分利用 Spark 的扩展性与 H2O 的算法优势，快速构建可扩展的机器学习解决方案。","Sparkling Water\n===============\n\n|mvn-badge| |apache-2-0-license| |Powered by H2O.ai|\n\n\nSparkling Water integrates `H2O-3 \u003Chttps:\u002F\u002Fgithub.com\u002Fh2oai\u002Fh2o-3\u002F>`__, a fast scalable machine learning engine with `Apache Spark \u003Chttps:\u002F\u002Fspark.apache.org\u002F>`__. It provides:\n\n- Utilities to publish Spark data structures (RDDs, DataFrames, Datasets) as H2O-3's frames and vice versa.\n- DSL to use Spark data structures as input for H2O's algorithms.\n- Basic building blocks to create ML applications utilizing Spark and H2O APIs.\n- Python interface enabling use of Sparkling Water directly from PySpark.\n\nGetting Started\n---------------\n\nUser Documentation\n~~~~~~~~~~~~~~~~~~\n\n`Read the documentation for Spark 3.5 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.5\u002Flatest-stable\u002Fdoc\u002Findex.html>`__ (or\n`3.4 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.4\u002Flatest-stable\u002Fdoc\u002Findex.html>`__ ,\n`3.3 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.3\u002Flatest-stable\u002Fdoc\u002Findex.html>`__ ,\n`3.2 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.2\u002Flatest-stable\u002Fdoc\u002Findex.html>`__ ,\n`3.1 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.1\u002Flatest-stable\u002Fdoc\u002Findex.html>`__,\n`3.0 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.0\u002Flatest-stable\u002Fdoc\u002Findex.html>`__,\n`2.4 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F2.4\u002Flatest-stable\u002Fdoc\u002Findex.html>`__,\n`2.3 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F2.3\u002Flatest-stable\u002Fdoc\u002Findex.html>`__)\n\nDownload Binaries\n~~~~~~~~~~~~~~~~~\n\n`Download the latest version for Spark 3.5 \u003Chttp:\u002F\u002Fh2o-release.s3.amazonaws.com\u002Fsparkling-water\u002Fspark-3.5\u002Flatest.html>`__ (or\n`3.4 \u003Chttp:\u002F\u002Fh2o-release.s3.amazonaws.com\u002Fsparkling-water\u002Fspark-3.4\u002Flatest.html>`__,\n`3.3 \u003Chttp:\u002F\u002Fh2o-release.s3.amazonaws.com\u002Fsparkling-water\u002Fspark-3.3\u002Flatest.html>`__,\n`3.2 \u003Chttp:\u002F\u002Fh2o-release.s3.amazonaws.com\u002Fsparkling-water\u002Fspark-3.2\u002Flatest.html>`__,\n`3.1 \u003Chttp:\u002F\u002Fh2o-release.s3.amazonaws.com\u002Fsparkling-water\u002Fspark-3.1\u002Flatest.html>`__,\n`3.0 \u003Chttp:\u002F\u002Fh2o-release.s3.amazonaws.com\u002Fsparkling-water\u002Fspark-3.0\u002Flatest.html>`__,\n`2.4 \u003Chttp:\u002F\u002Fh2o-release.s3.amazonaws.com\u002Fsparkling-water\u002Fspark-2.4\u002Flatest.html>`__,\n`2.3 \u003Chttp:\u002F\u002Fh2o-release.s3.amazonaws.com\u002Fsparkling-water\u002Fspark-2.3\u002Flatest.html>`__)\n\nEach Sparkling Water release is also published into the Maven Central (more details below).\n\n---------------\n\nTry Sparkling Water!\n--------------------\n\nSparkling Water is distributed as a Spark application library which can be used by any Spark application.\nFurthermore, we provide also zip distribution which bundles the library and shell scripts.\n\nThere are several ways of using Sparkling Water:\n\n- Sparkling Shell (Spark Shell with Sparkling Water included)\n- Sparkling Water driver (Spark Submit with Sparkling Water included)\n- Spark Shell and include Sparkling Water library via ``--jars`` or ``--packages`` option\n- Spark Submit and include Sparkling Water library via ``--jars`` or ``--packages`` option\n- PySpark with PySparkling\n\n\nRun Sparkling shell\n~~~~~~~~~~~~~~~~~~~\n\nThe Sparkling shell encapsulates a regular Spark shell and append Sparkling Water library on the classpath via ``--jars`` option.\nThe Sparkling Shell supports creation of an H2O-3 cloud and execution of H2O-3 algorithms.\n\n1. Either download or build Sparkling Water\n2. Configure the location of Spark cluster:\n\n   .. code:: bash\n\n      export SPARK_HOME=\"\u002Fpath\u002Fto\u002Fspark\u002Finstallation\"\n      export MASTER=\"local[*]\"\n\n\n   In this case, ``local[*]`` points to an embedded single node cluster.\n\n3. Run Sparkling Shell:\n\n   .. code:: bash\n\n      bin\u002Fsparkling-shell\n\n   Sparkling Shell accepts common Spark Shell arguments. For example, to increase memory allocated by each executor, use the ``spark.executor.memory`` parameter: ``bin\u002Fsparkling-shell --conf \"spark.executor.memory=4g\"``\n\n4. Initialize H2OContext\n\n   .. code:: scala\n\n      import ai.h2o.sparkling._\n      val hc = H2OContext.getOrCreate()\n\n   ``H2OContext`` starts H2O services on top of Spark cluster and provides primitives for transformations between H2O-3 and Spark data structures.\n\n\nUse Sparkling Water with PySpark\n~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\nSparkling Water can be also used directly from PySpark and the integration is called PySparkling.\n\nSee `PySparkling README \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.5\u002Flatest-stable\u002Fdoc\u002Fpysparkling.html>`__ to learn about PySparkling.\n\nUse Sparkling Water via Spark Packages\n~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\n\nTo see how Sparkling Water can be used as Spark package, please see `Use as Spark Package \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.5\u002Flatest-stable\u002Fdoc\u002Ftutorials\u002Fuse_as_spark_package.html>`__.\n\nUse Sparkling Water in Windows environments\n~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\nSee `Windows Tutorial \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.5\u002Flatest-stable\u002Fdoc\u002Ftutorials\u002Frun_on_windows.html>`__ to learn how to use Sparkling Water in Windows environments.\n\nSparkling Water examples\n~~~~~~~~~~~~~~~~~~~~~~~~\nTo see how to run examples for Sparkling Water, please see `Running Examples \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.5\u002Flatest-stable\u002Fdoc\u002Fdevel\u002Frunning_examples.html>`__.\n\nMaven packages\n~~~~~~~~~~~~~~\n\nEach Sparkling Water release is published into Maven central with following coordinates:\n\n- ``ai.h2o:sparkling-water-core_{{scala_version}}:{{version}}`` - Includes core of Sparkling Water\n- ``ai.h2o:sparkling-water-examples_{{scala_version}}:{{version}}`` - Includes example applications\n- ``ai.h2o:sparkling-water-repl_{{scala_version}}:{{version}}`` - Spark REPL integration into H2O Flow UI\n- ``ai.h2o:sparkling-water-ml_{{scala_version}}:{{version}}`` - Extends Spark ML package by H2O-based transformations\n- ``ai.h2o:sparkling-water-scoring_{{scala_version}}:{{version}}`` - A library containing scoring logic and definition of Sparkling Water MOJO models.\n- ``ai.h2o:sparkling-water-scoring-package_{{scala_version}}:{{version}}`` - Lightweight Sparkling Water package including all dependencies required just for scoring with H2O-3 and DAI MOJO models.\n- ``ai.h2o:sparkling-water-package_{{scala_version}}:{{version}}`` - Sparkling Water package containing all dependencies required for model training and scoring. This is designed to use as Spark package via ``--packages`` option.\n\n   **Note:** The ``{{version}}`` references to a release version of Sparkling Water, the ``{{scala_version}}``\n   references to Scala base version.\n\nThe full list of published packages is available\n`here \u003Chttp:\u002F\u002Fsearch.maven.org\u002F#search%7Cga%7C1%7Cg%3A%22ai.h2o%22%20AND%20a%3Asparkling-water*>`__.\n\n--------------\n\nSparkling Water Backends\n------------------------\n\nSparkling water supports two backend\u002Fdeployment modes - internal and\nexternal. Sparkling Water applications are independent on the selected\nbackend. The backend can be specified before creation of the\n``H2OContext``.\n\nFor more details regarding the internal or external backend, please see\n`Backends \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.5\u002Flatest-stable\u002Fdoc\u002Fdeployment\u002Fbackends.html>`__.\n\n--------------\n\nFAQ\n---\n\nList of all Frequently Asked Questions is available at `FAQ \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.5\u002Flatest-stable\u002Fdoc\u002FFAQ.html>`__.\n\n--------------\n\nDevelopment\n-----------\n\nComplete development documentation is available at `Development Documentation \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.5\u002Flatest-stable\u002Fdoc\u002Fdevel\u002Fdevel.html>`__.\n\nBuild Sparkling Water\n~~~~~~~~~~~~~~~~~~~~~\n\nTo see how to build Sparkling Water, please see `Build Sparkling Water \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.5\u002Flatest-stable\u002Fdoc\u002Fdevel\u002Fbuild.html>`__.\n\nDevelop applications with Sparkling Water\n~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\n\nAn application using Sparkling Water is regular Spark application which\nbundling Sparkling Water library. See Sparkling Water Droplet providing\nan example application `here \u003Chttps:\u002F\u002Fgithub.com\u002Fh2oai\u002Fh2o-droplets\u002Ftree\u002Fmaster\u002Fsparkling-water-droplet>`__.\n\nContributing\n~~~~~~~~~~~~\n\nJust drop us a PR!\nFor inspiration look at our `list of issues \u003Chttps:\u002F\u002Fgithub.com\u002Fh2oai\u002Fsparkling-water\u002Fissues\u002Fnew\u002Fchoose>`__, feel free to create one.\n\nFiling Bug Reports and Feature Requests\n~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\n\nYou can file a bug report of feature request directly in Github Issues `Github Issues \u003Chttps:\u002F\u002Fgithub.com\u002Fh2oai\u002Fsparkling-water\u002Fissues\u002Fnew\u002Fchoose>`__.\n\nHave Questions?\n~~~~~~~~~~~~~~~\n\nWe also respond to questions tagged with sparkling-water and h2o tags on the `Stack Overflow \u003Chttps:\u002F\u002Fstackoverflow.com\u002Fquestions\u002Ftagged\u002Fsparkling-water>`__.\n\nChange Logs\n~~~~~~~~~~~\n\nChange logs are available at `Change Logs \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.5\u002Flatest-stable\u002Fdoc\u002FCHANGELOG.html>`__.\n\n---------------\n\n.. |Join the chat at https:\u002F\u002Fgitter.im\u002Fh2oai\u002Fsparkling-water| image:: https:\u002F\u002Fbadges.gitter.im\u002FJoin%20Chat.svg\n   :target: https:\u002F\u002Fgitter.im\u002Fh2oai\u002Fsparkling-water?utm_source=badge&utm_medium=badge&utm_campaign=pr-badge&utm_content=badge\n.. |mvn-badge| image:: https:\u002F\u002Fmaven-badges.herokuapp.com\u002Fmaven-central\u002Fai.h2o\u002Fsparkling-water-core_2.12\u002Fbadge.svg\n   :target: http:\u002F\u002Fsearch.maven.org\u002F#search%7Cgav%7C1%7Cg:%22ai.h2o%22%20AND%20a:%22sparkling-water-core_2.12%22\n.. |apache-2-0-license| image:: https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-Apache%202-blue.svg\n   :target: LICENSE\n.. |Powered by H2O.ai| image:: https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fpowered%20by-h2oai-yellow.svg\n   :target: https:\u002F\u002Fgithub.com\u002Fh2oai\u002F\n\n","Sparkling Water\n===============\n\n|mvn-badge| |apache-2-0-license| |由 H2O.ai 提供支持|\n\n\nSparkling Water 将 `H2O-3 \u003Chttps:\u002F\u002Fgithub.com\u002Fh2oai\u002Fh2o-3\u002F>`__ 这一快速可扩展的机器学习引擎与 `Apache Spark \u003Chttps:\u002F\u002Fspark.apache.org\u002F>`__ 集成。它提供了：\n\n- 用于将 Spark 数据结构（RDD、DataFrames、Datasets）发布为 H2O-3 的数据帧，反之亦然的工具。\n- 一种 DSL，允许将 Spark 数据结构用作 H2O 算法的输入。\n- 构建基于 Spark 和 H2O API 的机器学习应用的基本组件。\n- Python 接口，使用户可以直接从 PySpark 中使用 Sparkling Water。\n\n开始使用\n--------\n\n用户文档\n~~~~~~~~~~\n\n`阅读 Spark 3.5 版本的文档 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.5\u002Flatest-stable\u002Fdoc\u002Findex.html>`__（或\n`3.4 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.4\u002Flatest-stable\u002Fdoc\u002Findex.html>`__，\n`3.3 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.3\u002Flatest-stable\u002Fdoc\u002Findex.html>`__，\n`3.2 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.2\u002Flatest-stable\u002Fdoc\u002Findex.html>`__，\n`3.1 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.1\u002Flatest-stable\u002Fdoc\u002Findex.html>`__，\n`3.0 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.0\u002Flatest-stable\u002Fdoc\u002Findex.html>`__，\n`2.4 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F2.4\u002Flatest-stable\u002Fdoc\u002Findex.html>`__，\n`2.3 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F2.3\u002Flatest-stable\u002Fdoc\u002Findex.html>`__）\n\n下载二进制文件\n~~~~~~~~~~~~~\n\n`下载适用于 Spark 3.5 的最新版本 \u003Chttp:\u002F\u002Fh2o-release.s3.amazonaws.com\u002Fsparkling-water\u002Fspark-3.5\u002Flatest.html>`__（或\n`3.4 \u003Chttp:\u002F\u002Fh2o-release.s3.amazonaws.com\u002Fsparkling-water\u002Fspark-3.4\u002Flatest.html>`__，\n`3.3 \u003Chttp:\u002F\u002Fh2o-release.s3.amazonaws.com\u002Fsparkling-water\u002Fspark-3.3\u002Flatest.html>`__，\n`3.2 \u003Chttp:\u002F\u002Fh2o-release.s3.amazonaws.com\u002Fsparkling-water\u002Fspark-3.2\u002Flatest.html>`__，\n`3.1 \u003Chttp:\u002F\u002Fh2o-release.s3.amazonaws.com\u002Fsparkling-water\u002Fspark-3.1\u002Flatest.html>`__，\n`3.0 \u003Chttp:\u002F\u002Fh2o-release.s3.amazonaws.com\u002Fsparkling-water\u002Fspark-3.0\u002Flatest.html>`__，\n`2.4 \u003Chttp:\u002F\u002Fh2o-release.s3.amazonaws.com\u002Fsparkling-water\u002Fspark-2.4\u002Flatest.html>`__，\n`2.3 \u003Chttp:\u002F\u002Fh2o-release.s3.amazonaws.com\u002Fsparkling-water\u002Fspark-2.3\u002Flatest.html>`__）\n\n每个 Sparkling Water 发布版本也会被发布到 Maven Central（详情见下文）。\n\n---------------\n\n尝试 Sparkling Water！\n--------------------\n\nSparkling Water 以 Spark 应用程序库的形式分发，任何 Spark 应用程序都可以使用它。此外，我们还提供了一个包含库和 Shell 脚本的 ZIP 分发包。\n\n有几种使用 Sparkling Water 的方式：\n\n- Sparkling Shell（内置 Sparkling Water 的 Spark Shell）\n- Sparkling Water 驱动程序（内置 Sparkling Water 的 Spark Submit）\n- 使用 Spark Shell 并通过 ``--jars`` 或 ``--packages`` 选项引入 Sparkling Water 库\n- 使用 Spark Submit 并通过 ``--jars`` 或 ``--packages`` 选项引入 Sparkling Water 库\n- PySpark 结合 PySparkling\n\n\n运行 Sparkling Shell\n~~~~~~~~~~~~~~~~~~~\n\nSparkling Shell 封装了普通的 Spark Shell，并通过 ``--jars`` 选项将 Sparkling Water 库添加到类路径中。Sparkling Shell 支持创建 H2O-3 集群并执行 H2O-3 算法。\n\n1. 下载或构建 Sparkling Water。\n2. 配置 Spark 集群的位置：\n\n   .. code:: bash\n\n      export SPARK_HOME=\"\u002Fpath\u002Fto\u002Fspark\u002Finstallation\"\n      export MASTER=\"local[*]\"\n\n\n   在这种情况下，``local[*]`` 指向一个嵌入式的单节点集群。\n   \n3. 运行 Sparkling Shell：\n\n   .. code:: bash\n\n      bin\u002Fsparkling-shell\n\n   Sparkling Shell 接受常见的 Spark Shell 参数。例如，要增加每个 executor 分配的内存，可以使用 ``spark.executor.memory`` 参数：``bin\u002Fsparkling-shell --conf \"spark.executor.memory=4g\"``\n\n4. 初始化 H2OContext\n\n   .. code:: scala\n\n      import ai.h2o.sparkling._\n      val hc = H2OContext.getOrCreate()\n\n   ``H2OContext`` 会在 Spark 集群之上启动 H2O 服务，并提供在 H2O-3 和 Spark 数据结构之间进行转换的原语。\n\n\n在 PySpark 中使用 Sparkling Water\n~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\nSparkling Water 也可以直接从 PySpark 中使用，这种集成被称为 PySparkling。\n\n请参阅 `PySparkling README \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.5\u002Flatest-stable\u002Fdoc\u002Fpysparkling.html>`__ 了解有关 PySparkling 的更多信息。\n\n通过 Spark Packages 使用 Sparkling Water\n~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\n\n要了解如何将 Sparkling Water 作为 Spark 包使用，请参阅 `作为 Spark 包使用 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.5\u002Flatest-stable\u002Fdoc\u002Ftutorials\u002Fuse_as_spark_package.html>`__。\n\n在 Windows 环境中使用 Sparkling Water\n~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\n请参阅 `Windows 教程 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.5\u002Flatest-stable\u002Fdoc\u002Ftutorials\u002Frun_on_windows.html>`__，了解如何在 Windows 环境中使用 Sparkling Water。\n\nSparkling Water 示例\n~~~~~~~~~~~~~~~~~~~~~~~~\n要查看如何运行 Sparkling Water 的示例，请参阅 `运行示例 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.5\u002Flatest-stable\u002Fdoc\u002Fdevel\u002Frunning_examples.html>`__。\n\nMaven 包\n~~~~~~~~~~~~~~\n\n每个 Sparkling Water 发布版本都会被发布到 Maven Central，坐标如下：\n\n- ``ai.h2o:sparkling-water-core_{{scala_version}}:{{version}}`` - 包含 Sparkling Water 核心\n- ``ai.h2o:sparkling-water-examples_{{scala_version}}:{{version}}`` - 包含示例应用程序\n- ``ai.h2o:sparkling-water-repl_{{scala_version}}:{{version}}`` - 将 Spark REPL 集成到 H2O Flow UI 中\n- ``ai.h2o:sparkling-water-ml_{{scala_version}}:{{version}}`` - 基于 H2O 的转换扩展了 Spark ML 包\n- ``ai.h2o:sparkling-water-scoring_{{scala_version}}:{{version}}`` - 包含评分逻辑和 Sparkling Water MOJO 模型定义的库。\n- ``ai.h2o:sparkling-water-scoring-package_{{scala_version}}:{{version}}`` - 轻量级 Sparkling Water 包，仅包含使用 H2O-3 和 DAI MOJO 模型进行评分所需的依赖项。\n- ``ai.h2o:sparkling-water-package_{{scala_version}}:{{version}}`` - 包含模型训练和评分所需所有依赖项的 Sparkling Water 包。此包设计用于通过 ``--packages`` 选项作为 Spark 包使用。\n\n   **注意：** ``{{version}}`` 指的是 Sparkling Water 的发布版本，而 ``{{scala_version}}`` 指的是 Scala 的基础版本。\n\n已发布的完整包列表可在\n`这里 \u003Chttp:\u002F\u002Fsearch.maven.org\u002F#search%7Cga%7C1%7Cg%3A%22ai.h2o%22%20AND%20a%3Asparkling-water*>`__ 查看。\n\n--------------\n\nSparkling Water 后端\n------------------------\n\nSparkling Water 支持两种后端\u002F部署模式——内部和外部。Sparkling Water 应用程序与所选后端无关。可以在创建 ``H2OContext`` 之前指定后端。\n\n有关内部或外部后端的更多详细信息，请参阅\n`后端 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.5\u002Flatest-stable\u002Fdoc\u002Fdeployment\u002Fbackends.html>`__。\n\n--------------\n\n常见问题解答\n---\n\n所有常见问题的列表可在 `FAQ \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.5\u002Flatest-stable\u002Fdoc\u002FFAQ.html>`__ 中找到。\n\n--------------\n\n开发\n-----------\n\n完整的开发文档可在 `开发文档 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.5\u002Flatest-stable\u002Fdoc\u002Fdevel\u002Fdevel.html>`__ 中查阅。\n\n构建 Sparkling Water\n~~~~~~~~~~~~~~~~~~~~~\n\n如需了解如何构建 Sparkling Water，请参阅 `构建 Sparkling Water \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.5\u002Flatest-stable\u002Fdoc\u002Fdevel\u002Fbuild.html>`__。\n\n使用 Sparkling Water 开发应用程序\n~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\n\n使用 Sparkling Water 的应用程序本质上是常规的 Spark 应用程序，只需将 Sparkling Water 库打包进去即可。Sparkling Water 提供了一个示例应用的 Droplet，详情请见 `此处 \u003Chttps:\u002F\u002Fgithub.com\u002Fh2oai\u002Fh2o-droplets\u002Ftree\u002Fmaster\u002Fsparkling-water-droplet>`__。\n\n贡献\n~~~~~~~~~~~~\n\n只需向我们提交一个 Pull Request 即可！您可以参考我们的 `问题列表 \u003Chttps:\u002F\u002Fgithub.com\u002Fh2oai\u002Fsparkling-water\u002Fissues\u002Fnew\u002Fchoose>`__ 获取灵感，也可以随时创建一个新的问题。\n\n提交 Bug 报告和功能请求\n~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\n\n您可以在 GitHub Issues 中直接提交 Bug 报告或功能请求：`GitHub Issues \u003Chttps:\u002F\u002Fgithub.com\u002Fh2oai\u002Fsparkling-water\u002Fissues\u002Fnew\u002Fchoose>`__。\n\n有疑问吗？\n~~~~~~~~~~~~~~~\n\n我们也会在 `Stack Overflow \u003Chttps:\u002F\u002Fstackoverflow.com\u002Fquestions\u002Ftagged\u002Fsparkling-water>`__ 上回复带有 sparkling-water 和 h2o 标签的问题。\n\n变更日志\n~~~~~~~~~~~\n\n变更日志可在 `变更日志 \u003Chttp:\u002F\u002Fdocs.h2o.ai\u002Fsparkling-water\u002F3.5\u002Flatest-stable\u002Fdoc\u002FCHANGELOG.html>`__ 中查看。\n\n---------------\n\n.. |加入 https:\u002F\u002Fgitter.im\u002Fh2oai\u002Fsparkling-water 的聊天室| image:: https:\u002F\u002Fbadges.gitter.im\u002FJoin%20Chat.svg\n   :target: https:\u002F\u002Fgitter.im\u002Fh2oai\u002Fsparkling-water?utm_source=badge&utm_medium=badge&utm_campaign=pr-badge&utm_content=badge\n.. |mvn-badge| image:: https:\u002F\u002Fmaven-badges.herokuapp.com\u002Fmaven-central\u002Fai.h2o\u002Fsparkling-water-core_2.12\u002Fbadge.svg\n   :target: http:\u002F\u002Fsearch.maven.org\u002F#search%7Cgav%7C1%7Cg:%22ai.h2o%22%20AND%20a:%22sparkling-water-core_2.12%22\n.. |apache-2-0-license| image:: https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-Apache%202-blue.svg\n   :target: LICENSE\n.. |由 H2O.ai 提供支持| image:: https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fpowered%20by-h2oai-yellow.svg\n   :target: https:\u002F\u002Fgithub.com\u002Fh2oai\u002F","# Sparkling Water 快速上手指南\n\nSparkling Water 将高性能机器学习引擎 **H2O-3** 与大数据处理框架 **Apache Spark** 无缝集成。它允许开发者在 Spark 生态中直接使用 H2O 的算法，并实现 Spark 数据结构（RDD\u002FDataFrame）与 H2O Frame 之间的双向转换。\n\n## 1. 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **Java**: JDK 8 或更高版本。\n*   **Apache Spark**: 已安装并配置好 Spark 集群（支持 Standalone, YARN, Mesos 或本地模式）。\n    *   *注意：请下载与您 Spark 版本对应的 Sparkling Water 版本（如 Spark 3.5 对应 Sparkling Water for Spark 3.5）。*\n*   **Scala\u002FPython**: \n    *   Scala 用户：需匹配 Spark 对应的 Scala 版本（通常为 2.12 或 2.13）。\n    *   Python 用户：需安装 `pyspark` 和 `h2o` Python 包。\n\n**前置依赖检查：**\n确保环境变量 `SPARK_HOME` 已正确指向 Spark 安装目录。\n\n```bash\nexport SPARK_HOME=\"\u002Fpath\u002Fto\u002Fspark\u002Finstallation\"\n```\n\n## 2. 安装步骤\n\n您可以通过以下两种主要方式使用 Sparkling Water：直接下载二进制包或使用 Maven\u002FSBT 依赖管理。\n\n### 方式一：下载二进制包（推荐用于快速试用）\n\n访问官方发布页面下载与您 Spark 版本匹配的最新压缩包：\n\n*   **Spark 3.5**: [下载链接](http:\u002F\u002Fh2o-release.s3.amazonaws.com\u002Fsparkling-water\u002Fspark-3.5\u002Flatest.html)\n*   **Spark 3.4**: [下载链接](http:\u002F\u002Fh2o-release.s3.amazonaws.com\u002Fsparkling-water\u002Fspark-3.4\u002Flatest.html)\n*   *(其他版本请访问 H2O 官方文档获取对应链接)*\n\n下载后解压即可使用内置的脚本。\n\n### 方式二：通过 Maven 坐标引入（用于项目开发）\n\n如果您使用 Maven 构建项目，请在 `pom.xml` 中添加以下依赖（以 Spark 3.5 和 Scala 2.12 为例）：\n\n```xml\n\u003Cdependency>\n    \u003CgroupId>ai.h2o\u003C\u002FgroupId>\n    \u003CartifactId>sparkling-water-package_2.12\u003C\u002FartifactId>\n    \u003Cversion>3.40.0.1-1-3.5\u003C\u002Fversion> \u003C!-- 请替换为最新具体版本号 -->\n\u003C\u002Fdependency>\n```\n\n或者在提交任务时通过 `--packages` 参数动态加载：\n\n```bash\n--packages ai.h2o:sparkling-water-package_2.12:3.40.0.1-1-3.5\n```\n\n## 3. 基本使用\n\n### 场景 A：使用 Sparkling Shell (Scala)\n\n这是最快速的体验方式，内置了 Spark Shell 并自动加载了 Sparkling Water 库。\n\n1.  **配置运行模式**（以本地模式为例）：\n    ```bash\n    export MASTER=\"local[*]\"\n    ```\n\n2.  **启动 Sparkling Shell**：\n    进入解压后的目录，执行：\n    ```bash\n    bin\u002Fsparkling-shell\n    ```\n    *提示：如需增加 Executor 内存，可添加参数：`bin\u002Fsparkling-shell --conf \"spark.executor.memory=4g\"`*\n\n3.  **初始化 H2O 上下文**：\n    在 Scala REPL 中输入以下代码启动 H2O 服务并连接 Spark：\n    ```scala\n    import ai.h2o.sparkling._\n    val hc = H2OContext.getOrCreate()\n    ```\n    成功初始化后，您即可将 Spark DataFrame 转换为 H2O Frame 并调用 H2O 算法。\n\n### 场景 B：在 PySpark 中使用 (PySparkling)\n\nPython 用户可以通过 `pysparkling` 直接在 PySpark 环境中使用。\n\n1.  **安装 Python 依赖**：\n    ```bash\n    pip install h2o pysparkling\n    ```\n\n2.  **编写 Python 脚本** (`example.py`)：\n    ```python\n    from pyspark.sql import SparkSession\n    from pysparkling import H2OContext\n    import h2o\n\n    # 1. 创建 Spark Session\n    spark = SparkSession.builder.appName(\"SparklingWaterDemo\").getOrCreate()\n\n    # 2. 初始化 H2OContext\n    hc = H2OContext.getOrCreate(spark)\n\n    # 3. 创建示例数据并转换为 H2O Frame\n    data = [(1, 2.0), (2, 3.0), (3, 4.0)]\n    df = spark.createDataFrame(data, [\"id\", \"value\"])\n    \n    # Spark DataFrame -> H2O Frame\n    h2o_frame = hc.as_h2o_frame(df)\n    \n    print(h2o_frame.head())\n\n    # 4. 运行 H2O 算法 (例如：GBM)\n    from h2o.estimators.gbm import H2OGradientBoostingEstimator\n    gbm = H2OGradientBoostingEstimator()\n    # 注意：实际训练需要指定 x, y 列，此处仅为演示流程\n    # gbm.train(x=[\"value\"], y=\"id\", training_frame=h2o_frame) \n\n    # 关闭上下文\n    hc.stop()\n    ```\n\n3.  **提交运行**：\n    ```bash\n    spark-submit --packages ai.h2o:sparkling-water-package_2.12:3.40.0.1-1-3.5 example.py\n    ```\n    *(请根据实际环境调整 package 坐标和版本)*\n\n---\n*注：生产环境中建议根据集群规模选择 Internal（内部）或 External（外部）后端模式，详细配置请参考官方部署文档。*","某大型电商公司的数据科学团队需要在 PB 级用户行为日志上训练高精度欺诈检测模型，以实时拦截异常交易。\n\n### 没有 sparkling-water 时\n- **数据搬运耗时巨大**：团队必须将 Spark 清洗后的海量数据导出为 CSV 或 Parquet 文件，再重新加载到独立的 H2O 集群中，I\u002FO 开销导致预处理环节耗时数小时。\n- **架构维护复杂**：需要同时维护 Spark 计算集群和 H2O 机器学习集群两套独立的基础设施，网络配置和资源调度冲突频发。\n- **开发流程割裂**：数据工程师使用 Scala\u002FPython 编写 Spark 任务，而算法工程师需在另一套环境中调用 H2O API，双方无法在同一代码库中无缝协作。\n- **迭代效率低下**：每次调整特征工程逻辑后，都必须重复繁琐的数据导出导入过程，严重拖慢了模型验证和参数调优的节奏。\n\n### 使用 sparkling-water 后\n- **内存零拷贝共享**：sparkling-water 允许直接将 Spark DataFrame 转换为 H2O Frame，数据在集群内存中直接共享，消除了磁盘读写，数据准备时间从小时级缩短至分钟级。\n- **统一运行环境**：只需在现有的 Spark 集群上部署 sparkling-water，即可原地启动 H2O 服务，无需额外搭建和维护独立的机器学习集群。\n- **代码流式整合**：开发人员可以在同一个 PySpark 脚本中连续完成数据清洗、特征转换及调用 H2O 的 GBM 或深度学习算法，实现了端到端的流水线开发。\n- **敏捷模型迭代**：特征工程的修改可立即反馈给模型训练环节，支持快速进行多轮超参数搜索，显著提升了模型上线速度。\n\nsparkling-water 通过打通 Spark 大数据处理能力与 H2O 高性能算法引擎，让企业在不移动数据的前提下，实现了大规模机器学习流程的极致高效与简化。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fh2oai_sparkling-water_853a7250.png","h2oai","H2O.ai","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fh2oai_5e1af5b5.png","Fast Scalable Machine Learning For Smarter Applications",null,"https:\u002F\u002Fh2o.ai","https:\u002F\u002Fgithub.com\u002Fh2oai",[23,27,31,35,39,43,47,51,55,59],{"name":24,"color":25,"percentage":26},"Scala","#c22d40",66.7,{"name":28,"color":29,"percentage":30},"Python","#3572A5",16.7,{"name":32,"color":33,"percentage":34},"TeX","#3D6117",5,{"name":36,"color":37,"percentage":38},"Groovy","#4298b8",4.6,{"name":40,"color":41,"percentage":42},"R","#198CE7",2.4,{"name":44,"color":45,"percentage":46},"HCL","#844FBA",1.7,{"name":48,"color":49,"percentage":50},"Java","#b07219",1.3,{"name":52,"color":53,"percentage":54},"Shell","#89e051",1.1,{"name":56,"color":57,"percentage":58},"Batchfile","#C1F12E",0.3,{"name":60,"color":61,"percentage":62},"CSS","#663399",0.2,977,362,"2026-04-13T14:25:57","Apache-2.0",4,"Linux, macOS, Windows","未说明","未说明 (可通过 spark.executor.memory 参数配置，示例为 4g)",{"notes":72,"python":73,"dependencies":74},"该工具是连接 Apache Spark 和 H2O-3 的集成库。支持多种运行模式：Sparkling Shell、Spark Submit、PySpark 等。提供内部和外部两种后端部署模式。在 Windows 环境下有专门的教程。需根据所使用的 Spark 版本下载对应的 Sparkling Water 二进制包或通过 Maven 引入依赖。","未说明 (支持 PySpark\u002FPySparkling)",[75,76,77],"Apache Spark (2.3 - 3.5)","H2O-3","Scala (版本需与 Spark 匹配)",[79,80,81],"插件","开发框架","数据工具",[83,84,85,86,87,88,89,90,91],"h2o","spark","machine-learning","integration","pysparkling","rsparkling","big-data","pyspark","scala",2,"ready","2026-03-27T02:49:30.150509","2026-04-20T10:25:38.553983",[97,102,107,112,116,120],{"id":98,"question_zh":99,"answer_zh":100,"source_url":101},44508,"如何在 Azure Databricks 上使用 R 或 Scala 创建 H2OContext 时解决任务失败和 ExecutorLostFailure 错误？","该问题通常与集群配置或库冲突有关。如果集群中安装了 XGBoost4j 库且无法卸载，可能需要等待官方修复包重命名冲突。此外，尝试使用非 ML 版本的 Databricks 运行时（plain non-ML version）可能避免此类问题。确保 Sparkling Water 版本与 Spark 版本兼容，并检查驱动程序日志中的 WARN 消息以排查网络或容器阈值问题。","https:\u002F\u002Fgithub.com\u002Fh2oai\u002Fsparkling-water\u002Fissues\u002F1193",{"id":103,"question_zh":104,"answer_zh":105,"source_url":106},44509,"当 GLM 模型变量数量巨大导致内存溢出（OOM）时，应如何优化配置？","当变量数量增加（特别是包含大量交互项）导致内存不足时，Executor 会因 Java heap space 错误退出（代码 143\u002F52）。建议调整 JVM 参数，例如禁用 GC 开销限制（-XX:-UseGCOverheadLimit），启用 G1GC，并调整堆大小相关参数（如 G1NewSizePercent, G1MaxNewSizePercent）。同时，增加 executor 的内存（spark.executor.memory）和内存开销（spark.yarn.executor.memoryOverhead）也是必要的。如果问题依旧，可能需要减少变量数量或分步处理数据。","https:\u002F\u002Fgithub.com\u002Fh2oai\u002Fsparkling-water\u002Fissues\u002F484",{"id":108,"question_zh":109,"answer_zh":110,"source_url":111},44510,"是否有纯 R 语言接口使用 Sparkling Water 的示例，而不依赖 Scala？","是的，R 用户可以使用 `rsparkling` 包来直接在 R 中集成 Sparkling Water，而无需编写 Scala 代码。请访问 https:\u002F\u002Fgithub.com\u002Fh2oai\u002Frsparkling 获取详细的文档和示例。该包允许用户在 R 环境中初始化 Spark 上下文并创建 H2OContext，从而利用分布式计算能力进行机器学习建模。","https:\u002F\u002Fgithub.com\u002Fh2oai\u002Fsparkling-water\u002Fissues\u002F8",{"id":113,"question_zh":114,"answer_zh":115,"source_url":111},44511,"如何在 R\u002FSparkR 环境中直接启动 H2OContext 而不离开 R 环境？","在 R\u002FSparkR 环境中，首先通过 `sparkR.init` 初始化 SparkContext，然后加载 `h2o` 包。虽然直接的 `H2OContext(sc).start()` 是 Scala API，但在 R 中应使用 `rsparkling` 包提供的函数。安装并加载 `rsparkling` 后，可以使用 `h2o_context(sc)` 函数基于现有的 SparkContext 创建 H2O 上下文，从而实现无缝集成。",{"id":117,"question_zh":118,"answer_zh":119,"source_url":111},44512,"如何将 Spark DataFrame 直接流式传输到 H2O 进行建模，而不使用磁盘作为中间存储？","可以通过 `rsparkling` 或 PySparkling 直接将 Spark DataFrame 转换为 H2OFrame，无需写入磁盘。在 R 中，使用 `as.h2o()` 函数可以将 Spark DataFrame 直接上传到 H2O 内存中。例如：`h2o_df \u003C- as.h2o(spark_df)`。这种方法利用了底层的数据流机制，高效且适合大规模数据处理。",{"id":121,"question_zh":122,"answer_zh":123,"source_url":124},44513,"在 Cloudera Data Science Workbench (CDSW) 上运行 H2OContext.getOrCreate() 时遇到错误或无限循环日志怎么办？","在 CDSW 上运行时，日志中可能出现关于 'spark.dynamicAllocation.enabled' 不支持的警告。建议显式禁用动态资源分配，设置 `spark.dynamicAllocation.enabled=false`。此外，确保 `spark.locality.wait` 设置为 0 以保证任务调度到运行 H2O 的节点上。检查提交的 JAR 包路径是否正确，并确认集群配置中没有任何与 H2O 内部后端冲突的参数。","https:\u002F\u002Fgithub.com\u002Fh2oai\u002Fsparkling-water\u002Fissues\u002F1446",[],[127,138,146,154,163,172],{"id":128,"name":129,"github_repo":130,"description_zh":131,"stars":132,"difficulty_score":133,"last_commit_at":134,"category_tags":135,"status":93},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[136,80,137,81],"Agent","图像",{"id":139,"name":140,"github_repo":141,"description_zh":142,"stars":143,"difficulty_score":92,"last_commit_at":144,"category_tags":145,"status":93},9989,"n8n","n8n-io\u002Fn8n","n8n 是一款面向技术团队的公平代码（fair-code）工作流自动化平台，旨在让用户在享受低代码快速构建便利的同时，保留编写自定义代码的灵活性。它主要解决了传统自动化工具要么过于封闭难以扩展、要么完全依赖手写代码效率低下的痛点，帮助用户轻松连接 400 多种应用与服务，实现复杂业务流程的自动化。\n\nn8n 特别适合开发者、工程师以及具备一定技术背景的业务人员使用。其核心亮点在于“按需编码”：既可以通过直观的可视化界面拖拽节点搭建流程，也能随时插入 JavaScript 或 Python 代码、调用 npm 包来处理复杂逻辑。此外，n8n 原生集成了基于 LangChain 的 AI 能力，支持用户利用自有数据和模型构建智能体工作流。在部署方面，n8n 提供极高的自由度，支持完全自托管以保障数据隐私和控制权，也提供云端服务选项。凭借活跃的社区生态和数百个现成模板，n8n 让构建强大且可控的自动化系统变得简单高效。",184740,"2026-04-19T23:22:26",[81,80,136,137,79],{"id":147,"name":148,"github_repo":149,"description_zh":150,"stars":151,"difficulty_score":133,"last_commit_at":152,"category_tags":153,"status":93},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[80,137,136],{"id":155,"name":156,"github_repo":157,"description_zh":158,"stars":159,"difficulty_score":92,"last_commit_at":160,"category_tags":161,"status":93},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",161147,"2026-04-19T23:31:47",[80,136,162],"语言模型",{"id":164,"name":165,"github_repo":166,"description_zh":167,"stars":168,"difficulty_score":169,"last_commit_at":170,"category_tags":171,"status":93},8272,"opencode","anomalyco\u002Fopencode","OpenCode 是一款开源的 AI 编程助手（Coding Agent），旨在像一位智能搭档一样融入您的开发流程。它不仅仅是一个代码补全插件，而是一个能够理解项目上下文、自主规划任务并执行复杂编码操作的智能体。无论是生成全新功能、重构现有代码，还是排查难以定位的 Bug，OpenCode 都能通过自然语言交互高效完成，显著减少开发者在重复性劳动和上下文切换上的时间消耗。\n\n这款工具专为软件开发者、工程师及技术研究人员设计，特别适合希望利用大模型能力来提升编码效率、加速原型开发或处理遗留代码维护的专业人群。其核心亮点在于完全开源的架构，这意味着用户可以审查代码逻辑、自定义行为策略，甚至私有化部署以保障数据安全，彻底打破了传统闭源 AI 助手的“黑盒”限制。\n\n在技术体验上，OpenCode 提供了灵活的终端界面（Terminal UI）和正在测试中的桌面应用程序，支持 macOS、Windows 及 Linux 全平台。它兼容多种包管理工具，安装便捷，并能无缝集成到现有的开发环境中。无论您是追求极致控制权的资深极客，还是渴望提升产出的独立开发者，OpenCode 都提供了一个透明、可信",144296,1,"2026-04-16T14:50:03",[136,79],{"id":173,"name":174,"github_repo":175,"description_zh":176,"stars":177,"difficulty_score":92,"last_commit_at":178,"category_tags":179,"status":93},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[80,137,136]]