[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-byzer-org--byzer-lang":3,"similar-byzer-org--byzer-lang":208},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":8,"readme_en":9,"readme_zh":10,"quickstart_zh":11,"use_case_zh":12,"hero_image_url":13,"owner_login":14,"owner_name":15,"owner_avatar_url":16,"owner_bio":17,"owner_company":18,"owner_location":18,"owner_email":18,"owner_twitter":18,"owner_website":19,"owner_url":20,"languages":21,"stars":55,"forks":56,"last_commit_at":57,"license":58,"difficulty_score":59,"env_os":60,"env_gpu":61,"env_ram":61,"env_deps":62,"category_tags":69,"github_topics":72,"view_count":77,"oss_zip_url":18,"oss_zip_packed_at":18,"status":78,"created_at":79,"updated_at":80,"faqs":81,"releases":117},9968,"byzer-org\u002Fbyzer-lang","byzer-lang","Byzer (former MLSQL): A low-code open-source programming language for data pipeline, analytics and AI.","Byzer（前身为 MLSQL）是一款面向云原生环境的开源低代码编程语言，专为数据管道构建、数据分析及人工智能应用而设计。它致力于解决传统数据开发中工具链割裂、技术栈复杂以及需要频繁切换不同框架的痛点，让开发者无需直接面对底层复杂的计算引擎（如 Spark），即可高效完成从数据接入、处理到模型训练的全流程。\n\n这款工具非常适合数据工程师、算法科学家以及希望快速构建数据产品的开发者使用。其核心理念是“一切皆表”，通过类 SQL 的简洁语法，将各种数据源、算法模型和外部 API 统一抽象为表格进行操作。这种设计极大地降低了数据开发的门槛，让用户能用熟悉的 SQL 风格调用内置算法或扩展功能，显著减少编码工作量。\n\nByzer 的独特亮点在于其强大的扩展性与生态整合能力。它不仅支持通过简单的语句加载 REST API 等非结构化数据并自动解析为结构化表，还能无缝对接 Delta Lake 等存储格式。配合 Byzer Notebook 提供的可视化工作流界面或 VSCode 插件，用户可以轻松实现交互式开发与生产级部署，是打造现代化数据应用的理想选择。"," ![CI](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Factions\u002Fworkflows\u002Fbuild_and_test.yml\u002Fbadge.svg)   [![License](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-Apache_2.0-blue.svg)](https:\u002F\u002Fopensource.org\u002Flicenses\u002FApache-2.0)\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbyzer-org_byzer-lang_readme_23d343d23dc4.png\" alt=\"drawing\"  width=\"200\"\u002F>\n\u003C\u002Fp>\n\n\n## Byzer-lang\n\n**Byzer** (former MLSQL) is a low-code, open-sourced and distributed programming language for data pipeline, analytics and AI in cloud native way.\n\n**Deisgn protocol: Everything is a table.** Byzer is a SQL-like language, to simplify data pipeline, analytics and AI, combined with built-in algorithms and extensions.\n\nWe believe that everything is a table, a simple and powerful SQL-like language can significantly reduce human efforts of data development without switching different tools.\n\n### Byzer Architecture\n\n![Byzer-lang Arch](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbyzer-org_byzer-lang_readme_3f90ea1a9e98.png)\n\nYou can build a data product based on Byzer engine & Byzer-lang without interacting with computing framework directly like Spark in your data APP. Thus will simplify your data app significantly. \n\nFor example, Byzer org contributes a data app [Byzer Notebook](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-notebook), which provides notebook interaction & workflow GUI interaction.\n\n### BIP (Byzer Improvement Proposal)\n\nByzer project uses the [BIP](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fwiki) for the community  collaboration, you can checkout the feature design or architecture design in BIP.\n\n### Online Trial\n\nYou can access the official website [https:\u002F\u002Fwww.byzer.org\u002F](https:\u002F\u002Fwww.byzer.org\u002F) and try Byzer-lang & Byzer Notebook online.\n\n\n### Download \n\nYou can download Byzer engine via:\n- [https:\u002F\u002Fdownload.byzer.org\u002F](https:\u002F\u002Fdownload.byzer.org\u002F)\n- [Byzer Docker Hub](https:\u002F\u002Fhub.docker.com\u002Fu\u002Fbyzer)\n- [Github Release](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Freleases)\n\nFor more details, please refer to the [docs](https:\u002F\u002Fdocs.byzer.org\u002F#\u002Fbyzer-lang\u002Fzh-cn\u002Finstallation\u002FREADME)\n\n### Install\n\nFor **dev\u002Ftest** purpose, you can download [Byzer All In One Package](https:\u002F\u002Fdocs.byzer.org\u002F#\u002Fbyzer-lang\u002Fzh-cn\u002Finstallation\u002Fserver\u002Fbyzer-all-in-one-deployment), extract and then execute the command below\n\n```\n$ cd {BYZER_HOME}\n$ .\u002Fbin\u002Fbyzer.sh start\n```\n\n\nAnd for **production** purpose, we recommend to use [Byzer Server Package](https:\u002F\u002Fdocs.byzer.org\u002F#\u002Fbyzer-lang\u002Fzh-cn\u002Finstallation\u002Fserver\u002Fbinary-installation) and deploy it on Hadoop.\n\n\nYou can also install [Byzer VSCode Extension](https:\u002F\u002Fdocs.byzer.org\u002F#\u002Fbyzer-lang\u002Fzh-cn\u002Finstallation\u002Fvscode\u002Fbyzer-vscode-extension-installation) to use Byzer-lang. \n\nFor the Docker Image or , please refer to the [docs](https:\u002F\u002Fdocs.byzer.org\u002F#\u002Fbyzer-lang\u002Fzh-cn\u002Finstallation\u002FREADME)\n\n\n\n### Byzer Code Example\n\nBelow list an example that how to process Github API as a table to get the information of Byzer Org\n\n```sql\n-- Get Github Organization Info\n\n-- set API URL and params\nSET org_name=\"byzer-org\";\nSET GITHUB_ORGANIZATION_URL=\"https:\u002F\u002Fapi.github.com\u002Forgs\u002F${org_name}\";\n\n-- Load Github Organization API as table\nLOAD Rest.`$GITHUB_ORGANIZATION_URL` \n where `config.connect-timeout`=\"10s\"\n and `config.method`=\"GET\"\n and `header.accept`=\"application\u002Fvnd.github.v3+json\"\nas github_org;\n\n\n-- decode API response from binary to a json string\nselect string(content) as content from github_org as response_content;\n\n-- expand the json string \nrun response_content as JsonExpandExt.`` where inputCol=\"content\" and structColumn=\"true\" as github_org;\n\n-- retrieve user infomation and process as a table\nselect content.* from github_org as org_info;\n\n-- save the table to delta lake\nsave overwrite org_info as delta.`github_info_db.byzer_org`;\n```\n\n\nFor more details about the Byzer-lang grammer, please refer to the user manaual [Byzer-lang Grammar](https:\u002F\u002Fdocs.byzer.org\u002F#\u002Fbyzer-lang\u002Fzh-cn\u002Fgrammar\u002Foutline)\n\n### Development\n\n1. Fork this repository and clone to local machine\n\n```\ngit clone https:\u002F\u002Fgithub.com\u002F{YOUR_GITHUB}\u002Fbyzer-lang.git\n```\n\n2. Use Intellj Idea to open the project, choose the scala version `2.12.10`\n\n3. In Intellj Idea Maven Setting, check the profile below\n    - gpg\n    - local\n    - scala-2.12\n    - spark-3.0.0\n    - streamingpro-spark-3.0.0-adaptor\n\n4. Click Maven Refresh and wait for Idea load finished\n\n5. Find the class `tech.mlsql.example.app.LocalSparkServiceApp`, click Debug button then Byzer Engine will be started, then you can access the Byzer Web Console in [http:\u002F\u002Flocalhost:9003\u002F](http:\u002F\u002Flocalhost:9003\u002F#\u002F)\n\n### Build\n\nYou can refer to the project [byzer-org\u002Fbyzer-build](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-build) to check how to build the Byzer engine binary packages and images\n\n### How to contribute to Byzer-Lang\n\nIf you are planning to contribute to this project, please create an issue at [our Issue page](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues)\neven if the topic is not related to source code itself (e.g., documentation, new idea and proposal).\n\nThis is an active open source project for everyone,\nand we are always open to people who want to use this system or contribute to it.\n\nFor more details about how to contribute to the Byzer Org, please refer to [How to Contribute](https:\u002F\u002Fdocs.byzer.org\u002F#\u002Fbyzer-lang\u002Fzh-cn\u002Fappendix\u002Fcontribute)\n\n\n### Contributors\n\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fgraphs\u002Fcontributors\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbyzer-org_byzer-lang_readme_d5d430900e7f.png\" \u002F>\n\u003C\u002Fa>\n\nMade with [contrib.rocks](https:\u002F\u002Fcontrib.rocks).\n\n###  Community\n\n- **Slack**: [byzer-org.slack.com](https:\u002F\u002Fbyzer-org.slack.com)\n- **Wechat Official Account:** Byzer Community\n\n\n\n","![CI](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Factions\u002Fworkflows\u002Fbuild_and_test.yml\u002Fbadge.svg)   [![License](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-Apache_2.0-blue.svg)](https:\u002F\u002Fopensource.org\u002Flicenses\u002FApache-2.0)\n\n\u003Cp align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbyzer-org_byzer-lang_readme_23d343d23dc4.png\" alt=\"drawing\"  width=\"200\"\u002F>\n\u003C\u002Fp>\n\n\n## Byzer-lang\n\n**Byzer**（原MLSQL）是一种低代码、开源且分布式的编程语言，用于以云原生方式构建数据管道、进行数据分析和人工智能应用。\n\n**设计原则：一切皆表。** Byzer是一种类SQL语言，旨在简化数据管道、分析和AI工作流程，并结合内置算法和扩展功能。\n\n我们坚信“一切皆表”，通过简单而强大的类SQL语言，可以在无需切换不同工具的情况下，显著减少数据开发的工作量。\n\n### Byzer架构\n\n![Byzer-lang架构](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbyzer-org_byzer-lang_readme_3f90ea1a9e98.png)\n\n您可以基于Byzer引擎和Byzer-lang构建数据产品，而无需直接与Spark等计算框架交互。这将大大简化您的数据应用程序开发。\n\n例如，Byzer组织贡献了一个数据应用[Byzer Notebook](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-notebook)，它提供了笔记本式交互和工作流GUI交互功能。\n\n### BIP（Byzer改进提案）\n\nByzer项目使用[BIP](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fwiki)来促进社区协作，您可以在BIP中查看功能或架构设计。\n\n### 在线试用\n\n您可以通过官方网站[https:\u002F\u002Fwww.byzer.org\u002F](https:\u002F\u002Fwww.byzer.org\u002F)在线试用Byzer-lang和Byzer Notebook。\n\n\n### 下载\n\n您可以通过以下方式下载Byzer引擎：\n- [https:\u002F\u002Fdownload.byzer.org\u002F](https:\u002F\u002Fdownload.byzer.org\u002F)\n- [Byzer Docker Hub](https:\u002F\u002Fhub.docker.com\u002Fu\u002Fbyzer)\n- [Github Release](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Freleases)\n\n更多详情请参阅[文档](https:\u002F\u002Fdocs.byzer.org\u002F#\u002Fbyzer-lang\u002Fzh-cn\u002Finstallation\u002FREADME)。\n\n### 安装\n\n对于**开发\u002F测试**用途，您可以下载[Byzer All In One Package](https:\u002F\u002Fdocs.byzer.org\u002F#\u002Fbyzer-lang\u002Fzh-cn\u002Finstallation\u002Fserver\u002Fbyzer-all-in-one-deployment)，解压后执行以下命令：\n\n```\n$ cd {BYZER_HOME}\n$ .\u002Fbin\u002Fbyzer.sh start\n```\n\n\n而对于**生产**环境，我们建议使用[Byzer Server Package](https:\u002F\u002Fdocs.byzer.org\u002F#\u002Fbyzer-lang\u002Fzh-cn\u002Finstallation\u002Fserver\u002Fbinary-installation)，并将其部署在Hadoop集群上。\n\n\n您还可以安装[Byzer VSCode扩展](https:\u002F\u002Fdocs.byzer.org\u002F#\u002Fbyzer-lang\u002Fzh-cn\u002Finstallation\u002Fvscode\u002Fbyzer-vscode-extension-installation)，以便使用Byzer-lang。 \n\n关于Docker镜像等，请参考[文档](https:\u002F\u002Fdocs.byzer.org\u002F#\u002Fbyzer-lang\u002Fzh-cn\u002Finstallation\u002FREADME)。\n\n\n\n### Byzer代码示例\n\n以下是一个示例，展示如何将GitHub API作为表处理，以获取Byzer组织的相关信息：\n\n```sql\n-- 获取GitHub组织信息\n\n-- 设置API URL和参数\nSET org_name=\"byzer-org\";\nSET GITHUB_ORGANIZATION_URL=\"https:\u002F\u002Fapi.github.com\u002Forgs\u002F${org_name}\";\n\n-- 将GitHub组织API加载为表\nLOAD Rest.`$GITHUB_ORGANIZATION_URL` \n where `config.connect-timeout`=\"10s\"\n and `config.method`=\"GET\"\n and `header.accept`=\"application\u002Fvnd.github.v3+json\"\nas github_org;\n\n\n-- 将API响应从二进制解码为JSON字符串\nselect string(content) as content from github_org as response_content;\n\n-- 展开JSON字符串\nrun response_content as JsonExpandExt.`` where inputCol=\"content\" and structColumn=\"true\" as github_org;\n\n-- 提取用户信息并将其作为表处理\nselect content.* from github_org as org_info;\n\n-- 将表保存到Delta Lake\nsave overwrite org_info as delta.`github_info_db.byzer_org`;\n```\n\n\n有关Byzer-lang语法的更多详细信息，请参阅用户手册[Byzer-lang语法](https:\u002F\u002Fdocs.byzer.org\u002F#\u002Fbyzer-lang\u002Fzh-cn\u002Fgrammar\u002Foutline)。\n\n### 开发\n\n1. 分支此仓库并克隆到本地机器：\n\n```\ngit clone https:\u002F\u002Fgithub.com\u002F{YOUR_GITHUB}\u002Fbyzer-lang.git\n```\n\n2. 使用IntelliJ IDEA打开项目，选择Scala版本`2.12.10`。\n\n3. 在IntelliJ IDEA的Maven设置中，勾选以下配置文件：\n    - gpg\n    - local\n    - scala-2.12\n    - spark-3.0.0\n    - streamingpro-spark-3.0.0-adaptor\n\n4. 点击Maven刷新，等待IDEA加载完成。\n\n5. 找到类`tech.mlsql.example.app.LocalSparkServiceApp`，点击调试按钮，Byzer引擎将启动，随后您可以在[http:\u002F\u002Flocalhost:9003\u002F](http:\u002F\u002Flocalhost:9003\u002F#\u002F)访问Byzer Web控制台。\n\n### 构建\n\n您可以参考项目[byzer-org\u002Fbyzer-build](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-build)，了解如何构建Byzer引擎的二进制包和镜像。\n\n### 如何参与Byzer-Lang的贡献\n\n如果您计划参与本项目的贡献，请在[我们的问题页面](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues)创建一个问题，即使该主题与源代码本身无关（例如文档、新想法和提案）。\n\n这是一个面向所有人的活跃开源项目，我们始终欢迎希望使用或贡献于此系统的人士。\n\n有关如何参与Byzer组织的更多详细信息，请参阅[如何贡献](https:\u002F\u002Fdocs.byzer.org\u002F#\u002Fbyzer-lang\u002Fzh-cn\u002Fappendix\u002Fcontribute)。\n\n### 贡献者\n\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fgraphs\u002Fcontributors\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbyzer-org_byzer-lang_readme_d5d430900e7f.png\" \u002F>\n\u003C\u002Fa>\n\n由[contrib.rocks](https:\u002F\u002Fcontrib.rocks)制作。\n\n### 社区\n\n- **Slack**: [byzer-org.slack.com](https:\u002F\u002Fbyzer-org.slack.com)\n- **微信公众号:** Byzer社区","# Byzer-lang 快速上手指南\n\nByzer（原名 MLSQL）是一种低代码、开源且分布式的编程语言，专为云原生环境下的数据管道、分析和人工智能设计。其核心理念是“一切皆表”，通过类 SQL 语法简化开发流程，无需在不同工具间切换。\n\n## 环境准备\n\n*   **操作系统**：Linux \u002F macOS \u002F Windows (需安装 WSL 或兼容环境)\n*   **前置依赖**：\n    *   JDK 1.8 或更高版本\n    *   Maven 3.6+ (仅开发模式需要)\n    *   IntelliJ IDEA (推荐用于开发，需安装 Scala 插件)\n*   **运行环境**：\n    *   **开发\u002F测试**：单机模式，无需额外集群依赖。\n    *   **生产环境**：建议部署在 Hadoop\u002FYARN 或 Kubernetes 集群上。\n\n## 安装步骤\n\n### 方式一：单机快速启动（推荐用于学习\u002F测试）\n\n1.  **下载安装包**\n    访问 [Byzer 下载中心](https:\u002F\u002Fdownload.byzer.org\u002F) 或 [Github Release](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Freleases) 下载 `Byzer All In One Package`。\n\n2.  **解压并启动**\n    解压下载的压缩包，进入目录并执行以下命令：\n\n    ```bash\n    $ cd {BYZER_HOME}\n    $ .\u002Fbin\u002Fbyzer.sh start\n    ```\n\n3.  **验证安装**\n    启动成功后，在浏览器访问 Web 控制台：\n    [http:\u002F\u002Flocalhost:9003\u002F](http:\u002F\u002Flocalhost:9003\u002F#\u002F)\n\n### 方式二：使用 Docker\n\n如果您已安装 Docker，可直接拉取镜像运行：\n\n```bash\n$ docker run -d -p 9003:9003 byzer\u002Fbyzer-lang:latest\n```\n\n### 方式三：VSCode 开发环境\n\n推荐安装 [Byzer VSCode Extension](https:\u002F\u002Fdocs.byzer.org\u002F#\u002Fbyzer-lang\u002Fzh-cn\u002Finstallation\u002Fvscode\u002Fbyzer-vscode-extension-installation) 以获得更好的代码编辑和提交体验。\n\n## 基本使用\n\nByzer 的核心是将各种数据源（如 API、文件、数据库）加载为“表”，然后使用 SQL 进行处理。\n\n以下示例演示如何将 GitHub API 作为表加载，解析 JSON 数据，并保存到 Delta Lake：\n\n```sql\n-- 获取 GitHub 组织信息\n\n-- 设置 API URL 和参数\nSET org_name=\"byzer-org\";\nSET GITHUB_ORGANIZATION_URL=\"https:\u002F\u002Fapi.github.com\u002Forgs\u002F${org_name}\";\n\n-- 将 GitHub API 响应加载为表\nLOAD Rest.`$GITHUB_ORGANIZATION_URL` \n where `config.connect-timeout`=\"10s\"\n and `config.method`=\"GET\"\n and `header.accept`=\"application\u002Fvnd.github.v3+json\"\nas github_org;\n\n\n-- 将二进制响应内容解码为 JSON 字符串\nselect string(content) as content from github_org as response_content;\n\n-- 展开 JSON 字符串为结构化列\nrun response_content as JsonExpandExt.`` where inputCol=\"content\" and structColumn=\"true\" as github_org;\n\n-- 提取用户信息并作为表处理\nselect content.* from github_org as org_info;\n\n-- 将结果表保存至 Delta Lake\nsave overwrite org_info as delta.`github_info_db.byzer_org`;\n```\n\n**操作指引：**\n1. 登录 Web 控制台 ([http:\u002F\u002Flocalhost:9003\u002F](http:\u002F\u002Flocalhost:9003\u002F#\u002F))。\n2. 新建一个 Notebook 或脚本页面。\n3. 粘贴上述代码并点击运行。\n4. 查看输出结果或检查数据存储状态。\n\n更多语法细节请参考官方文档：[Byzer-lang 语法手册](https:\u002F\u002Fdocs.byzer.org\u002F#\u002Fbyzer-lang\u002Fzh-cn\u002Fgrammar\u002Foutline)","某电商数据团队需要每日整合多源异构数据（如 MySQL 订单库、Nginx 日志及第三方营销 API），进行用户行为分析并训练复购预测模型。\n\n### 没有 byzer-lang 时\n- **工具链割裂严重**：开发人员需在 Python 脚本、Spark SQL 和 Shell 命令间频繁切换，分别处理数据抽取、清洗和模型训练，上下文切换成本极高。\n- **API 接入繁琐**：获取第三方营销数据需编写大量 HTTP 请求代码并手动解析 JSON 响应，无法直接作为表参与后续计算。\n- **协作门槛高**：数据分析师因不熟悉复杂的分布式计算框架代码，难以直接修改流水线逻辑，必须依赖资深工程师排期开发。\n- **维护成本高**：长达数百行的混合代码难以阅读，一旦某个环节报错，排查链路长且容易遗漏依赖问题。\n\n### 使用 byzer-lang 后\n- **全流程统一语言**：利用 byzer-lang“一切皆表”的理念，通过类 SQL 语法在一个脚本中连贯完成从数据加载、ETL 清洗到 AI 建模的全过程。\n- **原生集成外部数据**：直接使用 `LOAD Rest` 指令将营销 API 响应自动映射为数据表，无需编写任何解析代码即可与其他内部表关联分析。\n- **低代码赋能全员**：业务分析师凭借熟悉的 SQL 技能即可独立构建和调整数据工作流，大幅减少对底层引擎细节的依赖。\n- **逻辑清晰易维护**：流水线逻辑被简化为声明式的步骤序列，代码量减少 70% 以上，故障定位直观高效。\n\nbyzer-lang 通过统一的低代码范式消除了数据开发与 AI 应用间的工具壁垒，让团队能专注于业务逻辑而非技术实现。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbyzer-org_byzer-lang_38969573.png","byzer-org","Byzer Org","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fbyzer-org_a723fd2e.png","Everything is a table",null,"https:\u002F\u002Fwww.byzer.org\u002F","https:\u002F\u002Fgithub.com\u002Fbyzer-org",[22,26,30,34,38,42,45,48,52],{"name":23,"color":24,"percentage":25},"Scala","#c22d40",78.1,{"name":27,"color":28,"percentage":29},"Java","#b07219",11.7,{"name":31,"color":32,"percentage":33},"Python","#3572A5",7.8,{"name":35,"color":36,"percentage":37},"Shell","#89e051",2.1,{"name":39,"color":40,"percentage":41},"ANTLR","#9DC3FF",0.1,{"name":43,"color":44,"percentage":41},"Batchfile","#C1F12E",{"name":46,"color":47,"percentage":41},"Roff","#ecdebe",{"name":49,"color":50,"percentage":51},"HTML","#e34c26",0,{"name":53,"color":54,"percentage":51},"Dockerfile","#384d54",1839,545,"2026-04-17T13:48:16","Apache-2.0",4,"Linux, macOS, Windows","未说明",{"notes":63,"python":61,"dependencies":64},"该工具主要基于 Scala 和 Spark 构建，开发环境需使用 IntelliJ IDEA 并配置 Scala 2.12.10 及 Spark 3.0.0 相关 Profile。生产环境推荐部署在 Hadoop 集群上。提供 All-in-One 包用于开发测试，也支持 Docker 部署。未明确提及具体的内存大小、GPU 需求或 Python 版本要求（核心语言为 SQL\u002FScala）。",[65,66,67,68],"Scala 2.12.10","Spark 3.0.0","Maven","IntelliJ IDEA",[70,71],"开发框架","数据工具",[73,74,75,76],"machine-learning","mlsql","bigdata","sql-like-dsl",2,"ready","2026-03-27T02:49:30.150509","2026-04-20T12:53:49.449947",[82,87,92,97,102,107,112],{"id":83,"question_zh":84,"answer_zh":85,"source_url":86},44762,"如何在 MLSQL 中处理空值（类似 Spark 的 df.na.fill）？","MLSQL 不直接支持 df.na.fill 语法，但可以通过自定义 Transformer 实现。您可以创建一个名为 SQLNaFillExt 的转换器，然后使用以下语法：\nrun data as NaFillExt.`` where execute=\"fill\";\n其中 execute 参数支持 \"fill\"（填充）、\"drop\"（丢弃）或 \"replace\"（替换）。例如，填充空字符串的代码逻辑为 df.na.fill(\"\")。","https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F701",{"id":88,"question_zh":89,"answer_zh":90,"source_url":91},44763,"如何解析 Kafka 中的 JSON、Avro 或 CSV 格式数据？","MLSQL 已支持直接解析 Kafka 中的 CSV 和 JSON 格式。在加载 Kafka 数据时，可以通过 valueFormat 指定格式，并使用 valueSchema 定义结构。注意 valueSchema 使用的是类 Spark StructType 的语法，而非 JSON 格式。例如：\nvalueSchema=\"st(field(column1,string),field(column2,string))\"\n其中 st 代表 StructType，field 代表 StructField。支持的数据类型包括 string, float, double, integer, map, array 等。","https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F504",{"id":93,"question_zh":94,"answer_zh":95,"source_url":96},44764,"运行 MLSQL 时遇到 Spark 版本兼容性错误或类转换异常怎么办？","请确保编译 MLSQL 时使用的 Spark 版本与实际运行环境的 Spark 版本完全一致。MLSQL 支持 Spark 2.2.x, 2.3.x 和 2.4.x。如果出现 \"SparkStreamingRuntime cannot be cast to SparkRuntime\" 等类转换错误，通常是因为版本不匹配导致的。建议使用与运行环境相同的 Spark 版本重新编译 MLSQL。","https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F661",{"id":98,"question_zh":99,"answer_zh":100,"source_url":101},44765,"多个 Job 之间存在依赖关系时，如何配置才能兼顾管理便利性与性能？","虽然可以将链路（如 a->b->c）命名并复用，但这主要为了配置管理的便利，并不会带来性能提升。除非显式地对中间结果进行 Cache（成本很高），否则链式调用与拆分配置在性能上是等价的。官方推荐一个 Job 对应一个配置文件，这样更便于管理和维护。","https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F14",{"id":103,"question_zh":104,"answer_zh":105,"source_url":106},44766,"如何实现模型追踪（ModelTracker）以管理多次训练产生的模型？","ModelTracker 模块旨在显示每个生成模型的详细信息，包括：1. 生成时间；2. 训练参数；3. 准确率和召回率；4. 模型路径；5. 训练耗时。为了实现此功能，部分数据收集需要修改 PythonAlg。此外，系统需支持即使训练失败也能生成模型目录及相关信息，以便追踪。对于百万级模型管理，建议采用分组或数据库管理方式，避免单文件夹文件过多导致性能下降。","https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F331",{"id":108,"question_zh":109,"answer_zh":110,"source_url":111},44767,"在 Windows 环境下编译项目遇到编码错误或 Javadoc 报错如何解决？","在 Windows 上 git clone 后编译时，若出现 ArgumentErrorException 或 Javadoc 相关错误（特别是涉及中文字符或参数层次报错），通常是由于编码问题或构建环境配置不当引起。建议检查 Maven 构建日志，尝试使用 -e 或 -X 开关获取详细堆栈信息。如果是依赖缺失（如 Could not find artifact），请确认本地 Maven 仓库是否正确同步了快照版本（SNAPSHOT），或尝试先编译基础框架模块（如 streamingpro）。","https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F4",{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},44768,"使用 Spark Streaming 读取 Kafka 时报 NoSuchMethodError 或订阅版本不一致怎么办？","该问题通常由 Kafka 客户端版本冲突引起。当使用 Spark 2.2 读取 Kafka 1.1.0 数据时，如果底层依赖的 kafka-clients 版本过低（如 0.9.0），会导致 subscribe 方法找不到。解决方法是确保 Spark 集群中引入的 Kafka 连接器版本与 Kafka 服务端版本兼容，并排除旧版本的 kafka-clients 依赖。","https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F211",[118,123,128,133,138,143,148,153,158,163,168,173,178,183,188,193,198,203],{"id":119,"version":120,"summary_zh":121,"released_at":122},352270,"v1.1.1","StreamingPro 经过实际生产环境的验证，添加了很多针对算法的功能，近期大部分PR都是针对算法的。\r\n\r\n更多细节可参看[PR列表](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fpulls?q=is%3Apr+is%3Aclosed)\r\n\r\n有用的功能有：\r\n1. PythonAlg模块具备同步资源文件的能力[自定义python算法支持自定义资源文](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fpull\u002F312)\r\n2. 更新了交互界面，使用更友好。[web交互](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fpull\u002F309)\r\n3. 强化了词向量预处理功能，可以更好的接入深度学习模型[SQLWord2VecInPlace 功能扩展](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fpull\u002F308)\r\n4. 可以对训练集各个分类的数据进行统计，计算分类权重，可以查看应训练好的sklearn模型参数，支持混淆矩阵等\r\n5. 大量矩阵运算的UDF函数加入\r\n6. 准备了两个新的模块，方便支持spark 2.3.x\r\n7. 添加了图片数据源，实现了java\u002Fopencv对图片的缩放功能\r\n8. more .... \r\n\r\nNLP分词相关的功能依赖ansj分词包，可到之前发布的版本的附件中下载：https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Freleases","2018-07-03T02:50:57",{"id":124,"version":125,"summary_zh":126,"released_at":127},352271,"v1.1.0","StreamingPro支持通过配置文件的方式编写Spark应用，包括批处理和流式。\r\n\r\nStreamingPro同时也支持将Spark Application作为服务，然后暴露出Rest接口，使用SQL Script作为交互格式。目前支持：\r\n\r\n1.  爬虫，通过SQL脚本完成爬取网页功能。\r\n2. 支持流式计算SQL脚本\r\n3. 支持批处理SQL脚本\r\n4. 支持用SQL做算法训练和预测，以及部署成API服务的能力。\r\n5. 剥离dl4j，减少jar包大小\r\n6. 支持carbondata 1.3.1,支持流式写入carbondata\r\n7. 启动时通过--jars带上 ansj_seg-5.1.6.jar 和nlp-lang-1.7.8.jar 可[在MLSQL中运用分词抽词工具](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fblob\u002Fmaster\u002Fdocs\u002Fmlsql-analysis.md)\r\n\r\n注意： 该预编译版本仅测试过spark 2.2.0。如果需要2.1.0 或者2.3.0 则需要自己进行编译。","2018-04-25T08:27:57",{"id":129,"version":130,"summary_zh":131,"released_at":132},352267,"v1.1.3-dev","https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1YCiKn0p65g8X1Gp6Yb7k1g","2018-10-13T09:19:57",{"id":134,"version":135,"summary_zh":136,"released_at":137},352269,"1.1.2","\r\n功能特性：\r\n\r\n1.  初步增加tensorflow 分布式训练支持 [#352](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fissues\u002F352)\r\n2. 模型支持多版本 [#331](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fissues\u002F331)\r\n3. 优化了PythonAlg模块的功能，包括训练数据分发等。\r\n4. 修正了很多bug\r\n\r\nNLP分词相关的功能依赖ansj分词包，可到最早的那个版本中下载附件：https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Freleases","2018-07-19T02:52:08",{"id":139,"version":140,"summary_zh":141,"released_at":142},352268,"v1.1.3","There are really a bunch of features added to this release.\r\n\r\nMain features:\r\n\r\n1.  MLSQL syntax check, any grammar error will be thrown as an exception.\r\n2.  Enhance the stream job support  [mlsql-stream](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fblob\u002Fmaster\u002Fdocs\u002Fen\u002Fmlsql-stream.md)\r\n3. JDBC in stream\u002Fbach [mlsql-jdbc](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fblob\u002Fmaster\u002Fdocs\u002Fen\u002Fmlsql-jdbc.md)\r\n4. Scala\u002FPython script UDF support [mlsql-script-udf](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fblob\u002Fmaster\u002Fdocs\u002Fen\u002Fmlsql-script-support.md)\r\n5. include statement make MLSQL snippet is reusable.\r\n6. job manager in build-in web UI.\r\n","2018-08-29T08:06:47",{"id":144,"version":145,"summary_zh":146,"released_at":147},352258,"v2.3.0","发布时间 `2022-04-29`\n\n很高兴今天我们发布了 **Byzer（Byzer-lang） 2.3.0** 版本，提供了更加灵活且稳定的 Byzer 引擎。\n\n### 主要内容更新\n\n1. 在该版本中，我们优化了产品的安装部署流程，将配置文件和可执行脚本分离，并在可执行脚本中引入了环境检查，并优化了终端的信息显示。用户可通过调整 `${BYZER_HOME\u002Fconf` 目录下的配置文件, 然后执行 `${BYZER_HOME\u002Fbin\u002Fbyzer.sh start | stop | restart}` 就可以对 Byzer 引擎进行启动，停止以及重启等操作，在易用性和可维护性上得到了巨大的提升。设计详情请参考 [BIP 3: Optimize Byzer lang script](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fwiki\u002FBIP-3:-Optimize-Byzer-lang-script)\n\n2. 在 `2.3.0` 版本中，我们优化了 Byzer 引擎的打包逻辑并修复了部分 bug（源代码可参见 [byzer-org\u002Fbyzer-build](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-build)），统一了各产品包的项目结构以及使用方式，同时优化了[官方下载站点](https:\u002F\u002Fdownload.byzer.org\u002F)的文件目录结构，将项目中历史遗留的 naming 问题做了统一，期望能够给社区用户带来更好的体验。\n\n**该变更可能会影响使用旧版本的用户**，相关变更如下：\n\n|变更说明|Before 2.3.0|2.3.0|\n|---|---|---|\n|byzer 镜像内目录改名|`\u002Fhome\u002Fdeploy\u002Fmlsql`|`\u002Fhome\u002Fdeploy\u002Fbyzer-lang`|\n|byzer 镜像中主程序 jar 路径变更|`\u002Fhome\u002Fdeploy\u002Fmlsql\u002Flibs`|`\u002Fhome\u002Fdeploy\u002Fbyzer-lang\u002Fmain`|\n|主程序 jar 名称变更|`streamingpro-mlsql-spark_3.0_2.12-2.2.2.jar`|`byzer-lang-3.1.1-2.12-2.3.0.jar`|\n|默认删除 Spark velocity jar |spark velocity jar 可能会造成 json path 的读取问题|在 all-in-one 以及镜像中将该 jar 文件进行了删除|\n\n\n3. 在 `2.3.0` 版本的开发过程中，我们对[官方手册](https:\u002F\u002Fdocs.byzer.org\u002F#\u002F) 做了大量的修订和内容增补，涵盖了部署安装，REST 数据源等重点章节，期望能够给用户更多的帮助。\n\n4. 在 `2.3.0` 版本的开发过程中，我们优化了 Byzer 引擎的 CICD 流程，增强了 Byzer 引擎的自动化测试能力，提高了代码的覆盖率，自动化测试环境覆盖了 Byzer 引擎支持的多种环境，设计详情可以参考 [BIP 1: Support Integration testing using docker](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fwiki\u002FBIP-1:-Support-Integration-testing-using-docker)\n\n\n### 优化改进\n\n- [byzer-lang\u002Fissues\u002F1737](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1737) REST 数据源上传功能增加配置目录支持\n- [byzer-lang\u002Fissues\u002F1771](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1771) 动态安装插件支持设置代理\n- [byzer-lang\u002Fissues\u002F1772](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1772) 支持 Oracle upsert 语义，设计详情见 [BIP 2: Support upserting oracle table](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fwiki\u002FBIP-2:-Support-upserting-oracle-table)\n\n### 缺陷修复\n\n- [byzer-lang\u002Fissues\u002F1670](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1670) 修复了 REST 数据源请求中 limit 参数执行和预期不一致的问题\n- [byzer-lang\u002Fissues\u002F1738](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1738) 修复了 REST 数据源请求当请求失败应该返回状态码的问题\n- [byzer-build\u002Fissues\u002F51](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-build\u002Fissues\u002F51) 默认在产品包以及镜像中删除了 velocity jar\n- [byzer-build\u002Fissues\u002F32](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-build\u002Fissues\u002F32) 修复了 Byzer Build 项目中命名不明确的问题\n\n### 下载使用 \n\n下载 Byzer-lang 2.3.0 安装包，请点击下方链接获取：\n\n[https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.3.0\u002F](https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.3.0\u002F)\n\n安装部署指南请查看手册： [Byzer引擎部署指引](https:\u002F\u002Fdocs.byzer.org\u002F#\u002Fbyzer-lang\u002Fzh-cn\u002Finstallation\u002FREADME)\n\n\n\n### 反馈\n\n如果您遇到疑问或者问题，请到 [byzer-lang](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang) 项目的 Issue 里留言，\n\n或通过邮件联系 PMC Member：pmc@byzer.org\n\n欢迎大家积极反馈使用体验与遇到的问题，共同参与社区建设。\n\n\n\n### 致谢\n\n感谢在 Byzer-lang 2.3.0 版本中做出贡献社区小伙伴们（排名不分先后）：anan0120，kaliGo-Li，AdmondGuo，WilliamZhu，hellozepp，jiachuan.zhu，Zhengshuai PENG，Yifan Chen，Qi Lin，ckeys\n\n--------------\n发布日期：`2022-04-29`\n\n我们很高兴地宣布","2022-04-27T13:05:28",{"id":149,"version":150,"summary_zh":151,"released_at":152},352254,"v2.3.3","# Byzer-lang 2.3.3 发布声明\n\n发布时间 `2022-09-08`\n我们很高兴地宣布，今天正式发布了 **Byzer（Byzer-lang） 2.3.3** 版本，带来了更加灵活且稳定的 Byzer 引擎。\n\n### 优化改进\n- [[byzer-lang\u002Fissues\u002F1816]](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1816) 增强了 SQL JDBC ET 能力。\n- [[byzer-lang\u002Fissues\u002F1806]](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1806) 支持自定义执行 API 返回报错时的静态替换模板，以便为用户提供自定义错误消息的功能。\n- [[byzer-lang\u002Fissues\u002F1804]](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1804) CSV 数据源新增支持 SkipFirstNLines 功能。\n- [[byzer-extension\u002Fissues\u002F45]](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-extension\u002Fissues\u002F45) Excel 数据源支持指定工作表加载，并新增 SkipFirstNLines 功能。\n- [[byzer-lang\u002Fissues\u002F1793]](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1793) 支持在 Runscript 回调 API 中添加 header。\n- [[byzer-lang\u002Fissues\u002F1812]](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1812) 增强了 Byzer 文件系统操作 !fs 命令的能力。\n- [[byzer-extension\u002Fissues\u002F49]](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-extension\u002Fissues\u002F49) 重构了 Data Summary ET 的实现，修复了若干问题并提升了性能。\n\n### 缺陷修复\n- [[byzer-lang\u002Fissues\u002F1820]](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1820) 修复了 Byzer All in one 版本在无 Java 环境下启动失败的问题，确保默认使用 JDK。\n- [[byzer-lang\u002Fpull\u002F1833]](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fpull\u002F1833) 修复了 CSV 数据源的 encoding 参数问题。\n\n### 安全修复\n- [[byzer-lang\u002Fissues\u002F1797]](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1797) 修复了 Byzer Engine Web Console 的前端漏洞。\n\n### 下载与使用\n如需下载 Byzer-lang 2.3.3 安装包，请点击下方链接：\nhttps:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.3.3\u002F\n安装部署指南请参阅手册：[Byzer引擎部署指引](https:\u002F\u002Fdocs.byzer.org\u002F#\u002Fbyzer-lang\u002Fzh-cn\u002Finstallation\u002FREADME)\n\n### 反馈\n如果您在使用过程中遇到任何疑问或问题，请前往 [byzer-lang](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang) 项目的 Issue 栏留言，或通过邮件联系 PMC 成员：pmc@byzer.org。我们诚挚邀请大家积极反馈使用体验及遇到的问题，共同参与社区建设。\n\n### 致谢\n感谢在 Byzer-lang 2.3.3 版本中做出贡献的社区小伙伴们（排名不分先后）：WilliamZhu、hellozepp、jiachuan.zhu、Zhengshuai PENG、ckeys、Lindsaylin、fishcus、Admond Guo、wangcheng15、wuzhim。\n\n——————————————————————————————————————————————————\n# Byzer-lang 2.3.3 Release Note\n\nRelease Date:  `2022-09-08`\n我们非常高兴地宣布，今天正式发布了 **Byzer（Byzer-lang） 2.3.3** 版本，该版本提供了一个更加灵活和稳定的 Byzer 引擎。\n### Enhancement\n- [[byzer-lang\u002Fissues\u002F1816]](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1816) 增强 SQL JDBC ET 能力。\n- [[byzer-lang\u002Fissues\u002F1806]](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1806) 支持自定义执行 API 返回错误时的静态替换模板，允许用户自定义错误消息。\n- [[byzer-lang\u002Fissues\u002F1804]](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1804) CSV 数据源新增支持 SkipFirstNLines 功能。\n- [[byzer-extension\u002Fissues\u002F45]](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-extension\u002Fissues\u002F45) Excel 数据源支持指定工作表加载，并新增 SkipFirstNLines 功能。\n- [[byzer-lang\u002Fissues\u002F1793]](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1793) 支持在 Runscript 回调 API 中添加 header。\n- [[byzer-lang\u002Fissues\u002F1812]](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1812) 增强 Byzer 文件系","2022-09-08T05:15:11",{"id":154,"version":155,"summary_zh":156,"released_at":157},352255,"v2.3.2","# Byzer-lang 2.3.2 发布声明\n\n发布时间 `2022-07-27`  \n我们很高兴地宣布，今天正式发布了 Byzer（Byzer-lang） 2.3.2 版本，带来了更加灵活且稳定的 Byzer 引擎。\n\n## 主要内容更新  \n在本次版本中，我们对 Data Summary ET 进行了多项修复与功能扩充：  \n1. 在计算分位数时，支持对空值的过滤。  \n2. 当使用 approx_count_distinct 计算 DataSummary ET 中的唯一值比例时，会存在一定的误差。因此新增了 approx 计算开关，既支持精确计算（但大数据量下可能存在性能瓶颈）。  \n3. 调整了字符串数据的长度限制。  \n4. 增加了对非数值类型列的众数计算功能。  \n5. 优化了聚合算子返回值的类型，对于 count 类型的算子统一返回 int 类型。  \n6. 修复了均值（Mean Values）的返回结果问题，需根据 round_at 参数保留相应的小数位数。  \n7. 百分比展示默认保留两位小数“xx.yy%”，但在计算时需要保留 round_at + 2 位精度。  \n8. 重新实现了分位数计算逻辑，支持精准计算分位数值（提示：使用时需注意数据性能瓶颈问题）。  \n详细信息请参阅 [byzer-extension\u002Fissues\u002F31](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-extension\u002Fissues\u002F31)。\n\n## 优化改进  \n- [byzer-lang\u002Fissues\u002F1796]（https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1793）  \n  支持 runscript 的 callbackHeader 配置。\n\n## 缺陷修复  \n- [byzer-lang\u002Fissues\u002F1796](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1796)  \n  升级 Byzer All in One 2.3.1 产品包中的 OpenJDK 版本，解决因当前 JDK 版本导致的写文件失败问题。  \n- [byzer-lang\u002Fissues\u002F1649]（https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1649）  \n  为 ModelExplain 添加 pathPrefix 配置，使其能够更准确地定位多组算法模型。\n\n## 下载与使用  \n如需下载 Byzer-lang 2.3.2 安装包，请点击以下链接：  \n[https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.3.2\u002F](https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.3.2\u002F)  \n安装部署指南请参考手册：Byzer 引擎部署指引。\n\n## 反馈  \n如果您在使用过程中遇到任何疑问或问题，请前往 byzer-lang 项目的 Issue 页面留言，或通过邮件联系 PMC 成员：pmc@byzer.org。  \n我们诚挚邀请大家积极反馈使用体验及遇到的问题，共同参与社区建设。\n\n## 致谢  \n感谢在 Byzer-lang 2.3.2 版本开发中做出贡献的社区小伙伴们（排名不分先后）：WilliamZhu、hellozepp、jiachuan.zhu、Zhengshuai PENG、ckeys、Lindsaylin。\n\n——————————————————————————————————————————————————  \n\n# Byzer-lang 2.3.2 Release Note  \n发布日期：`2022-07—27`  \n我们非常高兴地宣布，今天正式发布了 Byzer（Byzer-lang） 2.3.2 版本，该版本提供了一个更为灵活和稳定的 Byzer 引擎。\n\n## 主要变更  \n在本版本中，我们针对 Data Summary ET 进行了多项修复与功能扩展：  \n1. 在计算分位数时，支持过滤空值。  \n2. 当使用 approx_count_distinct 计算 DataSummary ET 中的唯一值比例时，存在一定误差。因此新增了 approx 计算开关，以支持精确计算（但处理大规模数据时可能存在性能瓶颈）。  \n3. 调整了字符串数据的长度限制。  \n4. 增加了对非数值类型列的众数计算功能。  \n5. 优化了聚合算子返回值的类型，将“count”类算子的返回值统一为 int 类型。  \n6. 修复了均值（Mean Values）的返回结果问题，需根据 round_at 参数保留相应的小数位数。  \n7. 百分比展示默认保留两位小数“xx.yy%”，但在计算时需保留 round_at + 2 位精度。  \n8. 优化了分位数计算逻辑，支持精准计算分位数值（提示：使用时需注意数据性能瓶颈问题）。  \n更多详情请参阅：[byzer - the extension\u002Fissues \u002F 31]（https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-extension\u002Fissues\u002F31）。\n\n## 功能增强  \n- [byzer-lang\u002Fissues\u002F1796]（https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1793）  \n  支持 runscript 的 callbackHeader 配置。\n\n## 缺陷修复  \n- [byz","2022-07-26T14:03:31",{"id":159,"version":160,"summary_zh":161,"released_at":162},352256,"v2.3.1","# Byzer-lang 2.3.1 发布声明\n\n发布时间 `2022-07-06`\n\n我们很高兴地宣布，今天正式发布了 **Byzer（Byzer-lang） 2.3.1** 版本，带来了更加灵活且稳定的 Byzer 引擎。\n\n### 主要内容更新\n\n1. 在该版本中集成了由社区贡献者 Github Id：[ZhemingX](https:\u002F\u002Fgithub.com\u002FZhemingX)  主要贡献的可交互式的 [Byzer-Shell](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-shell) ，Byzer Shell 可以允许用户在不同的操作系统中，安装 Byzer 引擎后，通过 `$BYZER_HOME\u002Fbin\u002Fbyzer-shell` 命令直接启动一个可交互式的 Shell 命令行程序，方便用户体验和使用 Byzer 引擎，或做一些即时的运算。\n\n\n### 优化改进\n\n- [byzer-lang\u002Fissues\u002F1779](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1779) 增加参数支持自动清理 REST API 数据源 Load 语句缓存的临时数据\n- [byzer-lang\u002Fissues\u002F1777](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fpull\u002F1777) 更新了更多 REST API 数据源的测试 Case\n- [byzer-extension\u002Fissues\u002F17](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-extension\u002Fissues\u002F17) DataSummary ET 算子支持更多的统计计算\n\n\n### 缺陷修复\n\n- [byzer-extension\u002Fissues\u002F15](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-extension\u002Fissues\u002F15) 修复 mlsql_plugin_tool 构建 mlsql-mllib 插件的问题\n\n\n### 下载使用 \n\n下载 Byzer-lang 2.3.1 安装包，请点击下方链接获取：\n\n[https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.3.1\u002F](https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.3.1\u002F)\n\n安装部署指南请查看手册： [Byzer引擎部署指引](https:\u002F\u002Fdocs.byzer.org\u002F#\u002Fbyzer-lang\u002Fzh-cn\u002Finstallation\u002FREADME)\n\n\n### 反馈\n\n如果您遇到疑问或者问题，请到 [byzer-lang](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang) 项目的 Issue 里留言，\n\n或通过邮件联系 PMC Member：pmc@byzer.org\n\n欢迎大家积极反馈使用体验与遇到的问题，共同参与社区建设。\n\n\n### 致谢\n\n感谢在 Byzer-lang 2.3.1 版本中做出贡献社区小伙伴们（排名不分先后）：ZhemingX，kaliGo-Li，WilliamZhu，hellozepp，jiachuan.zhu，Zhengshuai PENG，ckeys\n\n--------\n\n# Byzer-lang 2.3.1 Release Note\n\nRelease Date: `2022-07-06`\n\n我们很高兴地宣布，今天正式发布了 `Byzer-lang 2.3.1` 版本，提供了更加灵活和稳定的 Byzer 引擎。\n\n### **主要变化**\n\n1. 本次发布引入了由 Github Id：[ZhemingX](https:\u002F\u002Fgithub.com\u002FZhemingX) 贡献的交互式 [Byzer-Shell](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-shell) 。Byzer Shell 允许用户在不同操作系统中安装 Byzer 引擎后，通过 `$BYZER_HOME\u002Fbin\u002Fbyzer-shell` 命令直接启动一个交互式的命令行 Shell，方便用户快速体验和使用 Byzer 引擎，或进行即时计算。\n\n\n### 功能增强\n\n- [byzer-lang\u002Fissues\u002F1779](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1779) 在 REST API 的 Load 子句中新增选项，用于自动清理缓存数据。\n- [byzer-lang\u002Fissues\u002F1777](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fpull\u002F1777) 为 REST API 数据源增加了更多测试用例。\n- [byzer-extension\u002Fissues\u002F17](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-extension\u002Fissues\u002F17) DataSummary ET 算子支持更多的统计计算。\n\n\n### 错误修复\n\n- [byzer-extension\u002Fissues\u002F15](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-extension\u002Fissues\u002F15) 修复了 mlsql_plugin_tool 无法成功构建 mlsql-mllib 插件的问题。\n\n\n### 下载\n\n如需下载 Byzer 的二进制安装包，请点击下方链接：\n\n[https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.3.1\u002F](https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.3.1\u002F)\n\n\n### 反馈\n\n如果您在使用过程中遇到任何问题，请在 Byzer-lang 项目中提交 Issue。","2022-07-05T07:37:31",{"id":164,"version":165,"summary_zh":166,"released_at":167},352257,"v2.3.0.1","发布时间 `2022-05-01`\r\n\r\n今天我们发布了 **Byzer（Byzer-lang） 2.3.0.1 Hotfix** 版本，在 [Byzer 2.3.0](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Freleases\u002Ftag\u002Fv2.3.0) 的基础上修复了一个 Rest API 数据源翻页获取数据错误的问题。\r\n\r\n\r\n\r\n### 缺陷修复\r\n\r\n- [byzer-lang\u002Fissues\u002F1775](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1775) 修复了请求 REST 数据源翻页数据获取错误的问题\r\n\r\n\r\n### 下载使用 \r\n\r\n下载 Byzer-lang 2.3.0.1 安装包，请点击下方链接获取：\r\n\r\n[https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.3.0.1\u002F](https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.3.0.1\u002F)\r\n\r\n安装部署指南请查看手册： [Byzer引擎部署指引](https:\u002F\u002Fdocs.byzer.org\u002F#\u002Fbyzer-lang\u002Fzh-cn\u002Finstallation\u002FREADME)\r\n\r\n\r\n\r\n### 反馈\r\n\r\n如果您遇到疑问或者问题，请到 [byzer-lang](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang) 项目的 Issue 里留言，\r\n\r\n或通过邮件联系 PMC Member：pmc@byzer.org\r\n\r\n欢迎大家积极反馈使用体验与遇到的问题，共同参与社区建设。\r\n\r\n\r\n\r\n### 致谢\r\n\r\n感谢在 Byzer-lang 2.3.0.1 Hotfix 版本中做出贡献社区小伙伴们（排名不分先后）：jiachuan.zhu\r\n\r\n---------------------------\r\n\r\n\r\n发布日期：`2022-05-01`\r\n\r\n我们很高兴地宣布，今天在 [Byzer 2.3.0](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Freleases\u002Ftag\u002Fv2.3.0) 的基础上正式发布了 `Byzer-lang 2.3.0.1 Hotfix` 版本，该版本提供了更加灵活和稳定的 Byzer 引擎。\r\n\r\n### Bug修复\r\n\r\n- [byzer-lang\u002Fissues\u002F1775](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1775) 修复了通过分页方式请求 REST API 数据源时出现的数据错误问题。\r\n\r\n\r\n### 下载\r\n\r\n如需下载 Byzer 的二进制安装包，请点击下方链接：\r\n\r\n[https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.3.0.1\u002F](https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.3.0.1\u002F)\r\n\r\n\r\n### 反馈\r\n\r\n如果您在使用过程中遇到任何问题，请在 Byzer-lang 项目中提交 Issue。\r\n\r\n或者直接联系 PMC 成员：[pmc@byzer.org](mailto:pmc.byzer.org)\r\n\r\n欢迎广大数据开发者积极参与，共同构建社区生态。\r\n\r\n### 感谢\r\n\r\n感谢为 Byzer-lang 2.3.0.1 Hotfix 版本贡献代码的社区伙伴们（排名不分先后）：jiachuan.zhu","2022-04-30T12:56:11",{"id":169,"version":170,"summary_zh":171,"released_at":172},352259,"v2.2.2","# Byzer-lang 2.2.2 发行说明\n## 发布日期：2022年3月30日\n我们很高兴地宣布，今天正式发布了 Byzer-lang 2.2.2 版本，该版本提供了更加灵活和稳定的 Byzer 引擎。\n\n## 更新内容如下\n### 增强功能\n- [byzer-lang\u002Fissues\u002F1706](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1706) 【特性】Byzer 支持在脚本中使用敏感字符串时进行 AES 加密。\n- [byzer-lang\u002Fissues\u002F1718](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1718) 【特性】JDBC 的 upsert 模式现已支持 Oracle 数据库。\n- [byzer-lang\u002Fissues\u002F1730](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1730) 【增强】优化了 Rest 数据源的分页策略，以支持多种翻页方式。\n### 问题修复\n- [byzer-lang\u002Fissues\u002F1699](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1699) 【缺陷】修复了一个 Java UDF 编译错误，该错误导致 Byzer Notebook 中的作业无法正确终止。\n- [byzer-lang\u002Fissues\u002F1708](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fissues\u002F1708) 【缺陷】修复了 rest_request UDF 中出现的“输入已结束，没有内容可映射为对象”的错误。\n- [byzer-lang\u002Fpull\u002F1721](https:\u002F\u002Fgithub.com\u002Fbyzer-org\u002Fbyzer-lang\u002Fpull\u002F1721) 【缺陷】修复了语法提示不匹配时抛出的 NoSuchElementException 错误。\n\n## 下载\n如需下载 Byzer 二进制安装包，请点击以下链接：\n- https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.2.2\u002F\n\n1. Byzer All In One 版本目前支持 Mac\u002FLinux\u002FWindows 系统（Windows 版本暂不支持 Byzer-python）：\n   - [MacOS](https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.2.2\u002Fbyzer-lang-darwin-amd64-3.0-2.2.2.tar.gz)\n   - [Linux](https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.2.2\u002Fbyzer-lang-linux-amd64-3.0-2.2.2.tar.gz)\n   - [Windows](https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.2.2\u002Fbyzer-lang-win-amd64-3.0-2.2.2.tar.gz)\n\n2. Byzer 服务器版本分别兼容 Spark 2.4.3 和 Spark 3.1.1：\n   - [适用于 Spark 2.4.3 的 Byzer-lang 2.2.2](https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.2.2\u002Fbyzer-lang_2.4-2.2.2.tar.gz)\n   - [适用于 Spark 3.1.1 的 Byzer-lang 2.2.2](https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.2.2\u002Fbyzer-lang_3.0-2.2.2.tar.gz)\n\n3. Byzer VSCode 扩展版本（桌面版）：\n   - [MacOS](https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.2.2\u002Fbyzer-lang-darwin-0.0.7.vsix)\n   - [Linux](https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.2.2\u002Fbyzer-lang-linux-0.0.7.vsix)\n   - [Windows](https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.2.2\u002Fbyzer-lang-win-0.0.7.vsix)\n\n## 反馈\n如果您遇到任何问题，请在 Byzer-lang 项目中提交 issue，或联系 PMC 成员：[pmc@byzer.org](mailto:pmc.byzer.org)。欢迎广大数据开发者加入并共建社区生态。\n\n## 致谢\n感谢所有为 Byzer-lang 2.2.2 贡献代码的开发者（排名不分先后）：kaliGo-Li、WilliamZhu、hellozepp、jiachuan.zhu。","2022-03-31T06:46:16",{"id":174,"version":175,"summary_zh":176,"released_at":177},352260,"v2.2.1","# Byzer-lang 2.2.1 发行说明\n\n发布日期：`2022-01-17`\n\n我们很高兴地宣布，今天正式发布了 Byzer-lang 2.2.1 版本。\n\n## v2.2.1 更新内容\n\n### Bug 修复\n- #1660   修复使用 SendMessage ET 时的错误\n- #1654  修复 Python 守护进程内存激增的问题\n- #1650  修复跨单元变量无法识别的问题\n- #1644  修复 PSExecutor 无法解析 Spark 新选项的问题\n- #1642  修复分布式模式下 !show et; 报错的问题\n- #1640  增强 SQLDiscretizer 示例\n- #1636  CustomFS 应当遵守 saveMode 配置\n\n## 下载\n\n### Byzer-lang 二进制包\n\n请下载以下软件包：\n- Spark 2.4.3 版本：byzer-lang_2.4-2.2.1.tar.gz \n- Spark 3.1.1 版本：byzer-lang_3.0-2.2.1.tar.gz        \n\n### Byzer-lang VS Code 扩展\n- [Mac 版本](https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.2.1\u002Fbyzer-lang-darwin-0.0.7.vsix) \n- [Linux 版本](https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.2.1\u002Fbyzer-lang-linux-0.0.7.vsix)\n- [Windows 版本](https:\u002F\u002Fdownload.byzer.org\u002Fbyzer\u002F2.2.1\u002Fbyzer-lang-win-0.0.7.vsix)\n\n\n\n## 反馈\n如果您遇到任何问题，请在 Byzer-lang 项目中提交 Issue。\n或联系 PMC 成员：[pmc@byzer.org](mailto:pmc@byzer.org)\n欢迎数据开发者加入并共建社区生态。\n\n## 致谢\n感谢为 Byzer-lang 2.2.1 贡献代码的各位（以下排名不分先后）：AdmondGuo，Andie Huang，PENG Zhengshuai，Wenzheng Liu，WilliamZhu，anan0120，hellozepp，jiachuan.zhu，teeyog","2022-01-17T11:19:15",{"id":179,"version":180,"summary_zh":181,"released_at":182},352261,"v2.2.0","### 发布说明\n\n首先，我很高兴地通知大家，MLSQL 将于 2021 年 12月21日正式更名为 Byzer。\n\n经过团队两个多月的辛勤努力，我们今天发布了 Byzer 2.2.0 版本，该版本提供了一个更加灵活、稳定的 Byzer 引擎。\n\n与 MLSQL 2.1.0 版本相比，本次主要更新如下：\n\n1. 改进并扩展了 ET 插件的自省机制  \n2. 提供了 Windows 桌面版  \n3. 新增了存储插件（如 Amazon S3、Azure Blob 等云存储）  \n4. Byzer 语言代码提示功能更加完善  \n5. 提供了功能齐全的算法和特征工程组件  \n6. 易用且完整的交互式控制台产品 Byzer Notebook","2021-12-15T10:37:40",{"id":184,"version":185,"summary_zh":186,"released_at":187},352262,"v1.2.0","更多详情请查看此地址：https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fblob\u002Fmaster\u002FRELEASES.md","2019-04-14T13:58:56",{"id":189,"version":190,"summary_zh":191,"released_at":192},352263,"v1.1.7.1","更多详情请查看 [MLSQL v1.1.7.1 Bug 修复版](https:\u002F\u002Fwww.jianshu.com\u002Fp\u002Fc0d3f99b1e82) 和 [MLSQL v1.1.7 正式版](https:\u002F\u002Fwww.jianshu.com\u002Fp\u002F6b97106b1e24)。\n\n1. [下载链接](http:\u002F\u002Fdownload.mlsql.tech\u002Fmlsql-1.1.7.1\u002F)\n2. 在 Docker 中使用：\n\n```sql\ndocker run -p 9003:9003 techmlsql\u002Fmlsql:spark_2.4-1.1.7.1\n```\n\n然后访问 http:\u002F\u002F127.0.0.1:9003。","2019-01-18T01:46:47",{"id":194,"version":195,"summary_zh":196,"released_at":197},352264,"v1.1.6","We are glad to announce that  [MLSQL v1.1.6](http:\u002F\u002Fdownload.mlsql.tech\u002Fmlsql-1.1.6) is released.  There are huge  new features, bug fix and code refractor in this  half month' development:\r\n\r\n1. Almost 163 commits.\r\n2. 28 [ISSUE](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fissues?page=1&q=is%3Aissue+is%3Aclosed+label%3AMLSQL-1.1.6)\r\n3. 41 [PR](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fpulls?q=is%3Apr+is%3Aclosed+label%3AMLSQL-1.1.6). 25 of them are BugFix, 26 of them are improvements.\r\n\r\n## Improvements：\r\n\r\n* [PR-747](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fpull\u002F744):  Load balance, Dynamic Resource Allocation,Instances manager based on labels。More details please check：[mlsql-cluster doc](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fblob\u002Fmaster\u002Fdocs\u002Fdocv2\u002Fcluster\u002Fcluster.md).\r\n* [PR-735](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fpull\u002F735): Supports Using load statement to view API doc and Configuration of MLSQL。\r\n* [PR-728](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fpull\u002F728): Upgrade to latest carbondata \r\n* [PR-781](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fpull\u002F781): A new transformer supports complex father-children relation computing which is hard if you use SQL to do this.\r\n* [PR-794](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fpull\u002F794):  Provides shell\u002Fcmd script to make you compile\u002Fpackage MLSQL more easy.\r\n\r\n## BugFix：\r\n\r\n* [PR-773](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fpull\u002F773)： The last As keyword is upper will cause exception。\r\n* [PR-777](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fpull\u002F777): Save partition by can not support multi columns.\r\n* [PR-760](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fpull\u002F760):  conflict in multi kafka-client.（MLSQLsupport kafka 0.8\u002F0.9\u002F1.x at the same time）\r\n* [PR-757](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fpull\u002F757): MLSQL Auth bug\r\n* [PR-795](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fpull\u002F795)： PS cluster enabled will fail the exetuor in yarn mode.\r\n\r\n## Code refractor：\r\n\r\n* [PR-727](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fpull\u002F727)： Remove the support for Spark 1.6.x\r\n* [PR-732](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fpull\u002F732)： Move some non-core modules to external\u002Fcontri directory.\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n","2018-12-18T02:12:04",{"id":199,"version":200,"summary_zh":201,"released_at":202},352265,"v1.1.5","We are glad to announce that MLSQL-v1.1.5 version released.\r\n\r\nV1.1.5 is a maintainable release of 1.1.x which is based on branch b1.1.5.\r\n\r\nThis release we have done a lot of things to make MLSQL work on spark 2.4.0. The changes applied in this release can be tracked by [All Issue tagged with MSLQL-1.1.5](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fissues?q=label%3AMLSQL-1.1.5+is%3Aclosed) and [All PR tagged with MSLQL-1.1.5](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fpulls?q=is%3Apr+is%3Aclosed+label%3AMLSQL-1.1.5)\r\n\r\n\r\nMLSQL 1.1.5 still not contains following jars  by default:\r\n\r\n1. [ansj_seg-5.1.6.jar](\r\nhttps:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Freleases\u002Fdownload\u002Fv1.1.0\u002Fansj_seg-5.1.6.jar)\r\n2. [nlp-lang-1.7.8.jar](\r\nhttps:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Freleases\u002Fdownload\u002Fv1.1.0\u002Fnlp-lang-1.7.8.jar)\r\n\r\n\r\nIf you want to analyze text content, please download it manually and add them to `--jars`.\r\n\r\nWe plan to release v1.1.6 in next two weeks.\r\n\r\nUsage:\r\n\r\n1.  download distribution based on your spark version. \r\n2. unzip and make sure SPARK_HOME have be confgiured.\r\n3. use `.\u002Fstart-local.sh ` to start MLSQL server.","2018-11-29T07:12:24",{"id":204,"version":205,"summary_zh":206,"released_at":207},352266,"b1.1.4","V1.1.4 is a maintainable release of 1.1.x which is based on branch b1.1.4.\r\n\r\nThe changes applied in this release can be tracked by [All Issue tagged with MSLQL-1.1.4](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fissues?q=label%3AMLSQL-1.1.4+is%3Aclosed) and [All PR tagged with MSLQL-1.1.4](https:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Fpulls?q=is%3Apr+is%3Aclosed+label%3AMLSQL-1.1.4)\r\n\r\nNotice that we do not tag the issue before, so there are many bugfix and features may not be tracked by the tag MLSQL-1.1.4. However, since this release, we will make sure that all Issue And PR tracked.\r\n\r\nMLSQL v1.1.4 still not contains  by default:\r\n\r\n1. [ansj_seg-5.1.6.jar](\r\nhttps:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Freleases\u002Fdownload\u002Fv1.1.0\u002Fansj_seg-5.1.6.jar)\r\n2. [nlp-lang-1.7.8.jar](\r\nhttps:\u002F\u002Fgithub.com\u002Fallwefantasy\u002Fstreamingpro\u002Freleases\u002Fdownload\u002Fv1.1.0\u002Fnlp-lang-1.7.8.jar)\r\n\r\nIf you want to analyze text content, please download it manually and add them to `--jars`.\r\n\r\nWe plan to release v1.1.5 in next two weeks.\r\n\r\nUsage:\r\n\r\n1.  download distribution based on your spark version. \r\n2. unzip and make sure SPARK_HOME have be confgiured.\r\n3. use `.\u002Fstart-local.sh ` to start MLSQL server.","2018-11-18T08:02:28",[209,220,229,238,246,254],{"id":210,"name":211,"github_repo":212,"description_zh":213,"stars":214,"difficulty_score":215,"last_commit_at":216,"category_tags":217,"status":78},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[218,70,219,71],"Agent","图像",{"id":221,"name":222,"github_repo":223,"description_zh":224,"stars":225,"difficulty_score":77,"last_commit_at":226,"category_tags":227,"status":78},9989,"n8n","n8n-io\u002Fn8n","n8n 是一款面向技术团队的公平代码（fair-code）工作流自动化平台，旨在让用户在享受低代码快速构建便利的同时，保留编写自定义代码的灵活性。它主要解决了传统自动化工具要么过于封闭难以扩展、要么完全依赖手写代码效率低下的痛点，帮助用户轻松连接 400 多种应用与服务，实现复杂业务流程的自动化。\n\nn8n 特别适合开发者、工程师以及具备一定技术背景的业务人员使用。其核心亮点在于“按需编码”：既可以通过直观的可视化界面拖拽节点搭建流程，也能随时插入 JavaScript 或 Python 代码、调用 npm 包来处理复杂逻辑。此外，n8n 原生集成了基于 LangChain 的 AI 能力，支持用户利用自有数据和模型构建智能体工作流。在部署方面，n8n 提供极高的自由度，支持完全自托管以保障数据隐私和控制权，也提供云端服务选项。凭借活跃的社区生态和数百个现成模板，n8n 让构建强大且可控的自动化系统变得简单高效。",184740,"2026-04-19T23:22:26",[71,70,218,219,228],"插件",{"id":230,"name":231,"github_repo":232,"description_zh":233,"stars":234,"difficulty_score":215,"last_commit_at":235,"category_tags":236,"status":78},10095,"AutoGPT","Significant-Gravitas\u002FAutoGPT","AutoGPT 是一个旨在让每个人都能轻松使用和构建 AI 的强大平台，核心功能是帮助用户创建、部署和管理能够自动执行复杂任务的连续型 AI 智能体。它解决了传统 AI 应用中需要频繁人工干预、难以自动化长流程工作的痛点，让用户只需设定目标，AI 即可自主规划步骤、调用工具并持续运行直至完成任务。\n\n无论是开发者、研究人员，还是希望提升工作效率的普通用户，都能从 AutoGPT 中受益。开发者可利用其低代码界面快速定制专属智能体；研究人员能基于开源架构探索多智能体协作机制；而非技术背景用户也可直接选用预置的智能体模板，立即投入实际工作场景。\n\nAutoGPT 的技术亮点在于其模块化“积木式”工作流设计——用户通过连接功能块即可构建复杂逻辑，每个块负责单一动作，灵活且易于调试。同时，平台支持本地自托管与云端部署两种模式，兼顾数据隐私与使用便捷性。配合完善的文档和一键安装脚本，即使是初次接触的用户也能在几分钟内启动自己的第一个 AI 智能体。AutoGPT 正致力于降低 AI 应用门槛，让人人都能成为 AI 的创造者与受益者。",183572,"2026-04-20T04:47:55",[218,237,228,70,219],"语言模型",{"id":239,"name":240,"github_repo":241,"description_zh":242,"stars":243,"difficulty_score":215,"last_commit_at":244,"category_tags":245,"status":78},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[70,219,218],{"id":247,"name":248,"github_repo":249,"description_zh":250,"stars":251,"difficulty_score":77,"last_commit_at":252,"category_tags":253,"status":78},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",161147,"2026-04-19T23:31:47",[70,218,237],{"id":255,"name":256,"github_repo":257,"description_zh":258,"stars":259,"difficulty_score":77,"last_commit_at":260,"category_tags":261,"status":78},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[70,219,218]]