Byzer-lang

Byzer（原MLSQL）是一种低代码、开源且分布式的编程语言，用于以云原生方式构建数据管道、进行数据分析和人工智能应用。

设计原则：一切皆表。 Byzer是一种类SQL语言，旨在简化数据管道、分析和AI工作流程，并结合内置算法和扩展功能。

我们坚信“一切皆表”，通过简单而强大的类SQL语言，可以在无需切换不同工具的情况下，显著减少数据开发的工作量。

Byzer架构

您可以基于Byzer引擎和Byzer-lang构建数据产品，而无需直接与Spark等计算框架交互。这将大大简化您的数据应用程序开发。

例如，Byzer组织贡献了一个数据应用Byzer Notebook，它提供了笔记本式交互和工作流GUI交互功能。

BIP（Byzer改进提案）

Byzer项目使用BIP来促进社区协作，您可以在BIP中查看功能或架构设计。

在线试用

您可以通过官方网站https://www.byzer.org/在线试用Byzer-lang和Byzer Notebook。

下载

您可以通过以下方式下载Byzer引擎：

• https://download.byzer.org/
• Byzer Docker Hub
• Github Release

更多详情请参阅文档。

安装

对于开发/测试用途，您可以下载Byzer All In One Package，解压后执行以下命令：

$ cd {BYZER_HOME}
$ ./bin/byzer.sh start

而对于生产环境，我们建议使用Byzer Server Package，并将其部署在Hadoop集群上。

您还可以安装Byzer VSCode扩展，以便使用Byzer-lang。

关于Docker镜像等，请参考文档。

Byzer代码示例

以下是一个示例，展示如何将GitHub API作为表处理，以获取Byzer组织的相关信息：

-- 获取GitHub组织信息

-- 设置API URL和参数
SET org_name="byzer-org";
SET GITHUB_ORGANIZATION_URL="https://api.github.com/orgs/${org_name}";

-- 将GitHub组织API加载为表
LOAD Rest.`$GITHUB_ORGANIZATION_URL` 
 where `config.connect-timeout`="10s"
 and `config.method`="GET"
 and `header.accept`="application/vnd.github.v3+json"
as github_org;


-- 将API响应从二进制解码为JSON字符串
select string(content) as content from github_org as response_content;

-- 展开JSON字符串
run response_content as JsonExpandExt.`` where inputCol="content" and structColumn="true" as github_org;

-- 提取用户信息并将其作为表处理
select content.* from github_org as org_info;

-- 将表保存到Delta Lake
save overwrite org_info as delta.`github_info_db.byzer_org`;

有关Byzer-lang语法的更多详细信息，请参阅用户手册Byzer-lang语法。

开发

1. 分支此仓库并克隆到本地机器：

git clone https://github.com/{YOUR_GITHUB}/byzer-lang.git

2. 使用IntelliJ IDEA打开项目，选择Scala版本2.12.10。

3. 在IntelliJ IDEA的Maven设置中，勾选以下配置文件：

   • gpg
   • local
   • scala-2.12
   • spark-3.0.0
   • streamingpro-spark-3.0.0-adaptor

4. 点击Maven刷新，等待IDEA加载完成。

5. 找到类tech.mlsql.example.app.LocalSparkServiceApp，点击调试按钮，Byzer引擎将启动，随后您可以在http://localhost:9003/访问Byzer Web控制台。

构建

您可以参考项目byzer-org/byzer-build，了解如何构建Byzer引擎的二进制包和镜像。

如何参与Byzer-Lang的贡献

如果您计划参与本项目的贡献，请在我们的问题页面创建一个问题，即使该主题与源代码本身无关（例如文档、新想法和提案）。

这是一个面向所有人的活跃开源项目，我们始终欢迎希望使用或贡献于此系统的人士。

有关如何参与Byzer组织的更多详细信息，请参阅如何贡献。

贡献者

由contrib.rocks制作。

社区

• Slack: byzer-org.slack.com
• 微信公众号: Byzer社区

Byzer-lang 快速上手指南

Byzer（原名 MLSQL）是一种低代码、开源且分布式的编程语言，专为云原生环境下的数据管道、分析和人工智能设计。其核心理念是“一切皆表”，通过类 SQL 语法简化开发流程，无需在不同工具间切换。

环境准备

• 操作系统：Linux / macOS / Windows (需安装 WSL 或兼容环境)
• 前置依赖：
  • JDK 1.8 或更高版本
  • Maven 3.6+ (仅开发模式需要)
  • IntelliJ IDEA (推荐用于开发，需安装 Scala 插件)
• 运行环境：
  • 开发/测试：单机模式，无需额外集群依赖。
  • 生产环境：建议部署在 Hadoop/YARN 或 Kubernetes 集群上。

安装步骤

方式一：单机快速启动（推荐用于学习/测试）

1. 下载安装包 访问 Byzer 下载中心 或 Github Release 下载 Byzer All In One Package。

2. 解压并启动 解压下载的压缩包，进入目录并执行以下命令：

   $ cd {BYZER_HOME}
   $ ./bin/byzer.sh start
   

3. 验证安装 启动成功后，在浏览器访问 Web 控制台： http://localhost:9003/

方式二：使用 Docker

如果您已安装 Docker，可直接拉取镜像运行：

$ docker run -d -p 9003:9003 byzer/byzer-lang:latest

方式三：VSCode 开发环境

推荐安装 Byzer VSCode Extension 以获得更好的代码编辑和提交体验。

基本使用

Byzer 的核心是将各种数据源（如 API、文件、数据库）加载为“表”，然后使用 SQL 进行处理。

以下示例演示如何将 GitHub API 作为表加载，解析 JSON 数据，并保存到 Delta Lake：

-- 获取 GitHub 组织信息

-- 设置 API URL 和参数
SET org_name="byzer-org";
SET GITHUB_ORGANIZATION_URL="https://api.github.com/orgs/${org_name}";

-- 将 GitHub API 响应加载为表
LOAD Rest.`$GITHUB_ORGANIZATION_URL` 
 where `config.connect-timeout`="10s"
 and `config.method`="GET"
 and `header.accept`="application/vnd.github.v3+json"
as github_org;


-- 将二进制响应内容解码为 JSON 字符串
select string(content) as content from github_org as response_content;

-- 展开 JSON 字符串为结构化列
run response_content as JsonExpandExt.`` where inputCol="content" and structColumn="true" as github_org;

-- 提取用户信息并作为表处理
select content.* from github_org as org_info;

-- 将结果表保存至 Delta Lake
save overwrite org_info as delta.`github_info_db.byzer_org`;

操作指引：

1. 登录 Web 控制台 (http://localhost:9003/)。
2. 新建一个 Notebook 或脚本页面。
3. 粘贴上述代码并点击运行。
4. 查看输出结果或检查数据存储状态。

更多语法细节请参考官方文档：Byzer-lang 语法手册