MLSQL 正式更名 Byzer ,打造新一代開源語言生態
12月21日,開源項目MLSQL 宣布正式更名為 Byzer。Byzer 將秉持 MLSQL 低成本落地 Data + AI 的技術初衷,并融合更加開放且多元的語言及產品能力,打造更加完善的新一代開源語言生態。與此同時,全新的 Byzer 開源社區正式成立,社區官網(https://www.byzer.org) 也已同步上線,歡迎大家積極訪問。
全新的 Byzer 以及 Byzer 開源社區
Byzer 這一名稱源于中國古代神獸「白澤」,其能言語,通萬物之情,知鬼神之事。我們希望 Byzer 可以像神獸白澤一樣,讓數據說「人」話。
Byzer 是一門結合了聲明式編程和命令式編程的混合編程語言,其低代碼且類 SQL 的編程邏輯配合內置算法及插件的加持,能幫助數據工作者們高效打通數據鏈路,完成數據的清洗轉換,并快速地進行機器學習相關的訓練及預測。Byzer 語言的關鍵詞如下:
- 萬物皆表(Everything is a table)
- 類 SQL 語法(SQL-like Language)
- 內置算法和插件(Built-in algorithms and plugins)
- 可定制,簡單,強大(Customizable, Simple and Powerful)
Byzer 社區主要圍繞 Byzer 語言來打造面向 Data + AI 領域的開源生態,旨在幫助用戶以低成本和高效率的方式落地數據平臺和完成 AI 工程化,釋放分析師、工程師以及運維人員的生產力。目前 Byzer 社區內的項目均采用 Apache License V2 發行,允許所有社區參與者在該協議下進行自由使用。
我們為什么需要 Byzer
隨著大數據、人工智能、云計算等技術的迅速發展,云基礎設施、基礎軟件、算法模型等都逐漸完善和成熟,業界對數據平臺的效率訴求是越來越高,低效的跨平臺數據運轉逐漸成為工程師落地數據平臺和完成 AI 工程化的痛點。但是,無論是從更換基礎設施入手,還是換上更易用的框架,又或是招聘更優秀的研發人才,都無法做到大幅度的效率提升。
我們相信只有在編程語言層面進行革新,才能從根本上提高數據平臺落地和 AI 工程化的效率。Byzer 作為一門低代碼的開源編程語言,可以在語言層面將數據處理鏈路、AI 工程中的復雜操作以及權限管控進行抽象,同時降低編程語言的學習成本和上手成本,從而幫助企業真正將效率提升上來。
Byzer 語言設計理念
在抽象業務能力的時候,數據的處理和流轉承載著信息傳遞的核心任務,而數據的載體往往就是二維數據表或多維數據表,SQL 語言其實就是抽象在二維數據表上的各種數據操作。Byzer 語言的核心設計是萬物皆表(Everything is a table),我們希望用戶可以非常容易的將任何實體對象通過 Byzer 來抽象成二維表,從而能夠基于表來進行數據處理或模型訓練等進一步操作。
1. 聲明式融合命令式的語言設計,SQL-like 語法簡單又靈活
在語言設計層面,Byzer 采用了聲明式編程設計,使用類 SQL 的語法,開發者更容易學習和使用。但是聲明式設計又缺乏一些靈活性,無法滿足一些很復雜的編程需求,所以 Byzer 在聲明式設計的基礎上又結合了命令式編程設計來對 SQL-like 的語法進行擴展。
2. 云原生設計,充分利用云上算力和便宜的存儲
在云基礎設施日趨成熟的今天,無論是基礎軟件還是上層應用,用戶都十分關注可擴展性,Byzer 在 Day1 的設計就是云原生設計,不僅能夠利用云上便宜的存儲,同時原生分布式引擎(Spark 引擎和可插拔 Ray引擎)的設計,可以讓 Byzer 充分利用云上算力。
3. 一套語言,一個引擎,覆蓋 Data + AI 的能力,開箱即用
企業在落地數據平臺或者 AI 工程時,往往面臨著選型難的問題,對于數據工程師來講,更是需要了解、學習、開發和維護整個數據處理鏈路中的各個組件,上手成本和維護成本都很高。Byzer 希望能夠提供一套語言、一個引擎,就能覆蓋整個數據鏈路,同時可以提供各種算法、模型訓練等開箱即用的能力。
Byzer 在 12 月 15 日正式發布了 Byzer 2.2.0 版本,歡迎大家試用和反饋。
IDE 支持 - Byzer Notebook
Byzer 作為一門語言,需要能夠支持 IDE 或者文本編輯器,完成諸如代碼高亮,代碼提示,運行等能力。目前比較流行的方式是實現 LSP(Language Server Protocol),各類主流編輯器或者 IDE 就可以基于 LSP 的協議來實現相關的功能。Byzer 實現了 LSP 協議并提供了 code suggest API,用戶可以自行開發相關的編輯器插件來支持 Byzer 開發。
Byzer Notebook 是由 Kyligence 開發并貢獻到社區的一個基于 Byzer 的 Web IDE。具備以下主要特性:
- 擁有強大的交互編譯能力,支持代碼高亮、代碼提示等功能;
- 提供穩定可靠的數據工程能力,支持多數據源的表進表出和 AI 模型的訓練與發布;
- 支持 Notebook 和 Workflow 的形式給用戶提供低代碼、交互式編程的能力。
除了 Byzer Notebook 外,社區還開發了 Byzer 語言的 VSCode 插件,用戶在 VSCode 中就可以編寫運行 Byzer 代碼了。
Byzer Notebook 在 12 月 15 日正式發布了 Byzer Notebook 1.0.0 版本,歡迎大家試用和反饋。
真誠邀請您共建社區
Byzer 社區作為一個新興的開源社區,非常歡迎大家來參與和貢獻。目前 Byzer 已經獲得了不少生產客戶,數據團隊選用 Byzer 后僅需少量的開發人員就可以支撐整個數據平臺,詳情可以關注 Byzer 社區的Meetup 活動以及官方公眾號等渠道。
除了代碼貢獻外,社區也歡迎其他形式的參與,比如提 Feature Request、貢獻文檔、視頻教學、編寫博客,擔任講師,以及協助社區 Meetup 活動等,更多詳情可以看如何貢獻 Byzer 社區,期待和大家一起共建一個 Geek 且充滿想象力的社區!
- 社區:https://github.com/byzer-org
- 官網:https://byzer.org/home
- 文檔:https://docs.byzer.org
- Roadmap:https://github.com/byzer-org/.github/blob/main/roadmap/2022h1.md
同時也非常歡迎大家關注我們的微信公眾號
























