什么? C 語言動態庫免費大放送了?
看到有同學說 Lua 庫少, 需要自己造輪子. 其實不是這樣的, 今天給大家看一個魔法, 這個魔法可以讓你非常方便的在 luajit 里面使用高性能的 C/CPP 庫, 從而避免自己造輪子的痛苦.
這個魔法是 FFI ( Foreign function interface ), 我并不打算仔細講 FFI 原理, 所以簡單來說, FFI 實現了跨語言的二進制接口. 它的優點是高效方便. 直接調用 ABI, 缺點也很明顯, 出了問題直接會掛掉, 因此數據跨臨界區前仔細檢查就可以了.
我們今天直接找個 C 語言庫, 然后利用 FFI 在 luajit 里面調用這個函數庫作為個大家的演示.
什么? 這里竟然躺著一個高性能 base64 庫?
我們以這個 repo 為例: https:// github.com/aklomp/base6 4 . 這是一個 C 編寫的 Base64 編碼/解碼庫, 而且支持SIMD.
可以簡單運行下這個庫的 benchmark:
- karminski@router02:/data/works/base64$ make clean && SSSE3_CFLAGS=-mssse3 AVX2_CFLAGS=-mavx2 make && make -C test
- ...
- Testing with buffer size 100 KB, fastest of 10 * 100
- AVX2 encode 12718.47 MB/sec
- AVX2 decode 14542.81 MB/sec
- plain encode 3657.40 MB/sec
- plain decode 3433.23 MB/sec
- SSSE3 encode 7269.55 MB/sec
- SSSE3 decode 8173.10 MB/sec
- ...
我的 CPU 是 Intel(R) Xeon(R) CPU E3-1246 v3 @ 3.50GHz, 可以看到CPU如果支持 AVX2 的話, 可以達到 12GB/s 以上, 這個性能非常強悍, 甚至連普通的SSD都跟不上了.
我們需要的第一步是把這個 repo 編譯為動態庫. 但是這個 repo 并沒有提供動態庫的編譯選項, 所以我們魔改下這個項目的 Makefile.
- CFLAGS += -std=c99 -O3 -Wall -Wextra -pedantic
- # Set OBJCOPY if not defined by environment:
- OBJCOPY ?= objcopy
- OBJS = \
- lib/arch/avx2/codec.o \
- lib/arch/generic/codec.o \
- lib/arch/neon32/codec.o \
- lib/arch/neon64/codec.o \
- lib/arch/ssse3/codec.o \
- lib/arch/sse41/codec.o \
- lib/arch/sse42/codec.o \
- lib/arch/avx/codec.o \
- lib/lib.o \
- lib/codec_choose.o \
- lib/tables/tables.o
- SOOBJS = \
- lib/arch/avx2/codec.so \
- lib/arch/generic/codec.so \
- lib/arch/neon32/codec.so \
- lib/arch/neon64/codec.so \
- lib/arch/ssse3/codec.so \
- lib/arch/sse41/codec.so \
- lib/arch/sse42/codec.so \
- lib/arch/avx/codec.so \
- lib/lib.so \
- lib/codec_choose.so \
- lib/tables/tables.so
- HAVE_AVX2 = 0
- HAVE_NEON32 = 0
- HAVE_NEON64 = 0
- HAVE_SSSE3 = 0
- HAVE_SSE41 = 0
- HAVE_SSE42 = 0
- HAVE_AVX = 0
- # The user should supply compiler flags for the codecs they want to build.
- # Check which codecs we're going to include:
- ifdef AVX2_CFLAGS
- HAVE_AVX2 = 1
- endif
- ifdef NEON32_CFLAGS
- HAVE_NEON32 = 1
- endif
- ifdef NEON64_CFLAGS
- HAVE_NEON64 = 1
- endif
- ifdef SSSE3_CFLAGS
- HAVE_SSSE3 = 1
- endif
- ifdef SSE41_CFLAGS
- HAVE_SSE41 = 1
- endif
- ifdef SSE42_CFLAGS
- HAVE_SSE42 = 1
- endif
- ifdef AVX_CFLAGS
- HAVE_AVX = 1
- endif
- ifdef OPENMP
- CFLAGS += -fopenmp
- endif
- .PHONY: all analyze clean
- all: bin/base64 lib/libbase64.o lib/libbase64.so
- bin/base64: bin/base64.o lib/libbase64.o lib/libbase64.so
- $(CC) $(CFLAGS) -o $@ $^
- lib/libbase64.o: $(OBJS)
- $(LD) -r -o $@ $^
- $(OBJCOPY) --keep-global-symbols=lib/exports.txt $@
- lib/libbase64.so: $(SOOBJS)
- $(LD) -shared -fPIC -o $@ $^
- $(OBJCOPY) --keep-global-symbols=lib/exports.txt $@
- lib/config.h:
- @echo "#define HAVE_AVX2 $(HAVE_AVX2)" > $@
- @echo "#define HAVE_NEON32 $(HAVE_NEON32)" >> $@
- @echo "#define HAVE_NEON64 $(HAVE_NEON64)" >> $@
- @echo "#define HAVE_SSSE3 $(HAVE_SSSE3)" >> $@
- @echo "#define HAVE_SSE41 $(HAVE_SSE41)" >> $@
- @echo "#define HAVE_SSE42 $(HAVE_SSE42)" >> $@
- @echo "#define HAVE_AVX $(HAVE_AVX)" >> $@
- $(OBJS): lib/config.h
- $(SOOBJS): lib/config.h
- # o
- lib/arch/avx2/codec.o: CFLAGS += $(AVX2_CFLAGS)
- lib/arch/neon32/codec.o: CFLAGS += $(NEON32_CFLAGS)
- lib/arch/neon64/codec.o: CFLAGS += $(NEON64_CFLAGS)
- lib/arch/ssse3/codec.o: CFLAGS += $(SSSE3_CFLAGS)
- lib/arch/sse41/codec.o: CFLAGS += $(SSE41_CFLAGS)
- lib/arch/sse42/codec.o: CFLAGS += $(SSE42_CFLAGS)
- lib/arch/avx/codec.o: CFLAGS += $(AVX_CFLAGS)
- # so
- lib/arch/avx2/codec.so: CFLAGS += $(AVX2_CFLAGS)
- lib/arch/neon32/codec.so: CFLAGS += $(NEON32_CFLAGS)
- lib/arch/neon64/codec.so: CFLAGS += $(NEON64_CFLAGS)
- lib/arch/ssse3/codec.so: CFLAGS += $(SSSE3_CFLAGS)
- lib/arch/sse41/codec.so: CFLAGS += $(SSE41_CFLAGS)
- lib/arch/sse42/codec.so: CFLAGS += $(SSE42_CFLAGS)
- lib/arch/avx/codec.so: CFLAGS += $(AVX_CFLAGS)
- %.o: %.c
- $(CC) $(CFLAGS) -o $@ -c $<
- %.so: %.c
- $(CC) $(CFLAGS) -shared -fPIC -o $@ -c $<
- analyze: clean
- scan-build --use-analyzer=`which clang` --status-bugs make
- clean:
- rm -f bin/base64 bin/base64.o lib/libbase64.o lib/libbase64.so lib/config.h $(OBJS)
看不懂沒關系, Makefile 是如此的復雜, 我也看不懂, 僅僅是憑著感覺修改的, 然后他就恰好能運行了... 注意 Makefile 的縮進一定要用 "\t", 否則不符合語法會報錯.
然后我們進行編譯:
- AVX2_CFLAGS=-mavx2 SSSE3_CFLAGS=-mssse3 SSE41_CFLAGS=-msse4.1 SSE42_CFLAGS=-msse4.2 AVX_CFLAGS=-mavx make lib/libbase64.so
這樣我們就得到了libbase64.so 動態庫 (在 lib 里面). 這里還順便開啟了各種 SIMD 選項. 如果不需要的話可以關閉.
魔改開始
當然這只是魔法, 不是煉金術, 所以是需要付出努力的, 我們要手動實現動態庫的橋接, 首先我們需要查看我們要調用的函數需要什么參數. 這兩個定義很簡單, 我們需要傳入:
- const char *src
- size_t srclen
- char *out
- size_t *outlen
- int flags
- void base64_encode(const char *src, size_t srclen, char *out, size_t *outlen, int flags);
- int base64_decode(const char *src, size_t srclen, char *out, size_t *outlen, int flags);
然后我們就可以開始編寫 ffi 橋接程序了. 首先把需要的庫全都包含進來, 注意, 多用 local 沒壞處, 使用 local 可以有效從局部查詢, 避免低效的全局查詢. 甚至其他包中的函數都可以 local 一下來提升性能.
動態庫的話用專用的 ffi.load 來引用.
然后定義一個 _M 用來包裹我們的庫. 這里跟 JavaScript 很像, JavaScript 在瀏覽器里有 window, Lua 有 _G. 我們要盡可能避免封裝好的庫直接扔給全局, 因此封裝起來是個好辦法.
- -- init
- local ffi = require "ffi"
- local floor = math.floor
- local ffi_new = ffi.new
- local ffi_str = ffi.string
- local ffi_typeof = ffi.typeof
- local C = ffi.C
- local libbase64 = ffi.load("./libbase64.so") -- change this path when needed.
- local _M = { _VERSION = '0.0.1' }
然后是用 ffi.cdef 聲明 ABI 接口, 這里更簡單, 直接把源代碼的頭文件中的函數聲明拷過來就完事了:
- -- cdef
- ffi.cdef[[
- void base64_encode(const uint8_t *src, size_t srclen, uint8_t *out, size_t *outlen, size_t flags);
- int base64_decode(const uint8_t *src, size_t srclen, uint8_t *out, size_t *outlen, size_t flags);
- ]]
接下來是最重要的類型轉換:
- -- define types
- local uint8t = ffi_typeof("uint8_t[?]") -- uint8_t *
- local psizet = ffi_typeof("size_t[1]") -- size_t *
- -- package function
- function _M.base64_encode(src, flags)
- local dlen = floor((#src * 8 + 4) / 6)
- local out = ffi_new(uint8t, dlen)
- local outlen = ffi_new(psizet, 1)
- libbase64.base64_encode(src, #src, out, outlen, flags)
- return ffi_str(out, outlen[0])
- end
- function _M.base64_decode(src, flags)
- local dlen = floor((#src + 1) * 6 / 8)
- local out = ffi_new(uint8t, dlen)
- local outlen = ffi_new(psizet, 1)
- libbase64.base64_decode(src, #src, out, outlen, flags)
- return ffi_str(out, outlen[0])
- end
我們用 ffi_typeof 來定義需要映射的數據類型, 然后用 ffi_new 來將其實例化, 分配內存空間. 具體來講:
我們定義了2種數據類型, 其中, local uint8t = ffi_typeof("uint8_t[?]") 類型用來傳輸字符串, 后面的問號是給 local out = ffi_new(uint8t, dlen) 中的 ffi_new 函數準備的, 它的第二個參數可以指定實例化該數據類型時的長度. 這樣我們就得到了一個空的字符串數組, 用來裝 C 函數返回的結果. 這里的 dlen 計算出了源字符串 base64 encode 之后的長度, 分配該長度即可.
同樣, local psizet = ffi_typeof("size_t[1]") 指定了一個 size_t * 類型. C 語言里面數組就是指針, 即 size_t[0] 與 site_t* 是等價的. 因此我們分只有一個元素的 size_t 數組就得到了指向 size_t 類型的指針. 然后在 local outlen = ffi_new(psizet, 1) 的時候后面的參數寫的也是1, 不過這里寫什么已經無所謂了, 它只是不支持傳進去空, 所以我們相當于傳了個 placeholder.
在使用這個值的時候, 我們也是按照數組的模式去使用的: return ffi_str(out, outlen[0]) .
需要注意的是, 一定要將 require "ffi" 以及 ffi.load 放在代碼最底層, 否則會出現 table overflow 的情況.
最后, 這個文件是這樣子的:
- --[[
- ffi-base64.lua
- @version 20201228:1
- @author karminski <code.karminski@outlook.com>
- ]]--
- -- init
- local ffi = require "ffi"
- local floor = math.floor
- local ffi_new = ffi.new
- local ffi_str = ffi.string
- local ffi_typeof = ffi.typeof
- local C = ffi.C
- local libbase64 = ffi.load("./libbase64.so") -- change this path when needed.
- local _M = { _VERSION = '0.0.1' }
- -- cdef
- ffi.cdef[[
- void base64_encode(const uint8_t *src, size_t srclen, uint8_t *out, size_t *outlen, size_t flags);
- int base64_decode(const uint8_t *src, size_t srclen, uint8_t *out, size_t *outlen, size_t flags);
- ]]
- -- define types
- local uint8t = ffi_typeof("uint8_t[?]") -- uint8_t *
- local psizet = ffi_typeof("size_t[1]") -- size_t *
- -- package function
- function _M.base64_encode(src, flags)
- local dlen = floor((#src * 8 + 4) / 6)
- local out = ffi_new(uint8t, dlen)
- local outlen = ffi_new(psizet, 1)
- libbase64.base64_encode(src, #src, out, outlen, flags)
- return ffi_str(out, outlen[0])
- end
- function _M.base64_decode(src, flags)
- local dlen = floor((#src + 1) * 6 / 8)
- local out = ffi_new(uint8t, dlen)
- local outlen = ffi_new(psizet, 1)
- libbase64.base64_decode(src, #src, out, outlen, flags)
- return ffi_str(out, outlen[0])
- end
- return _M
好了, 大功告成, 我們寫個 demo 調用一下試試:
- -- main.lua
- local ffi_base64 = require "ffi-base64"
- local target = "https://example.com"
- local r = ffi_base64.base64_encode(target, 0)
- print("base64 encode result: \n"..r)
- local r = ffi_base64.base64_decode(r, 0)
- print("base64 decode result: \n"..r)
- root@router02:/data/works/libbase64-ffi# luajit -v
- LuaJIT 2.1.0-beta3 -- Copyright (C) 2005-2020 Mike Pall. https://luajit.org/
- root@router02:/data/works/libbase64-ffi# luajit ./main.lua
- base64 encode result:
- aHR0cHM6Ly9leGFtcGxlLmNvbQ==
- base64 decode result:
- https://example.com
搞定! 是不是很簡單? 類似的 FFI 庫還有很多, 各個語言也有不同程度的支持. 大家都可以嘗試一下.
最后, 當你遇到類似的問題的時候, 就可以回憶起來, 還有 FFI 這樣一件趁手的兵(魔)器(法)在你的武器庫里面.
