編寫自己的js運行時第二篇
前言：第一版基于V8實現了一個樸素版的服務器，第二版支持了多進程架構，并且支持了SO_REUSEPORT。本文介紹一下第二版的一些實現，設計上還是比較隨意的，目前主要關注功能。
首先我們看看第二版怎么使用。
1 通過fork共享端口
- const TCPServer = TCP();
- const tcpServer = new TCPServer('127.0.0.1', 8989);
- tcpServer.socket();
- tcpServer.setReusePort(1);
- tcpServer.bind();
- tcpServer.listen();
- for (let i = 0; i < 3; i++) {
- // 等于0說明是子進程，進入處理連接的邏輯，否則是主進程，循環創建多個進程
- if (Child_Process.fork() === 0) {
- while(1) {
- tcpServer.accept();
- }
- }
- }
- // 主進程創建完子進程后自己進入阻塞狀態
- Child_Process.wait();
通過fork共享端口版本的原理是主進程首先創建一個socket并且綁定一個端口。然后通過fork的方式讓多個子進程共享監聽的端口。最后主進程進入阻塞模式。核心實現是fork，我們看看代碼。
- static Local<Object> ChildProcess(Isolate * isolate) {
- Local<ObjectTemplate> target = ObjectTemplate::New(isolate);
- Local<String> forkName = String::NewFromUtf8(isolate, "fork", NewStringType::kNormal, strlen("fork")).ToLocalChecked();
- Local<String> waitName = String::NewFromUtf8(isolate, "wait", NewStringType::kNormal, strlen("wait")).ToLocalChecked();
- target->Set(forkName, FunctionTemplate::New(isolate, Child_Process::Fork));
- target->Set(waitName, FunctionTemplate::New(isolate, Child_Process::Wait));
- Local<Object> obj;
- bool ignore = target->NewInstance(isolate->GetCurrentContext()).ToLocal(&obj);
- return obj;
- }
第二版加入了進程模塊，上面的代碼定義了進程模塊的功能。然后注入到全局變量，No.js目前的設計中，每個模塊是一個全局變量，和我們使用Object、Array一樣，不像Node.js的C++模塊是鏈成一條鏈表。
- // 模塊名稱
- Local<Value> child_process_name = String::NewFromUtf8(isolate, "Child_Process", strlen("Child_Process")).ToLocalChecked();// 注冊全局變量
- global->Set(context, child_process_name, ChildProcess(isolate));
這樣就完成了模塊的注入，在JS層就可以使用了。下面我們看看具體的實現。
- class Child_Process {
- public:
- static void Fork(const FunctionCallbackInfo<Value>& info) {
- info.GetReturnValue().Set(Number::New(info.GetIsolate(), fork()));
- }
- static void Wait(const FunctionCallbackInfo<Value>& info) {
- int status;
- wait(&status);
- }
- };
實現很簡單，只是對fork函數的封裝，重點在于對fork函數的理解， 執行fork函數后會創建一個子進程，子進程的fork返回0，主進程返回子進程id，通過這個特性，我們可以寫一個if判斷處理下一步的邏輯。
2 通過fork+execve+reuserport共享端口
第二種模式是比較復雜且比較高性能的模式，之前的文章介紹過不同服務器架構的實現和優缺點，第一種fork共享端口的模式中，會有驚群和負載不均衡的問題，有興趣可以參考之前的文章，就不多介紹。接下來看第二種模式的使用(下面代碼是execve-server.js)。
- const TCPServer = TCP();
- const tcpServer = new TCPServer('127.0.0.1', 8989);
- tcpServer.socket();
- tcpServer.setReusePort(1);
- tcpServer.bind();
- tcpServer.listen();
- const isMaster = Child_Process.getEnv("isMaster") === "";
- if (isMaster) {
- for (let i = 0; i < 3; i++) {
- Child_Process.execve("./No", "execve-server.js");
- }
- Child_Process.wait();
- } else {
- while(1) {
- tcpServer.accept();
- }
- }
我們知道多個進程是不能綁定同一個端口的，第一種模式中通過fork繞過了這個限制，第二版面對并解決了這個問題。上面代碼的邏輯看起來也很簡單，主進程創建多個子進程，并且在每個子進程里執行同一個文件execve-server.js。然后在execve-server.js中通過環境變量isMaster區分主子進程進行不同的處理，當然也可以執行新的文件。這里是為了提到isMaster這個環境變量。上面代碼中，重點是setReusePort和execve，下面我們具體看一下實現。
- static Local<Object> ChildProcess(Isolate * isolate) {
- Local<ObjectTemplate> target = ObjectTemplate::New(isolate);
- Local<String> execveName = String::NewFromUtf8(isolate, "execve", NewStringType::kNormal, strlen("execve")).ToLocalChecked();
- Local<String> getEnvName = String::NewFromUtf8(isolate, "getEnv", NewStringType::kNormal, strlen("getEnv")).ToLocalChecked();
- target->Set(execveName, FunctionTemplate::New(isolate, Child_Process::Execve));
- target->Set(getEnvName, FunctionTemplate::New(isolate, Child_Process::GetEnv));
- Local<Object> obj;
- bool ignore = target->NewInstance(isolate->GetCurrentContext()).ToLocal(&obj);
- return obj;
- }
同樣，先定義入口使得JS可以調用。另外給TCP模塊定義了一個新接口setReusePort。
- SetProtoMethod(isolate, TCPServer, "setReusePort", TCPServer::TCPServerSetUserPort);
接下來看底層的實現，首先看TCPServerSetUserPort的實現。
- static void TCPServerSetUserPort(const FunctionCallbackInfo<Value>& info) {
- int on = info[0].As<Uint32>()->Value();
- GetTCPServer(info.Holder())->Setsockopt(SOL_SOCKET, SO_REUSEPORT, &on, sizeof(on));
- }
- int Setsockopt(int level, int optionName, const void *optionValue, socklen_t option_len) {
- return setsockopt(listerFd, level, optionName, optionValue, option_len);
- }
簡單地對setsockopt的封裝，沒有太多需要講的。下面看環境變量和execve的邏輯。
- class Child_Process {
- public:
- static void GetEnv(const FunctionCallbackInfo<Value>& info) {
- String::Utf8Value key(info.GetIsolate(), info[0]);
- char * value = getenv(*key);
- // Logger::log(value);
- Local<String> str = String::NewFromUtf8(info.GetIsolate(), value, NewStringType::kNormal, strlen(value)).ToLocalChecked();
- info.GetReturnValue().Set(str);
- }
- static void Execve(const FunctionCallbackInfo<Value>& info) {
- int length = info.Length();
- char** args = new char*[length + 1];
- int i = 0;
- for (i = 0; i < length; i++) {
- String::Utf8Value arg(info.GetIsolate(), info[i]);
- args[i] = strdup(*arg);
- }
- args[i] = NULL;
- char *env[] = { "isMaster=0", NULL };
- // int fd[2];
- // socketpair(AF_UNIX, SOCK_STREAM, 0, fd);
- int pid = fork();
- if (pid == 0) {
- // close(fd[0]);
- execve(args[0], args, env);
- // execve會加載可執行文件，從新的入口開始執行，執行到這說明execve出錯了
- write(1, strerror(errno), sizeof(strerror(errno)));
- exit(-1);
- }
- // close(fd[1]);
- if (args) {
- for (int i = 0; i < length && args[i]; i++) {
- free(args[i]);
- }
- delete [] args;
- }
- }
- };
目前只實現了獲取環境變量的邏輯，主要是對getenv的封裝。execve的代碼看起來很多，主要是參數的處理，我們只需要關注下面的代碼。
- int pid = fork();
- // 子進程重新加載新的可執行文件
- if (pid == 0) {
- // close(fd[0]);
- execve(args[0], args, env);
- // execve會加載可執行文件，從新的入口開始執行，執行到這說明execve出錯了
- write(1, strerror(errno), sizeof(strerror(errno)));
- exit(-1);
- }
首先通過fork創建一個子進程，然后通過execve加載要執行的代碼(這里是./No execve-server.js)。重點是execve函數會重新加載可執行文件，然后從新的地址(可執行文件中指定)開始執行，所以我們看到execve后是不需要return的，因為下面的代碼不會執行了，除非execve執行出錯了，這里我們打印錯誤信息然后退出進程。第二種模式的好處就是我們可以隨意在多個js文件中綁定同一個端口而不會報錯，這得益于SO_REUSEPORT的特性。SO_REUSEPORT讓每個進程對應一個連接隊列，解決了驚群問題，并且內核負責連接分發的復雜均衡，不僅提高了性能，同時使得應用程序變得簡單。
3 和Node.js相比
Node.js的進程是通過fork+execve實現的，Cluster模塊基于進程模塊實現了多進程架構，主要有兩種模式：輪詢和共享，輪詢就是主進程接收連接分發給子進程處理，子進程不接收連接只負責處理業務邏輯。這種模式的好處是沒有驚群現象，但是主進程的能力會成為服務器的瓶頸，共享模式和本文的第一種一樣，多個子進程共享一個端口，但是實現不一樣，本文是主進程創建socket通過fork子進程共享，Node.js是主進程創建socket通過文件描述符的方式傳遞給子進程，不過殊途同歸，主要是讓多個子進程共享監聽socket。本文的第二種模式，目前Node.js還不支持，因為SO_REUSEPORT是比較新的特性，但是對性能提升非常大。
后記：以上就是第二版新增的功能，我們已經具備了一個可以處理請求的多進程架構服務器，但是目前還是單進程里串行處理請求的，我們還需要很多東西，文件、IPC、事件驅動模塊、HTTP解析器等等，后續會考慮把最近寫的Node.js io_uring Addon合進來。最近把頭文件和V8靜態庫都打包了，有興趣的同學可以自行編譯運行https://github.com/theanarkh/No.js。
