Vue模板編譯原理

作者：shenfq 2020-09-14 08:56:30

寫過 Vue 的同學肯定體驗過， .vue 這種單文件組件有多么方便。但是我們也知道，Vue 底層是通過虛擬 DOM 來進行渲染的，那么 .vue 文件的模板到底是怎么轉換成虛擬 DOM 的呢？這一塊對我來說一直是個黑盒，之前也沒有深入研究過，今天打算一探究竟。

Vue 3 發布在即，本來想著直接看看 Vue 3 的模板編譯，但是我打開 Vue 3 源碼的時候，發現我好像連 Vue 2 是怎么編譯模板的都不知道。從小魯迅就告訴我們，不能一口吃成一個胖子，那我只能回頭看看 Vue 2 的模板編譯源碼，至于 Vue 3 就留到正式發布的時候再看。

Vue 的版本
很多人使用 Vue 的時候，都是直接通過 vue-cli 生成的模板代碼，并不知道 Vue 其實提供了兩個構建版本。

vue.js：完整版本，包含了模板編譯的能力；

vue.runtime.js：運行時版本，不提供模板編譯能力，需要通過 vue-loader 進行提前編譯。

Vue不同構建版本

完整版與運行時版區別
簡單來說，就是如果你用了 vue-loader ，就可以使用 vue.runtime.min.js，將模板編譯的過程交過 vue-loader，如果你是在瀏覽器中直接通過 script 標簽引入 Vue，需要使用 vue.min.js，運行的時候編譯模板。

編譯入口

了解了 Vue 的版本，我們看看 Vue 完整版的入口文件（src/platforms/web/entry-runtime-with-compiler.js）。

// 省略了部分代碼，只保留了關鍵部分 
import { compileToFunctions } from './compiler/index' 
 
const mount = Vue.prototype.$mount 
Vue.prototype.$mount = function (el) { 
  const options = this.$options 
   
  // 如果沒有 render 方法，則進行 template 編譯 
  if (!options.render) { 
    let template = options.template 
    if (template) { 
      // 調用 compileToFunctions，編譯 template，得到 render 方法 
      const { render, staticRenderFns } = compileToFunctions(template, { 
        shouldDecodeNewlines, 
        shouldDecodeNewlinesForHref, 
        delimiters: options.delimiters, 
        comments: options.comments 
      }, this) 
      // 這里的 render 方法就是生成生成虛擬 DOM 的方法 
      options.render = render 
    } 
  } 
  return mount.call(this, el, hydrating) 
}

再看看 ./compiler/index 文件的 compileToFunctions 方法從何而來。

import { baseOptions } from './options' 
import { createCompiler } from 'compiler/index' 
 
// 通過 createCompiler 方法生成編譯函數 
const { compile, compileToFunctions } = createCompiler(baseOptions) 
export { compile, compileToFunctions }

后續的主要邏輯都在 compiler 模塊中，這一塊有些繞，因為本文不是做源碼分析，就不貼整段源碼了。簡單看看這一段的邏輯是怎么樣的。

export function createCompiler(baseOptions) { 
  const baseCompile = (template, options) => { 
    // 解析 html，轉化為 ast 
    const ast = parse(template.trim(), options) 
    // 優化 ast，標記靜態節點 
    optimize(ast, options) 
    // 將 ast 轉化為可執行代碼 
    const code = generate(ast, options) 
    return { 
      ast, 
      render: code.render, 
      staticRenderFns: code.staticRenderFns 
    } 
  } 
  const compile = (template, options) => { 
    const tips = [] 
    const errors = [] 
    // 收集編譯過程中的錯誤信息 
    options.warn = (msg, tip) => { 
      (tip ? tips : errors).push(msg) 
    } 
    // 編譯 
    const compiled = baseCompile(template, options) 
    compiled.errors = errors 
    compiled.tips = tips 
 
    return compiled 
  } 
  const createCompileToFunctionFn = () => { 
    // 編譯緩存 
    const cache = Object.create(null) 
    return (template, options, vm) => { 
      // 已編譯模板直接走緩存 
      if (cache[template]) { 
        return cache[template] 
      } 
      const compiled = compile(template, options) 
     return (cache[key] = compiled) 
    } 
  } 
  return { 
    compile, 
    compileToFunctions: createCompileToFunctionFn(compile) 
  } 
}

主流程
可以看到主要的編譯邏輯基本都在 baseCompile 方法內，主要分為三個步驟：

模板編譯，將模板代碼轉化為 AST；
優化 AST，方便后續虛擬 DOM 更新；
生成代碼，將 AST 轉化為可執行的代碼；

const baseCompile = (template, options) => { 
  // 解析 html，轉化為 ast 
  const ast = parse(template.trim(), options) 
  // 優化 ast，標記靜態節點 
  optimize(ast, options) 
  // 將 ast 轉化為可執行代碼 
  const code = generate(ast, options) 
  return { 
    ast, 
    render: code.render, 
    staticRenderFns: code.staticRenderFns 
  } 
}

parse
AST
首先看到 parse 方法，該方法的主要作用就是解析 HTML，并轉化為 AST（抽象語法樹），接觸過 ESLint、Babel 的同學肯定對 AST 不陌生，我們可以先看看經過 parse 之后的 AST 長什么樣。

下面是一段普普通通的 Vue 模板：

new Vue({ 
  el: '#app', 
  template: ` 
    <div> 
      <h2 v-if="message">{{message}}</h2> 
      <button @click="showName">showName</button> 
    </div> 
  `, 
  data: { 
    name: 'shenfq', 
    message: 'Hello Vue!' 
  }, 
  methods: { 
    showName() { 
      alert(this.name) 
    } 
  } 
})

經過 parse 之后的 AST：

Template AST
AST 為一個樹形結構的對象，每一層表示一個節點，第一層就是 div（tag: "div"）。div 的子節點都在 children 屬性中，分別是 h2 標簽、空行、button 標簽。我們還可以注意到有一個用來標記節點類型的屬性：type，這里 div 的 type 為 1，表示是一個元素節點，type 一共有三種類型：

元素節點；
表達式；
文本；
在 h2 和 button 標簽之間的空行就是 type 為 3 的文本節點，而 h2 標簽下就是一個表達式節點。

解析HTML
parse 的整體邏輯較為復雜，我們可以先簡化一下代碼，看看 parse 的流程。

import { parseHTML } from './html-parser' 
 
export function parse(template, options) { 
  let root 
  parseHTML(template, { 
    // some options... 
    start() {}, // 解析到標簽位置開始的回調 
    end() {}, // 解析到標簽位置結束的回調 
    chars() {}, // 解析到文本時的回調 
    comment() {} // 解析到注釋時的回調 
  }) 
  return root 
}

可以看到 parse 主要通過 parseHTML 進行工作，這個 parseHTML 本身來自于開源庫：simple html parser，只不過經過了 Vue 團隊的一些修改，修復了相關 issue。

HTML parser
下面我們一起來理一理 parseHTML 的邏輯。

export function parseHTML(html, options) { 
  let index = 0 
  let last,lastTag 
  const stack = [] 
  while(html) { 
    last = html 
    let textEnd = html.indexOf('<') 
 
    // "<" 字符在當前 html 字符串開始位置 
    if (textEnd === 0) { 
      // 1、匹配到注釋: <!-- --> 
      if (/^<!\--/.test(html)) { 
        const commentEnd = html.indexOf('-->') 
        if (commentEnd >= 0) { 
          // 調用 options.comment 回調，傳入注釋內容 
          options.comment(html.substring(4, commentEnd)) 
          // 裁切掉注釋部分 
          advance(commentEnd + 3) 
          continue 
        } 
      } 
 
      // 2、匹配到條件注釋: <![if !IE]>  <![endif]> 
      if (/^<!\[/.test(html)) { 
        // ... 邏輯與匹配到注釋類似 
      } 
 
      // 3、匹配到 Doctype: <!DOCTYPE html> 
      const doctypeMatch = html.match(/^<!DOCTYPE [^>]+>/i) 
      if (doctypeMatch) { 
        // ... 邏輯與匹配到注釋類似 
      } 
 
      // 4、匹配到結束標簽: </div> 
      const endTagMatch = html.match(endTag) 
      if (endTagMatch) {} 
 
      // 5、匹配到開始標簽: <div> 
      const startTagMatch = parseStartTag() 
      if (startTagMatch) {} 
    } 
    // "<" 字符在當前 html 字符串中間位置 
    let text, rest, next 
    if (textEnd > 0) { 
      // 提取中間字符 
      rest = html.slice(textEnd) 
      // 這一部分當成文本處理 
      text = html.substring(0, textEnd) 
      advance(textEnd) 
    } 
    // "<" 字符在當前 html 字符串中不存在 
    if (textEnd < 0) { 
      text = html 
      html = '' 
    } 
     
    // 如果存在 text 文本 
    // 調用 options.chars 回調，傳入 text 文本 
    if (options.chars && text) { 
      // 字符相關回調 
      options.chars(text) 
    } 
  } 
  // 向前推進，裁切 html 
  function advance(n) { 
    index += n 
    html = html.substring(n) 
  } 
}

上述代碼為簡化后的 parseHTML，while 循環中每次截取一段 html 文本，然后通過正則判斷文本的類型進行處理，這就類似于編譯原理中常用的有限狀態機。每次拿到 "<" 字符前后的文本，"<" 字符前的就當做文本處理，"<" 字符后的通過正則判斷，可推算出有限的幾種狀態。

其他的邏輯處理都不復雜，主要是開始標簽與結束標簽，我們先看看關于開始標簽與結束標簽相關的正則。

const ncname = '[a-zA-Z_][\\w\\-\\.]*' 
const qnameCapture = `((?:${ncname}\\:)?${ncname})` 
const startTagOpen = new RegExp(`^<${qnameCapture}`)

這段正則看起來很長，但是理清之后也不是很難。這里推薦一個正則可視化工具。我們到工具上看看startTagOpen：

startTagOpen
這里比較疑惑的點就是為什么 tagName 會存在 :，這個是 XML 的命名空間，現在已經很少使用了，我們可以直接忽略，所以我們簡化一下這個正則：

const ncname = '[a-zA-Z_][\\w\\-\\.]*' 
const startTagOpen = new RegExp(`^<${ncname}`) 
const startTagClose = /^\s*(\/?)>/ 
const endTag = new RegExp(`^<\\/${ncname}[^>]*>`)

startTagOpen

endTag
除了上面關于標簽開始和結束的正則，還有一段用來提取標簽屬性的正則，真的是又臭又長。

const attribute = /^\s*([^\s"'<>\/=]+)(?:\s*(=)\s*(?:"([^"]*)"+|'([^']*)'+|([^\s"'=<>`]+)))?/

把正則放到工具上就一目了然了，以 = 為分界，前面為屬性的名字，后面為屬性的值。

attribute
理清正則后可以更加方便我們看后面的代碼。

while(html) { 
  last = html 
  let textEnd = html.indexOf('<') 
 
  // "<" 字符在當前 html 字符串開始位置 
  if (textEnd === 0) { 
    // some code ... 
 
    // 4、匹配到標簽結束位置: </div> 
    const endTagMatch = html.match(endTag) 
    if (endTagMatch) { 
      const curIndex = index 
      advance(endTagMatch[0].length) 
      parseEndTag(endTagMatch[1], curIndex, index) 
      continue 
    } 
 
    // 5、匹配到標簽開始位置: <div> 
    const startTagMatch = parseStartTag() 
    if (startTagMatch) { 
      handleStartTag(startTagMatch) 
      continue 
    } 
  } 
} 
// 向前推進，裁切 html 
function advance(n) { 
  index += n 
  html = html.substring(n) 
} 
 
// 判斷是否標簽開始位置，如果是，則提取標簽名以及相關屬性 
function parseStartTag () { 
  // 提取 <xxx 
  const start = html.match(startTagOpen) 
  if (start) { 
    const [fullStr, tag] = start 
    const match = { 
      attrs: [], 
      start: index, 
      tagName: tag, 
    } 
    advance(fullStr.length) 
    let end, attr 
    // 遞歸提取屬性，直到出現 ">" 或 "/>" 字符 
    while ( 
      !(end = html.match(startTagClose)) && 
      (attr = html.match(attribute)) 
    ) { 
      advance(attr[0].length) 
      match.attrs.push(attr) 
    } 
    if (end) { 
      // 如果是 "/>" 表示單標簽 
      match.unarySlash = end[1] 
      advance(end[0].length) 
      match.end = index 
      return match 
    } 
  } 
} 
 
// 處理開始標簽 
function handleStartTag (match) { 
  const tagName = match.tagName 
  const unary = match.unarySlash 
  const len = match.attrs.length 
  const attrs = new Array(len) 
  for (let i = 0; i < l; i++) { 
    const args = match.attrs[i] 
    // 這里的 3、4、5 分別對應三種不同復制屬性的方式 
    // 3: attr="xxx" 雙引號 
    // 4: attr='xxx' 單引號 
    // 5: attr=xxx   省略引號 
    const value = args[3] || args[4] || args[5] || '' 
    attrs[i] = { 
      name: args[1], 
      value 
    } 
  } 
 
  if (!unary) { 
    // 非單標簽，入棧 
    stack.push({ 
      tag: tagName, 
      lowerCasedTag: 
      tagName.toLowerCase(), 
      attrs: attrs 
    }) 
    lastTag = tagName 
  } 
 
  if (options.start) { 
    // 開始標簽的回調 
    options.start(tagName, attrs, unary, match.start, match.end) 
  } 
} 
 
// 處理閉合標簽 
function parseEndTag (tagName, start, end) { 
  let pos, lowerCasedTagName 
  if (start == null) start = index 
  if (end == null) end = index 
 
  if (tagName) { 
    lowerCasedTagName = tagName.toLowerCase() 
  } 
 
  // 在棧內查找相同類型的未閉合標簽 
  if (tagName) { 
    for (pos = stack.length - 1; pos >= 0; pos--) { 
      if (stack[pos].lowerCasedTag === lowerCasedTagName) { 
        break 
      } 
    } 
  } else { 
    pos = 0 
  } 
 
  if (pos >= 0) { 
    // 關閉該標簽內的未閉合標簽，更新堆棧 
    for (let i = stack.length - 1; i >= pos; i--) { 
      if (options.end) { 
        // end 回調 
        options.end(stack[i].tag, start, end) 
      } 
    } 
 
    // 堆棧中刪除已關閉標簽 
    stack.length = pos 
    lastTag = pos && stack[pos - 1].tag 
  } 
}

在解析開始標簽的時候，如果該標簽不是單標簽，會將該標簽放入到一個堆棧當中，每次閉合標簽的時候，會從棧頂向下查找同名標簽，直到找到同名標簽，這個操作會閉合同名標簽上面的所有標簽。接下來我們舉個例子：

<div> 
  <h2>test</h2> 
  <p> 
  <p> 
</div>

在解析了 div 和 h2 的開始標簽后，棧內就存在了兩個元素。h2 閉合后，就會將 h2 出棧。然后會解析兩個未閉合的 p 標簽，此時，棧內存在三個元素（div、p、p）。如果這個時候，解析了 div 的閉合標簽，除了將 div 閉合外，div 內兩個未閉合的 p 標簽也會跟隨閉合，此時棧被清空。

為了便于理解，特地錄制了一個動圖，如下：

入棧與出棧
理清了 parseHTML 的邏輯后，我們回到調用 parseHTML 的位置，調用該方法的時候，一共會傳入四個回調，分別對應標簽的開始和結束、文本、注釋。

parseHTML(template, { 
  // some options... 
 
  // 解析到標簽位置開始的回調 
  start(tag, attrs, unary) {}, 
  // 解析到標簽位置結束的回調 
  end(tag) {}, 
  // 解析到文本時的回調 
  chars(text: string) {}, 
  // 解析到注釋時的回調 
  comment(text: string) {} 
})

處理開始標簽
首先看解析到開始標簽時，會生成一個 AST 節點，然后處理標簽上的屬性，最后將 AST 節點放入樹形結構中。

function makeAttrsMap(attrs) { 
  const map = {} 
  for (let i = 0, l = attrs.length; i < l; i++) { 
    const { name, value } = attrs[i] 
    map[name] = value 
  } 
  return map 
} 
function createASTElement(tag, attrs, parent) { 
  const attrsList = attrs 
  const attrsMap = makeAttrsMap(attrsList) 
  return { 
    type: 1,       // 節點類型 
    tag,           // 節點名稱 
    attrsMap,      // 節點屬性映射 
    attrsList,     // 節點屬性數組 
    parent,        // 父節點 
    children: [],  // 子節點 
  } 
} 
 
const stack = [] 
let root // 根節點 
let currentParent // 暫存當前的父節點 
parseHTML(template, { 
  // some options... 
 
  // 解析到標簽位置開始的回調 
  start(tag, attrs, unary) { 
    // 創建 AST 節點 
    let element = createASTElement(tag, attrs, currentParent) 
 
    // 處理指令: v-for v-if v-once 
    processFor(element) 
    processIf(element) 
    processOnce(element) 
    processElement(element, options) 
 
    // 處理 AST 樹 
    // 根節點不存在，則設置該元素為根節點 
    if (!root) { 
      root = element 
      checkRootConstraints(root) 
    } 
    // 存在父節點 
    if (currentParent) { 
      // 將該元素推入父節點的子節點中 
      currentParent.children.push(element) 
      element.parent = currentParent 
    } 
    if (!unary) { 
     // 非單標簽需要入棧，且切換當前父元素的位置 
      currentParent = element 
      stack.push(element) 
    } 
  } 
})

處理結束標簽
標簽結束的邏輯就比較簡單了，只需要去除棧內最后一個未閉合標簽，進行閉合即可。

parseHTML(template, { 
  // some options... 
 
  // 解析到標簽位置結束的回調 
  end() { 
    const element = stack[stack.length - 1] 
    const lastNode = element.children[element.children.length - 1] 
    // 處理尾部空格的情況 
    if (lastNode && lastNode.type === 3 && lastNode.text === ' ') { 
      element.children.pop() 
    } 
    // 出棧，重置當前的父節點 
    stack.length -= 1 
    currentParent = stack[stack.length - 1] 
  } 
})

處理文本
處理完標簽后，還需要對標簽內的文本進行處理。文本的處理分兩種情況，一種是帶表達式的文本，還一種就是純靜態的文本。

parseHTML(template, { 
  // some options... 
 
  // 解析到文本時的回調 
  chars(text) { 
    if (!currentParent) { 
      // 文本節點外如果沒有父節點則不處理 
      return 
    } 
     
    const children = currentParent.children 
    text = text.trim() 
    if (text) { 
      // parseText 用來解析表達式 
      // delimiters 表示表達式標識符，默認為 ['{{', '}}'] 
      const res = parseText(text, delimiters)) 
      if (res) { 
        // 表達式 
        children.push({ 
          type: 2, 
          expression: res.expression, 
          tokens: res.tokens, 
          text 
        }) 
      } else { 
        // 靜態文本 
        children.push({ 
          type: 3, 
          text 
        }) 
      } 
    } 
  } 
})

下面我們看看 parseText 如何解析表達式。

// 構造匹配表達式的正則 
const buildRegex = delimiters => { 
  const open = delimiters[0] 
  const close = delimiters[1] 
  return new RegExp(open + '((?:.|\\n)+?)' + close, 'g') 
} 
 
function parseText (text, delimiters){ 
  // delimiters 默認為 {{ }} 
  const tagRE = buildRegex(delimiters || ['{{', '}}']) 
  // 未匹配到表達式，直接返回 
  if (!tagRE.test(text)) { 
    return 
  } 
  const tokens = [] 
  const rawTokens = [] 
  let lastIndex = tagRE.lastIndex = 0 
  let match, index, tokenValue 
  while ((match = tagRE.exec(text))) { 
    // 表達式開始的位置 
    index = match.index 
    // 提取表達式開始位置前面的靜態字符，放入 token 中 
    if (index > lastIndex) { 
      rawTokens.push(tokenValue = text.slice(lastIndex, index)) 
      tokens.push(JSON.stringify(tokenValue)) 
    } 
    // 提取表達式內部的內容，使用 _s() 方法包裹 
    const exp = match[1].trim() 
    tokens.push(`_s(${exp})`) 
    rawTokens.push({ '@binding': exp }) 
    lastIndex = index + match[0].length 
  } 
  // 表達式后面還有其他靜態字符，放入 token 中 
  if (lastIndex < text.length) { 
    rawTokens.push(tokenValue = text.slice(lastIndex)) 
    tokens.push(JSON.stringify(tokenValue)) 
  } 
  return { 
    expression: tokens.join('+'), 
    tokens: rawTokens 
  } 
}

首先通過一段正則來提取表達式：

提取表達式
看代碼可能有點難，我們直接看例子，這里有一個包含表達式的文本。

<div>是否登錄：{{isLogin ? '是' : '否'}}</div>

運行結果

解析文本
optimize
通過上述一些列處理，我們就得到了 Vue 模板的 AST。由于 Vue 是響應式設計，所以拿到 AST 之后還需要進行一系列優化，確保靜態的數據不會進入虛擬 DOM 的更新階段，以此來優化性能。

export function optimize (root, options) { 
  if (!root) return 
  // 標記靜態節點 
  markStatic(root) 
}

簡單來說，就是把所以靜態節點的 static 屬性設置為 true。

function isStatic (node) { 
  if (node.type === 2) { // 表達式，返回 false 
    return false 
  } 
  if (node.type === 3) { // 靜態文本，返回 true 
    return true 
  } 
  // 此處省略了部分條件 
  return !!( 
    !node.hasBindings && // 沒有動態綁定 
    !node.if && !node.for && // 沒有 v-if/v-for 
    !isBuiltInTag(node.tag) && // 不是內置組件 slot/component 
    !isDirectChildOfTemplateFor(node) && // 不在 template for 循環內 
    Object.keys(node).every(isStaticKey) // 非靜態節點 
  ) 
} 
 
function markStatic (node) { 
  node.static = isStatic(node) 
  if (node.type === 1) { 
    // 如果是元素節點，需要遍歷所有子節點 
    for (let i = 0, l = node.children.length; i < l; i++) { 
      const child = node.children[i] 
      markStatic(child) 
      if (!child.static) { 
        // 如果有一個子節點不是靜態節點，則該節點也必須是動態的 
        node.static = false 
      } 
    } 
  } 
}

generate
得到優化的 AST 之后，就需要將 AST 轉化為 render 方法。還是用之前的模板，先看看生成的代碼長什么樣：

<div> 
  <h2 v-if="message">{{message}}</h2> 
  <button @click="showName">showName</button> 
</div>

{ 
  render: "with(this){return _c('div',[(message)?_c('h2',[_v(_s(message))]):_e(),_v(" "),_c('button',{on:{"click":showName}},[_v("showName")])])}" 
}

將生成的代碼展開：

with (this) { 
    return _c( 
      'div', 
      [ 
        (message) ? _c('h2', [_v(_s(message))]) : _e(), 
        _v(' '), 
        _c('button', { on: { click: showName } }, [_v('showName')]) 
      ]) 
    ; 
}

看到這里一堆的下劃線肯定很懵逼，這里的 _c 對應的是虛擬 DOM 中的 createElement 方法。其他的下劃線方法在 core/instance/render-helpers 中都有定義，每個方法具體做了什么不做展開。

render-helpers`
具體轉化方法就是一些簡單的字符拼接，下面是簡化了邏輯的部分，不做過多講述。

export function generate(ast, options) { 
  const state = new CodegenState(options) 
  const code = ast ? genElement(ast, state) : '_c("div")' 
  return { 
    render: `with(this){return ${code}}`, 
    staticRenderFns: state.staticRenderFns 
  } 
} 
 
export function genElement (el, state) { 
  let code 
  const data = genData(el, state) 
  const children = genChildren(el, state, true) 
  code = `_c('${el.tag}'${ 
    data ? `,${data}` : '' // data 
  }${ 
    children ? `,${children}` : '' // children 
  })` 
  return code 
}

總結
理清了 Vue 模板編譯的整個過程，重點都放在了解析 HTML 生成 AST 的部分。本文只是大致講述了主要流程，其中省略了特別多的細節，比如：對 template/slot 的處理、指令的處理等等,希望大家在閱讀這篇文章后有所收獲。

責任編輯：姜華來源：更了不起的前端

Vue模板