告別緩慢下載，Cloudflare帶你體驗(yàn)極速Docker鏡像加速

作者：didiplus 2024-07-12 11:41:35

通過利用Cloudflare的CDN服務(wù)，我們可以顯著提升Docker鏡像的下載速度。這種方法不僅簡(jiǎn)單易行，而且免費(fèi)，是開發(fā)者加速Docker鏡像拉取的一個(gè)有效方案。

背景

國內(nèi)的Docker鏡像服務(wù)似乎突然進(jìn)入了寒冬，不僅Docker鏡像服務(wù)受到了影響，連NPM鏡像也可能面臨下架的風(fēng)險(xiǎn)。這對(duì)依賴這些服務(wù)的開發(fā)者們來說，無疑是一個(gè)不小的困擾。

近日，SJTUG（上海交通大學(xué)Linux用戶組）發(fā)布了一則令人震驚的公告，宣布“即時(shí)起中止對(duì)Docker Hub倉庫的鏡像服務(wù)”。公告中建議，如果開發(fā)者們?cè)谠L問官方源時(shí)遇到困難，可以嘗試使用其他仍在服務(wù)的鏡像源。

在中科大鏡像網(wǎng)站，也有這條一條消息：

在國內(nèi)Docker鏡像服務(wù)面臨寒冬、官方源訪問困難的情況下，開發(fā)者們急需穩(wěn)定且快速的解決方案。自建Docker鏡像加速器不僅能確保開發(fā)工作的連續(xù)性，還能提升鏡像下載速度，避免因鏡像源問題導(dǎo)致的項(xiàng)目延誤和開發(fā)困擾。

前提條件

一個(gè)已經(jīng)注冊(cè)的Cloudflare賬戶。
一個(gè)域名，并已經(jīng)添加到Cloudflare中進(jìn)行管理。
一臺(tái)可以訪問互聯(lián)網(wǎng)的服務(wù)器。

步驟一：準(zhǔn)備工作

登錄Cloudflare[1]平臺(tái)，點(diǎn)擊Worker和Pages，然后點(diǎn)擊創(chuàng)建，如下圖所示：

填寫自定義的 Worker名稱，點(diǎn)擊部署，如下圖所示：

步驟二：部署Docker加速器

進(jìn)入到部署成功頁面后，再點(diǎn)擊編輯代碼，如下圖所示：

將下面代碼復(fù)制粘貼到初始化代碼中，進(jìn)行替換。

// Docker鏡像倉庫主機(jī)地址
let hub_host = 'registry-1.docker.io'
// Docker認(rèn)證服務(wù)器地址
const auth_url = 'https://auth.docker.io'
// 自定義的工作服務(wù)器地址
let workers_url = 'https://你的域名'

let 屏蔽爬蟲UA = ['netcraft'];

// 根據(jù)主機(jī)名選擇對(duì)應(yīng)的上游地址
function routeByHosts(host) {
    // 定義路由表
  const routes = {
    // 生產(chǎn)環(huán)境
    "quay": "quay.io",
    "gcr": "gcr.io",
    "k8s-gcr": "k8s.gcr.io",
    "k8s": "registry.k8s.io",
    "ghcr": "ghcr.io",
    "cloudsmith": "docker.cloudsmith.io",

    // 測(cè)試環(huán)境
    "test": "registry-1.docker.io",
  };

  if (host in routes) return [ routes[host], false ];
  else return [ hub_host, true ];
}

/** @type {RequestInit} */
const PREFLIGHT_INIT = {
  // 預(yù)檢請(qǐng)求配置
  headers: new Headers({
    'access-control-allow-origin': '*', // 允許所有來源
    'access-control-allow-methods': 'GET,POST,PUT,PATCH,TRACE,DELETE,HEAD,OPTIONS', // 允許的HTTP方法
    'access-control-max-age': '1728000', // 預(yù)檢請(qǐng)求的緩存時(shí)間
  }),
}

/**
 * 構(gòu)造響應(yīng)
 * @param {any} body 響應(yīng)體
 * @param {number} status 響應(yīng)狀態(tài)碼
 * @param {Object<string, string>} headers 響應(yīng)頭
 */
function makeRes(body, status = 200, headers = {}) {
  headers['access-control-allow-origin'] = '*' // 允許所有來源
  return new Response(body, { status, headers }) // 返回新構(gòu)造的響應(yīng)
}

/**
 * 構(gòu)造新的URL對(duì)象
 * @param {string} urlStr URL字符串
 */
function newUrl(urlStr) {
  try {
    return new URL(urlStr) // 嘗試構(gòu)造新的URL對(duì)象
  } catch (err) {
    return null // 構(gòu)造失敗返回null
  }
}

function isUUID(uuid) {
  // 定義一個(gè)正則表達(dá)式來匹配 UUID 格式
  const uuidRegex = /^[0-9a-f]{8}-[0-9a-f]{4}-[4][0-9a-f]{3}-[89ab][0-9a-f]{3}-[0-9a-f]{12}$/i;

  // 使用正則表達(dá)式測(cè)試 UUID 字符串
  return uuidRegex.test(uuid);
}

async function nginx() {
  const text = `
  <!DOCTYPE html>
  <html>
  <head>
  <title>Welcome to nginx!</title>
  <style>
    body {
      width: 35em;
      margin: 0 auto;
      font-family: Tahoma, Verdana, Arial, sans-serif;
    }
  </style>
  </head>
  <body>
  <h1>Welcome to nginx!</h1>
  <p>If you see this page, the nginx web server is successfully installed and
  working. Further configuration is required.</p>

  <p>For online documentation and support please refer to
  <a >nginx.org</a>.<br/>
  Commercial support is available at
  <a >nginx.com</a>.</p>

  <p><em>Thank you for using nginx.</em></p>
  </body>
  </html>
  `
  return text ;
}

export default {
  async fetch(request, env, ctx) {
    const getReqHeader = (key) => request.headers.get(key); // 獲取請(qǐng)求頭

    let url = new URL(request.url); // 解析請(qǐng)求URL
    const userAgentHeader = request.headers.get('User-Agent');
    const userAgent = userAgentHeader ? userAgentHeader.toLowerCase() : "null";
    if (env.UA) 屏蔽爬蟲UA = 屏蔽爬蟲UA.concat(await ADD(env.UA));
    workers_url = `https://${url.hostname}`;
    const pathname = url.pathname;
    const hostname = url.searchParams.get('hubhost') || url.hostname; 
    const hostTop = hostname.split('.')[0];// 獲取主機(jī)名的第一部分
    const checkHost = routeByHosts(hostTop);
    hub_host = checkHost[0]; // 獲取上游地址
    const fakePage = checkHost[1];
    console.log(`域名頭部: ${hostTop}\n反代地址: ${hub_host}\n偽裝首頁: ${fakePage}`);
    const isUuid = isUUID(pathname.split('/')[1].split('/')[0]);

    if (屏蔽爬蟲UA.some(fxxk => userAgent.includes(fxxk)) && 屏蔽爬蟲UA.length > 0){
      //首頁改成一個(gè)nginx偽裝頁
      return new Response(await nginx(), {
        headers: {
          'Content-Type': 'text/html; charset=UTF-8',
        },
      });
    }

    const conditions = [
      isUuid,
      pathname.includes('/_'),
      pathname.includes('/r'),
      pathname.includes('/v2/user'),
      pathname.includes('/v2/orgs'),
      pathname.includes('/v2/_catalog'),
      pathname.includes('/v2/categories'),
      pathname.includes('/v2/feature-flags'),
      pathname.includes('search'),
      pathname.includes('source'),
      pathname === '/',
      pathname === '/favicon.ico',
      pathname === '/auth/profile',
    ];

    if (conditions.some(condition => condition) && (fakePage === true || hostTop == 'docker')) {
      if (env.URL302){
        return Response.redirect(env.URL302, 302);
      } else if (env.URL){
        if (env.URL.toLowerCase() == 'nginx'){
          //首頁改成一個(gè)nginx偽裝頁
          return new Response(await nginx(), {
            headers: {
              'Content-Type': 'text/html; charset=UTF-8',
            },
          });
        } else return fetch(new Request(env.URL, request));
      }

      const newUrl = new URL("https://registry.hub.docker.com" + pathname + url.search);

      // 復(fù)制原始請(qǐng)求的標(biāo)頭
      const headers = new Headers(request.headers);

      // 確保 Host 頭部被替換為 hub.docker.com
      headers.set('Host', 'registry.hub.docker.com');

      const newRequest = new Request(newUrl, {
          method: request.method,
          headers: headers,
          body: request.method !== 'GET' && request.method !== 'HEAD' ? await request.blob() : null,
          redirect: 'follow'
      });

      return fetch(newRequest);
    }

    // 修改包含 %2F 和 %3A 的請(qǐng)求
    if (!/%2F/.test(url.search) && /%3A/.test(url.toString())) {
      let modifiedUrl = url.toString().replace(/%3A(?=.*?&)/, '%3Alibrary%2F');
      url = new URL(modifiedUrl);
      console.log(`handle_url: ${url}`)
    }

    // 處理token請(qǐng)求
    if (url.pathname.includes('/token')) {
      let token_parameter = {
        headers: {
          'Host': 'auth.docker.io',
          'User-Agent': getReqHeader("User-Agent"),
          'Accept': getReqHeader("Accept"),
          'Accept-Language': getReqHeader("Accept-Language"),
          'Accept-Encoding': getReqHeader("Accept-Encoding"),
          'Connection': 'keep-alive',
          'Cache-Control': 'max-age=0'
        }
      };
      let token_url = auth_url + url.pathname + url.search
      return fetch(new Request(token_url, request), token_parameter)
    }

    // 修改 /v2/ 請(qǐng)求路徑
    if (/^\/v2\/[^/]+\/[^/]+\/[^/]+$/.test(url.pathname) && !/^\/v2\/library/.test(url.pathname)) {
      url.pathname = url.pathname.replace(/\/v2\//, '/v2/library/');
      console.log(`modified_url: ${url.pathname}`)
    }

    // 更改請(qǐng)求的主機(jī)名
    url.hostname = hub_host;

    // 構(gòu)造請(qǐng)求參數(shù)
    let parameter = {
      headers: {
        'Host': hub_host,
        'User-Agent': getReqHeader("User-Agent"),
        'Accept': getReqHeader("Accept"),
        'Accept-Language': getReqHeader("Accept-Language"),
        'Accept-Encoding': getReqHeader("Accept-Encoding"),
        'Connection': 'keep-alive',
        'Cache-Control': 'max-age=0'
      },
      cacheTtl: 3600 // 緩存時(shí)間
    };

    // 添加Authorization頭
    if (request.headers.has("Authorization")) {
      parameter.headers.Authorization = getReqHeader("Authorization");
    }

    // 發(fā)起請(qǐng)求并處理響應(yīng)
    let original_response = await fetch(new Request(url, request), parameter)
    let original_response_clone = original_response.clone();
    let original_text = original_response_clone.body;
    let response_headers = original_response.headers;
    let new_response_headers = new Headers(response_headers);
    let status = original_response.status;

    // 修改 Www-Authenticate 頭
    if (new_response_headers.get("Www-Authenticate")) {
      let auth = new_response_headers.get("Www-Authenticate");
      let re = new RegExp(auth_url, 'g');
      new_response_headers.set("Www-Authenticate", response_headers.get("Www-Authenticate").replace(re, workers_url));
    }

    // 處理重定向
    if (new_response_headers.get("Location")) {
      return httpHandler(request, new_response_headers.get("Location"))
    }

    // 返回修改后的響應(yīng)
    let response = new Response(original_text, {
      status,
      headers: new_response_headers
    })
    return response;
  }
};

/**
 * 處理HTTP請(qǐng)求
 * @param {Request} req 請(qǐng)求對(duì)象
 * @param {string} pathname 請(qǐng)求路徑
 */
function httpHandler(req, pathname) {
  const reqHdrRaw = req.headers

  // 處理預(yù)檢請(qǐng)求
  if (req.method === 'OPTIONS' &&
    reqHdrRaw.has('access-control-request-headers')
  ) {
    return new Response(null, PREFLIGHT_INIT)
  }

  let rawLen = ''

  const reqHdrNew = new Headers(reqHdrRaw)

  const refer = reqHdrNew.get('referer')

  let urlStr = pathname

  const urlObj = newUrl(urlStr)

  /** @type {RequestInit} */
  const reqInit = {
    method: req.method,
    headers: reqHdrNew,
    redirect: 'follow',
    body: req.body
  }
  return proxy(urlObj, reqInit, rawLen)
}

/**
 * 代理請(qǐng)求
 * @param {URL} urlObj URL對(duì)象
 * @param {RequestInit} reqInit 請(qǐng)求初始化對(duì)象
 * @param {string} rawLen 原始長(zhǎng)度
 */
async function proxy(urlObj, reqInit, rawLen) {
  const res = await fetch(urlObj.href, reqInit)
  const resHdrOld = res.headers
  const resHdrNew = new Headers(resHdrOld)

  // 驗(yàn)證長(zhǎng)度
  if (rawLen) {
    const newLen = resHdrOld.get('content-length') || ''
    const badLen = (rawLen !== newLen)

    if (badLen) {
      return makeRes(res.body, 400, {
        '--error': `bad len: ${newLen}, except: ${rawLen}`,
        'access-control-expose-headers': '--error',
      })
    }
  }
  const status = res.status
  resHdrNew.set('access-control-expose-headers', '*')
  resHdrNew.set('access-control-allow-origin', '*')
  resHdrNew.set('Cache-Control', 'max-age=1500')

  // 刪除不必要的頭
  resHdrNew.delete('content-security-policy')
  resHdrNew.delete('content-security-policy-report-only')
  resHdrNew.delete('clear-site-data')

  return new Response(res.body, {
    status,
    headers: resHdrNew
  })
}

async function ADD(envadd) {
  var addtext = envadd.replace(/[   |"'\r\n]+/g, ',').replace(/,+/g, ',');  // 將空格、雙引號(hào)、單引號(hào)和換行符替換為逗號(hào)
  //console.log(addtext);
  if (addtext.charAt(0) == ',') addtext = addtext.slice(1);
  if (addtext.charAt(addtext.length -1) == ',') addtext = addtext.slice(0, addtext.length - 1);
  const add = addtext.split(',');
  //console.log(add);
  return add ;
}

替換自己的域名后，點(diǎn)擊右上角的部署，然后保持并部署，提示部署成功。

接下來，部署成功后，通過點(diǎn)擊如下圖的workers.dev，打開如下圖的界面：

步驟三：綁定域名

返回到Workers 和 Pages 頁面，點(diǎn)擊設(shè)置 → 觸發(fā)器 → 添加自定義域，如下圖所示：

再次返回到** Workers 和 Pages** 頁面，點(diǎn)擊設(shè)置 → 觸發(fā)器，看到顯示 “有效”，點(diǎn)擊訪問 URL 即可。

再次利用自定義域名訪問，如下圖所示：

步驟四：配置Docker客戶端

最后，在需要加速Docker鏡像下載的客戶端機(jī)器上，配置Docker以使用你的私有Registry。編輯或創(chuàng)建/etc/docker/daemon.json文件，添加以下內(nèi)容：

{
  "registry-mirrors": ["https://docker.xxxx.top"],
  "insecure-registries": ["docker.xxxx.top"],
}

然后重啟Docker服務(wù)：

sudo systemctl restart docker

測(cè)試加速效果

現(xiàn)在，你可以通過nginx來拉取鏡像，命令如下：

docker pull nginx

如果配置正確，你會(huì)發(fā)現(xiàn)鏡像拉取速度顯著提升。

總結(jié)

通過利用Cloudflare的CDN服務(wù)，我們可以顯著提升Docker鏡像的下載速度。這種方法不僅簡(jiǎn)單易行，而且免費(fèi)，是開發(fā)者加速Docker鏡像拉取的一個(gè)有效方案。希望本文對(duì)你有所幫助。

Reference：

[1]Cloudflare: https://www.cloudflare.com/zh-cn/

責(zé)任編輯：趙寧寧來源：攻城獅成長(zhǎng)日記