精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

源碼進(jìn)階:騰訊開源輕量級緩存 Mmkv 源碼解析

存儲
MMKV 是基于 mmap 內(nèi)存映射的 key-value 組件,底層序列化/反序列化使用 protobuf 實(shí)現(xiàn),性能高,穩(wěn)定性強(qiáng)。

[[429938]]

本文轉(zhuǎn)載自微信公眾號「Android開發(fā)編程」,作者Android開發(fā)編程。轉(zhuǎn)載本文請聯(lián)系A(chǔ)ndroid開發(fā)編程公眾號。

前言

MMKV本質(zhì)上的定位和sp有點(diǎn)相似,經(jīng)常用于持久化小數(shù)據(jù)的鍵值對;

其速度可以說是當(dāng)前所有同類型中速度最快,性能最優(yōu)的庫;

今天我們就來聊聊;

一、MMKV介紹和簡單使用

1、什么是mmkv

MMKV 是基于 mmap 內(nèi)存映射的 key-value 組件,底層序列化/反序列化使用 protobuf 實(shí)現(xiàn),性能高,穩(wěn)定性強(qiáng);

MMKV 基本原理

內(nèi)存準(zhǔn)備:通過 mmap 內(nèi)存映射文件,提供一段可供隨時寫入的內(nèi)存塊,App 只管往里面寫數(shù)據(jù),由操作系統(tǒng)負(fù)責(zé)將內(nèi)存回寫到文件,不必?fù)?dān)心 crash 導(dǎo)致數(shù)據(jù)丟失;

數(shù)據(jù)組織:數(shù)據(jù)序列化方面我們選用 protobuf 協(xié)議,pb 在性能和空間占用上都有不錯的表現(xiàn);

寫入優(yōu)化:考慮到主要使用場景是頻繁地進(jìn)行寫入更新,我們需要有增量更新的能力,考慮將增量 kv 對象序列化后,append 到內(nèi)存末尾;

空間增長:使用 append 實(shí)現(xiàn)增量更新帶來了一個新的問題,就是不斷 append 的話,文件大小會增長得不可控,我們需要在性能和空間上做個折中;

2、MMKV的使用

使用前請初始化:

  1. MMKV.initialize(this) 

mmkv寫入鍵值對;

  1. var mmkv = MMKV.defaultMMKV() 
  2. mmkv.encode("bool",true
  3. mmkv.encode("int",1) 
  4. mmkv.encode("String","test"
  5. mmkv.encode("float",1.0f) 
  6. mmkv.encode("double",1.0) 

mmkv除了能夠?qū)懭脒@些基本類型,只要SharePrefences支持的,它也一定能夠支持;

mmkv讀取鍵值對;

  1. var mmkv = MMKV.defaultMMKV() 
  2. var bo = mmkv.decodeBool("bool"
  3. Log.e(TAG,"bool:${bo}"
  4. var i = mmkv.decodeInt("int"
  5. Log.e(TAG,"int:${i}"
  6. var s = mmkv.decodeString("String"
  7. Log.e(TAG,"String:${s}"
  8. var f = mmkv.decodeFloat("float"
  9. Log.e(TAG,"float:${f}"
  10. var d = mmkv.decodeDouble("double"
  11. Log.e(TAG,"double:$tvxjj7j"

每一個key讀取的數(shù)據(jù)類型就是decodexxx對應(yīng)的類型名字;

mmkv 刪除鍵值對和查鍵值對;

  1. var mmkv = MMKV.defaultMMKV() 
  2. mmkv.removeValueForKey("String"
  3. mmkv.removeValuesForKeys(arrayOf("int","bool")) 
  4. mmkv.containsKey("String"

能夠刪除單個key對應(yīng)的value,也能刪除多個key分別對應(yīng)的value;

containsKey判斷mmkv的磁盤緩存中是否存在對應(yīng)的key;

二、MMKV 源碼解析

1、初始化

通過 MMKV.initialize 方法可以實(shí)現(xiàn) MMKV 的初始化:

  1. public static String initialize(Context context) { 
  2.     String root = context.getFilesDir().getAbsolutePath() + "/mmkv"
  3.     return initialize(root); 

它采用了內(nèi)部存儲空間下的 mmkv 文件夾作為根目錄,之后調(diào)用了 initialize 方法;

  1. public static String initialize(String rootDir) { 
  2.     MMKV.rootDir = rootDir; 
  3.     jniInitialize(MMKV.rootDir); 
  4.     return rootDir; 

調(diào)用到了 jniInitialize 這個 Native 方法進(jìn)行 Native 層的初始化:

  1. extern "C" JNIEXPORT JNICALL void 
  2. Java_com_tencent_mmkv_MMKV_jniInitialize(JNIEnv *env, jobject obj, jstring rootDir) { 
  3.     if (!rootDir) { 
  4.         return
  5.     } 
  6.     const char *kstr = env->GetStringUTFChars(rootDir, nullptr); 
  7.     if (kstr) { 
  8.         MMKV::initializeMMKV(kstr); 
  9.         env->ReleaseStringUTFChars(rootDir, kstr); 
  10.     } 

這里通過 MMKV::initializeMMKV 對 MMKV 類進(jìn)行了初始化:

  1. void MMKV::initializeMMKV(const std::string &rootDir) { 
  2.     static pthread_once_t once_control = PTHREAD_ONCE_INIT; 
  3.     pthread_once(&once_control, initialize); 
  4.     g_rootDir = rootDir; 
  5.     char *path = strdup(g_rootDir.c_str()); 
  6.     mkPath(path); 
  7.     free(path); 
  8.     MMKVInfo("root dir: %s", g_rootDir.c_str()); 

實(shí)際上就是記錄下了 rootDir 并創(chuàng)建對應(yīng)的根目錄,由于 mkPath 方法創(chuàng)建目錄時會修改字符串的內(nèi)容,因此需要復(fù)制一份字符串進(jìn)行;

2、獲取 MMKV 對象

通過 mmkvWithID 方法可以獲取 MMKV 對象,它傳入的 mmapID 就對應(yīng)了 SharedPreferences 中的 name,代表了一個文件對應(yīng)的 name,而 relativePath 則對應(yīng)了一個相對根目錄的相對路徑;

  1. @Nullable 
  2. public static MMKV mmkvWithID(String mmapID, String relativePath) { 
  3.     if (rootDir == null) { 
  4.         throw new IllegalStateException("You should Call MMKV.initialize() first."); 
  5.     } 
  6.     long handle = getMMKVWithID(mmapID, SINGLE_PROCESS_MODE, null, relativePath); 
  7.     if (handle == 0) { 
  8.         return null
  9.     } 
  10.     return new MMKV(handle); 

它調(diào)用到了 getMMKVWithId 這個 Native 方法,并獲取到了一個 handle 構(gòu)造了 Java 層的 MMKV 對象返回;

Java 層通過持有 Native 層對象的地址從而與 Native 對象通信;

  1. extern "C" JNIEXPORT JNICALL jlong Java_com_tencent_mmkv_MMKV_getMMKVWithID( 
  2.     JNIEnv *env, jobject obj, jstring mmapID, jint mode, jstring cryptKey, jstring relativePath) { 
  3.     MMKV *kv = nullptr; 
  4.       // mmapID 為 null 返回空指針 
  5.     if (!mmapID) { 
  6.         return (jlong) kv; 
  7.     } 
  8.     string str = jstring2string(env, mmapID); 
  9.     bool done = false
  10.       // 如果需要進(jìn)行加密,獲取用于加密的 key,最后調(diào)用 MMKV::mmkvWithID 
  11.     if (cryptKey) { 
  12.         string crypt = jstring2string(env, cryptKey); 
  13.         if (crypt.length() > 0) { 
  14.             if (relativePath) { 
  15.                 string path = jstring2string(env, relativePath); 
  16.                 kv = MMKV::mmkvWithID(str, DEFAULT_MMAP_SIZE, (MMKVMode) mode, &crypt, &path); 
  17.             } else { 
  18.                 kv = MMKV::mmkvWithID(str, DEFAULT_MMAP_SIZE, (MMKVMode) mode, &crypt, nullptr); 
  19.             } 
  20.             done = true
  21.         } 
  22.     } 
  23.       // 如果不需要加密,則調(diào)用 mmkvWithID 不傳入加密 key,表示不進(jìn)行加密 
  24.     if (!done) { 
  25.         if (relativePath) { 
  26.             string path = jstring2string(env, relativePath); 
  27.             kv = MMKV::mmkvWithID(str, DEFAULT_MMAP_SIZE, (MMKVMode) mode, nullptr, &path); 
  28.         } else { 
  29.             kv = MMKV::mmkvWithID(str, DEFAULT_MMAP_SIZE, (MMKVMode) mode, nullptr, nullptr); 
  30.         } 
  31.     } 
  32.     return (jlong) kv; 

這里實(shí)際上調(diào)用了 MMKV::mmkvWithID 方法,它根據(jù)是否傳入用于加密的 key 以及是否使用相對路徑調(diào)用了不同的方法;

  1. MMKV *MMKV::mmkvWithID( 
  2.     const std::string &mmapID, int size, MMKVMode mode, string *cryptKey, string *relativePath) { 
  3.     if (mmapID.empty()) { 
  4.         return nullptr; 
  5.     } 
  6.       // 加鎖 
  7.     SCOPEDLOCK(g_instanceLock); 
  8.       // 將 mmapID 與 relativePath 結(jié)合生成 mmapKey 
  9.     auto mmapKey = mmapedKVKey(mmapID, relativePath); 
  10.       // 通過 mmapKey 在 map 中查找對應(yīng)的 MMKV 對象并返回 
  11.     auto itr = g_instanceDic->find(mmapKey); 
  12.     if (itr != g_instanceDic->end()) { 
  13.         MMKV *kv = itr->second
  14.         return kv; 
  15.     } 
  16.       // 如果找不到,構(gòu)建路徑后構(gòu)建 MMKV 對象并加入 map 
  17.     if (relativePath) { 
  18.         auto filePath = mappedKVPathWithID(mmapID, mode, relativePath); 
  19.         if (!isFileExist(filePath)) { 
  20.             if (!createFile(filePath)) { 
  21.                 return nullptr; 
  22.             } 
  23.         } 
  24.         MMKVInfo("prepare to load %s (id %s) from relativePath %s", mmapID.c_str(), mmapKey.c_str(), 
  25.                  relativePath->c_str()); 
  26.     } 
  27.     auto kv = new MMKV(mmapID, size, mode, cryptKey, relativePath); 
  28.     (*g_instanceDic)[mmapKey] = kv; 
  29.     return kv; 

這里的步驟如下:

  • 通過 mmapedKVKey 方法對 mmapID 及 relativePath 進(jìn)行結(jié)合生成了對應(yīng)的 mmapKey,它會將它們兩者的結(jié)合經(jīng)過 md5 從而生成對應(yīng)的 key,主要目的是為了支持不同相對路徑下的同名 mmapID;
  • 通過 mmapKey 在 g_instanceDic 這個 map 中查找對應(yīng)的 MMKV 對象,如果找到直接返回;
  • 如果找不到對應(yīng)的 MMKV 對象,構(gòu)建一個新的 MMKV 對象,加入 map 后返回;
  • 構(gòu)造 MMKV 對象;

MMKV 的構(gòu)造函數(shù):

  1. MMKV::MMKV( 
  2.     const std::string &mmapID, int size, MMKVMode mode, string *cryptKey, string *relativePath) 
  3.     : m_mmapID(mmapedKVKey(mmapID, relativePath)) 
  4.     // ...) { 
  5.     // ... 
  6.     if (m_isAshmem) { 
  7.         m_ashmemFile = new MmapedFile(m_mmapID, static_cast<size_t>(size), MMAP_ASHMEM); 
  8.         m_fd = m_ashmemFile->getFd(); 
  9.     } else { 
  10.         m_ashmemFile = nullptr; 
  11.     } 
  12.         // 通過加密 key 構(gòu)建 AES 加密對象 AESCrypt 
  13.     if (cryptKey && cryptKey->length() > 0) { 
  14.         m_crypter = new AESCrypt((const unsigned char *) cryptKey->data(), cryptKey->length()); 
  15.     } 
  16.         // 賦值操作 
  17.     // 加鎖后調(diào)用 loadFromFile 加載數(shù)據(jù) 
  18.     { 
  19.         SCOPEDLOCK(m_sharedProcessLock); 
  20.         loadFromFile(); 
  21.     } 
  • 進(jìn)行了一些賦值操作,之后如果需要加密則根據(jù)用于加密的 cryptKey 生成對應(yīng)的 AESCrypt 對象用于 AES 加密;
  • 加鎖后通過 loadFromFile 方法從文件中讀取數(shù)據(jù),這里的鎖是一個跨進(jìn)程的文件共享鎖;

3、從文件加載數(shù)據(jù)loadFromFile

我們都知道,MMKV 是基于 mmap 實(shí)現(xiàn)的,通過內(nèi)存映射在高效率的同時保證了數(shù)據(jù)的同步寫入文件,loadFromFile 中就會真正進(jìn)行內(nèi)存映射:

  1. void MMKV::loadFromFile() { 
  2.     // ... 
  3.       // 打開對應(yīng)的文件 
  4.     m_fd = open(m_path.c_str(), O_RDWR | O_CREAT, S_IRWXU); 
  5.     if (m_fd < 0) { 
  6.         MMKVError("fail to open:%s, %s", m_path.c_str(), strerror(errno)); 
  7.     } else { 
  8.           // 獲取文件大小 
  9.         m_size = 0; 
  10.         struct stat st = {0}; 
  11.         if (fstat(m_fd, &st) != -1) { 
  12.             m_size = static_cast<size_t>(st.st_size); 
  13.         } 
  14.         // 將文件大小對齊到頁大小的整數(shù)倍,用 0 填充不足的部分 
  15.         if (m_size < DEFAULT_MMAP_SIZE || (m_size % DEFAULT_MMAP_SIZE != 0)) { 
  16.             size_t oldSize = m_size; 
  17.             m_size = ((m_size / DEFAULT_MMAP_SIZE) + 1) * DEFAULT_MMAP_SIZE; 
  18.             if (ftruncate(m_fd, m_size) != 0) { 
  19.                 MMKVError("fail to truncate [%s] to size %zu, %s", m_mmapID.c_str(), m_size, 
  20.                           strerror(errno)); 
  21.                 m_size = static_cast<size_t>(st.st_size); 
  22.             } 
  23.             zeroFillFile(m_fd, oldSize, m_size - oldSize); 
  24.         } 
  25.           // 通過 mmap 將文件映射到內(nèi)存 
  26.         m_ptr = (char *) mmap(nullptr, m_size, PROT_READ | PROT_WRITE, MAP_SHARED, m_fd, 0); 
  27.         if (m_ptr == MAP_FAILED) { 
  28.             MMKVError("fail to mmap [%s], %s", m_mmapID.c_str(), strerror(errno)); 
  29.         } else { 
  30.             memcpy(&m_actualSize, m_ptr, Fixed32Size); 
  31.             MMKVInfo("loading [%s] with %zu size in total, file size is %zu", m_mmapID.c_str(), 
  32.                      m_actualSize, m_size); 
  33.             bool loadFromFile = false, needFullWriteback = false
  34.             if (m_actualSize > 0) { 
  35.                 if (m_actualSize < m_size && m_actualSize + Fixed32Size <= m_size) { 
  36.                       // 對文件進(jìn)行 CRC 校驗(yàn),如果失敗根據(jù)策略進(jìn)行不同對處理 
  37.                     if (checkFileCRCValid()) { 
  38.                         loadFromFile = true
  39.                     } else { 
  40.                           // CRC 校驗(yàn)失敗,如果策略是錯誤時恢復(fù),則繼續(xù)讀取,并且最后需要進(jìn)行回寫 
  41.                         auto strategic = onMMKVCRCCheckFail(m_mmapID); 
  42.                         if (strategic == OnErrorRecover) { 
  43.                             loadFromFile = true
  44.                             needFullWriteback = true
  45.                         } 
  46.                     } 
  47.                 } else { 
  48.                       // 文件大小有誤,若策略是錯誤時恢復(fù),則繼續(xù)讀取,并且最后需要進(jìn)行回寫 
  49.                     auto strategic = onMMKVFileLengthError(m_mmapID); 
  50.                     if (strategic == OnErrorRecover) { 
  51.                         loadFromFile = true
  52.                         needFullWriteback = true
  53.                     } 
  54.                 } 
  55.             } 
  56.               // 從文件中讀取內(nèi)容 
  57.             if (loadFromFile) { 
  58.                 MMKVInfo("loading [%s] with crc %u sequence %u", m_mmapID.c_str(), 
  59.                          m_metaInfo.m_crcDigest, m_metaInfo.m_sequence); 
  60.                   // 讀取 MMBuffer 
  61.                 MMBuffer inputBuffer(m_ptr + Fixed32Size, m_actualSize, MMBufferNoCopy); 
  62.                 // 如果需要解密,對文件進(jìn)行解密 
  63.                   if (m_crypter) { 
  64.                     decryptBuffer(*m_crypter, inputBuffer); 
  65.                 } 
  66.                   // 通過 MiniPBCoder 將 MMBuffer 轉(zhuǎn)換為 Map 
  67.                 m_dic.clear(); 
  68.                 MiniPBCoder::decodeMap(m_dic, inputBuffer); 
  69.                   // 構(gòu)造用于輸出的 CodeOutputData 
  70.                 m_output = new CodedOutputData(m_ptr + Fixed32Size + m_actualSize, 
  71.                                                m_size - Fixed32Size - m_actualSize); 
  72.                 if (needFullWriteback) { 
  73.                     fullWriteback(); 
  74.                 } 
  75.             } else { 
  76.                 SCOPEDLOCK(m_exclusiveProcessLock); 
  77.                 if (m_actualSize > 0) { 
  78.                     writeAcutalSize(0); 
  79.                 } 
  80.                 m_output = new CodedOutputData(m_ptr + Fixed32Size, m_size - Fixed32Size); 
  81.                 recaculateCRCDigest(); 
  82.             } 
  83.             MMKVInfo("loaded [%s] with %zu values", m_mmapID.c_str(), m_dic.size()); 
  84.         } 
  85.     } 
  86.     if (!isFileValid()) { 
  87.         MMKVWarning("[%s] file not valid", m_mmapID.c_str()); 
  88.     } 
  89.     m_needLoadFromFile = false

步驟如下: 

  • 打開文件并獲取文件大小,將文件的大小對齊到頁的整數(shù)倍,不足則補(bǔ) 0(與內(nèi)存映射的原理有關(guān),內(nèi)存映射是基于頁的換入換出機(jī)制實(shí)現(xiàn)的);
  • 通過 mmap 函數(shù)將文件映射到內(nèi)存中,得到指向該區(qū)域的指針 m_ptr;
  • 對文件進(jìn)行長度校驗(yàn)及 CRC 校驗(yàn)(循環(huán)冗余校驗(yàn),可以校驗(yàn)文件完整性),在失敗的情況下會根據(jù)當(dāng)前策略進(jìn)行抉擇,如果策略是失敗時恢復(fù),則繼續(xù)讀取,并且在最后將 map 中的內(nèi)容回寫到文件;
  • 通過 m_ptr 構(gòu)造出一塊用于管理 MMKV 映射內(nèi)存的 MMBuffer 對象,如果需要解密,通過之前構(gòu)造的 AESCrypt 進(jìn)行解密;
  • 由于 MMKV 使用了 protobuf 進(jìn)行序列化,通過 MiniPBCoder::decodeMap 方法將 protobuf 轉(zhuǎn)換成對應(yīng)的 map;
  • 構(gòu)造用于輸出的 CodedOutputData 類,如果需要回寫(CRC 校驗(yàn)或文件長度校驗(yàn)失敗),則調(diào)用 fullWriteback 方法將 map 中的數(shù)據(jù)回寫到文件;

4、數(shù)據(jù)寫入 

Java 層的 MMKV 對象繼承了 SharedPreferences 及 SharedPreferences.Editor 接口并實(shí)現(xiàn)了一系列如 putInt、putLong 的方法用于對存儲的數(shù)據(jù)進(jìn)行修改;

  1. @Override 
  2. public Editor putInt(String keyint value) { 
  3.     encodeInt(nativeHandle, key, value); 
  4.     return this; 

它調(diào)用到了 encodeInt 這個 Native 方法: 

  1. extern "C" JNIEXPORT JNICALL jboolean Java_com_tencent_mmkv_MMKV_encodeInt( 
  2.     JNIEnv *env, jobject obj, jlong handle, jstring oKey, jint value) { 
  3.     MMKV *kv = reinterpret_cast<MMKV *>(handle); 
  4.     if (kv && oKey) { 
  5.         string key = jstring2string(env, oKey); 
  6.         return (jboolean) kv->setInt32(value, key); 
  7.     } 
  8.     return (jboolean) false

這里將 Java 層持有的 NativeHandle 轉(zhuǎn)為了對應(yīng)的 MMKV 對象,之后調(diào)用了其 setInt32 方法:

  1. bool MMKV::setInt32(int32_t value, const std::string &key) { 
  2.     if (key.empty()) { 
  3.         return false
  4.     } 
  5.       // 構(gòu)造值對應(yīng)的 MMBuffer,通過 CodedOutputData 將其寫入 Buffer 
  6.     size_t size = pbInt32Size(value); 
  7.     MMBuffer data(size); 
  8.     CodedOutputData output(data.getPtr(), size); 
  9.     output.writeInt32(value); 
  10.     return setDataForKey(std::move(data), key); 
  • 獲取到了寫入的 value 在 protobuf 中所占據(jù)的大小,之后為其構(gòu)造了對應(yīng)的 MMBuffer 并將數(shù)據(jù)寫入了這段 Buffer,最后調(diào)用到了 setDataForKey 方法;
  • 同時可以發(fā)現(xiàn) CodedOutputData 是與 Buffer 交互的橋梁,可以通過它實(shí)現(xiàn)向 MMBuffer 中寫入數(shù)據(jù);
  1. bool MMKV::setDataForKey(MMBuffer &&data, const std::string &key) { 
  2.     if (data.length() == 0 || key.empty()) { 
  3.         return false
  4.     } 
  5.       // 獲取寫鎖 
  6.     SCOPEDLOCK(m_lock); 
  7.     SCOPEDLOCK(m_exclusiveProcessLock); 
  8.       // 確保數(shù)據(jù)已讀入內(nèi)存 
  9.     checkLoadData(); 
  10.     // 將 data 寫入 map 中 
  11.     auto itr = m_dic.find(key); 
  12.     if (itr == m_dic.end()) { 
  13.         itr = m_dic.emplace(key, std::move(data)).first
  14.     } else { 
  15.         itr->second = std::move(data); 
  16.     } 
  17.     m_hasFullWriteback = false
  18.     return appendDataWithKey(itr->secondkey); 

數(shù)據(jù)已讀入內(nèi)存的情況下將 data 寫入了對應(yīng)的 map,之后調(diào)用了 appendDataWithKey 方法:

  1. bool MMKV::appendDataWithKey(const MMBuffer &data, const std::string &key) { 
  2.     size_t keyLength = key.length(); 
  3.       // 計算寫入到映射空間中的 size 
  4.     size_t size = keyLength + pbRawVarint32Size((int32_t) keyLength); 
  5.     size += data.length() + pbRawVarint32Size((int32_t) data.length()); 
  6.       // 要寫入,獲取寫鎖 
  7.     SCOPEDLOCK(m_exclusiveProcessLock); 
  8.       // 確定剩余映射空間足夠 
  9.     bool hasEnoughSize = ensureMemorySize(size); 
  10.     if (!hasEnoughSize || !isFileValid()) { 
  11.         return false
  12.     } 
  13.     if (m_actualSize == 0) { 
  14.         auto allData = MiniPBCoder::encodeDataWithObject(m_dic); 
  15.         if (allData.length() > 0) { 
  16.             if (m_crypter) { 
  17.                 m_crypter->reset(); 
  18.                 auto ptr = (unsigned char *) allData.getPtr(); 
  19.                 m_crypter->encrypt(ptr, ptr, allData.length()); 
  20.             } 
  21.             writeAcutalSize(allData.length()); 
  22.             m_output->writeRawData(allData); // note: don't write size of data 
  23.             recaculateCRCDigest(); 
  24.             return true
  25.         } 
  26.         return false
  27.     } else { 
  28.         writeAcutalSize(m_actualSize + size); 
  29.         m_output->writeString(key); 
  30.         m_output->writeData(data); // note: write size of data 
  31.         auto ptr = (uint8_t *) m_ptr + Fixed32Size + m_actualSize - size
  32.         if (m_crypter) { 
  33.             m_crypter->encrypt(ptr, ptr, size); 
  34.         } 
  35.         updateCRCDigest(ptr, size, KeepSequence); 
  36.         return true
  37.     } 
  • 首先計算了即將寫入到映射空間的內(nèi)容大小,之后調(diào)用了 ensureMemorySize 方法確保剩余映射空間足夠;
  • 如果 m_actualSize 為 0,則會通過 MiniPBCoder::encodeDataWithObject 將整個 map 轉(zhuǎn)換為對應(yīng)的 MMBuffer,加密后通過 CodedOutputData 寫入,最后重新計算 CRC 校驗(yàn)碼。否則會將 key 和對應(yīng) data 寫入,最后更新 CRC 校驗(yàn)碼;
  • m_actualSize 是位于文件的首部的,因此是否為 0 取決于文件對應(yīng)位置;

注意的是:由于 protobuf 不支持增量更新,為了避免全量寫入帶來的性能問題,MMKV 在文件中的寫入并不是通過修改文件對應(yīng)的位置,而是直接在后面 append 一條新的數(shù)據(jù),即使是修改了已存在的 key。而讀取時只記錄最后一條對應(yīng) key 的數(shù)據(jù),這樣顯然會在文件中存在冗余的數(shù)據(jù)。這樣設(shè)計的原因我認(rèn)為是出于性能的考量,MMKV 中存在著一套內(nèi)存重整機(jī)制用于對冗余的 key-value 數(shù)據(jù)進(jìn)行處理。它正是在確保內(nèi)存充足時實(shí)現(xiàn)的;

5、內(nèi)存重整ensureMemorySize

我們接下來看看 ensureMemorySize 是如何確保映射空間是否足夠的:

  1. bool MMKV::ensureMemorySize(size_t newSize) { 
  2.     // ... 
  3.     if (newSize >= m_output->spaceLeft()) { 
  4.         // 如果內(nèi)存剩余大小不足以寫入,嘗試進(jìn)行內(nèi)存重整,將 map 中的數(shù)據(jù)重新寫入 protobuf 文件 
  5.         static const int offset = pbFixed32Size(0); 
  6.         MMBuffer data = MiniPBCoder::encodeDataWithObject(m_dic); 
  7.         size_t lenNeeded = data.length() + offset + newSize; 
  8.         if (m_isAshmem) { 
  9.             if (lenNeeded > m_size) { 
  10.                 MMKVWarning("ashmem %s reach size limit:%zu, consider configure with larger size"
  11.                             m_mmapID.c_str(), m_size); 
  12.                 return false
  13.             } 
  14.         } else { 
  15.             size_t avgItemSize = lenNeeded / std::max<size_t>(1, m_dic.size()); 
  16.             size_t futureUsage = avgItemSize * std::max<size_t>(8, (m_dic.size() + 1) / 2); 
  17.             // 如果內(nèi)存重整后仍不足以寫入,則將大小不斷乘2直至足夠?qū)懭耄詈笸ㄟ^ mmap 重新映射文件 
  18.             if (lenNeeded >= m_size || (lenNeeded + futureUsage) >= m_size) { 
  19.                 size_t oldSize = m_size; 
  20.                 do { 
  21.                       // double 空間直至足夠 
  22.                     m_size *= 2; 
  23.                 } while (lenNeeded + futureUsage >= m_size); 
  24.                    // ... 
  25.                 if (ftruncate(m_fd, m_size) != 0) { 
  26.                     MMKVError("fail to truncate [%s] to size %zu, %s", m_mmapID.c_str(), m_size, 
  27.                               strerror(errno)); 
  28.                     m_size = oldSize; 
  29.                     return false
  30.                 } 
  31.                   // 用零填充不足部分 
  32.                 if (!zeroFillFile(m_fd, oldSize, m_size - oldSize)) { 
  33.                     MMKVError("fail to zeroFile [%s] to size %zu, %s", m_mmapID.c_str(), m_size, 
  34.                               strerror(errno)); 
  35.                     m_size = oldSize; 
  36.                     return false
  37.                 } 
  38.                                 // unmap 
  39.                 if (munmap(m_ptr, oldSize) != 0) { 
  40.                     MMKVError("fail to munmap [%s], %s", m_mmapID.c_str(), strerror(errno)); 
  41.                 } 
  42.                                 // 重新通過 mmap 映射 
  43.                 m_ptr = (char *) mmap(m_ptr, m_size, PROT_READ | PROT_WRITE, MAP_SHARED, m_fd, 0); 
  44.                 if (m_ptr == MAP_FAILED) { 
  45.                     MMKVError("fail to mmap [%s], %s", m_mmapID.c_str(), strerror(errno)); 
  46.                 } 
  47.                 // check if we fail to make more space 
  48.                 if (!isFileValid()) { 
  49.                     MMKVWarning("[%s] file not valid", m_mmapID.c_str()); 
  50.                     return false
  51.                 } 
  52.             } 
  53.         } 
  54.           // 加密數(shù)據(jù) 
  55.         if (m_crypter) { 
  56.             m_crypter->reset(); 
  57.             auto ptr = (unsigned char *) data.getPtr(); 
  58.             m_crypter->encrypt(ptr, ptr, data.length()); 
  59.         } 
  60.           // 重新構(gòu)建并寫入數(shù)據(jù) 
  61.         writeAcutalSize(data.length()); 
  62.         delete m_output; 
  63.         m_output = new CodedOutputData(m_ptr + offset, m_size - offset); 
  64.         m_output->writeRawData(data); 
  65.         recaculateCRCDigest(); 
  66.         m_hasFullWriteback = true
  67.     } 
  68.     return true

內(nèi)存重整步驟如下:

  • 當(dāng)剩余映射空間不足以寫入需要寫入的內(nèi)容,嘗試進(jìn)行內(nèi)存重整;
  • 內(nèi)存重整會將文件清空,將 map 中的數(shù)據(jù)重新寫入文件,從而去除冗余數(shù)據(jù);
  • 若內(nèi)存重整后剩余映射空間仍然不足,不斷將映射空間 double 直到足夠,并用 mmap 重新映射;

6、刪除remove

通過 Java 層 MMKV 的 remove 方法可以實(shí)現(xiàn)刪除操作:

  1. @Override 
  2. public Editor remove(String key) { 
  3.     removeValueForKey(key); 
  4.     return this; 

它調(diào)用了 removeValueForKey 這個 Native 方法:

  1. extern "C" JNIEXPORT JNICALL void Java_com_tencent_mmkv_MMKV_removeValueForKey(JNIEnv *env, 
  2.                                                                                jobject instance, 
  3.                                                                                jlong handle, 
  4.                                                                                jstring oKey) { 
  5.     MMKV *kv = reinterpret_cast<MMKV *>(handle); 
  6.     if (kv && oKey) { 
  7.         string key = jstring2string(env, oKey); 
  8.         kv->removeValueForKey(key); 
  9.     } 

這里調(diào)用了 Native 層 MMKV 的 removeValueForKey 方法:

  1. void MMKV::removeValueForKey(const std::string &key) { 
  2.     if (key.empty()) { 
  3.         return
  4.     } 
  5.     SCOPEDLOCK(m_lock); 
  6.     SCOPEDLOCK(m_exclusiveProcessLock); 
  7.     checkLoadData(); 
  8.     removeDataForKey(key); 

它在數(shù)據(jù)讀入內(nèi)存的前提下,調(diào)用了 removeDataForKey 方法:

  1. bool MMKV::removeDataForKey(const std::string &key) { 
  2.     if (key.empty()) { 
  3.         return false
  4.     } 
  5.     auto deleteCount = m_dic.erase(key); 
  6.     if (deleteCount > 0) { 
  7.         m_hasFullWriteback = false
  8.         static MMBuffer nan(0); 
  9.         return appendDataWithKey(nan, key); 
  10.     } 
  11.     return false
  • 這里實(shí)際上是構(gòu)造了一條 size 為 0 的 MMBuffer 并調(diào)用 appendDataWithKey 將其 append 到 protobuf 文件中,并將 key 對應(yīng)的內(nèi)容從 map 中刪除;
  • 讀取時發(fā)現(xiàn)它的 size 為 0,則會認(rèn)為這條數(shù)據(jù)已經(jīng)刪除;

7、讀取

我們通過 getInt、getLong 等操作可以實(shí)現(xiàn)對數(shù)據(jù)的讀取,我們以 getInt 為例:

  1. @Override 
  2. public int getInt(String keyint defValue) { 
  3.     return decodeInt(nativeHandle, key, defValue); 

它調(diào)用到了 decodeInt 這個 Native 方法:

  1. extern "C" JNIEXPORT JNICALL jint Java_com_tencent_mmkv_MMKV_decodeInt( 
  2.     JNIEnv *env, jobject obj, jlong handle, jstring oKey, jint defaultValue) { 
  3.     MMKV *kv = reinterpret_cast<MMKV *>(handle); 
  4.     if (kv && oKey) { 
  5.         string key = jstring2string(env, oKey); 
  6.         return (jint) kv->getInt32ForKey(key, defaultValue); 
  7.     } 
  8.     return defaultValue; 

它調(diào)用到了 MMKV.getInt32ForKey 方法:

  1. int32_t MMKV::getInt32ForKey(const std::string &key, int32_t defaultValue) { 
  2.     if (key.empty()) { 
  3.         return defaultValue; 
  4.     } 
  5.     SCOPEDLOCK(m_lock); 
  6.     auto &data = getDataForKey(key); 
  7.     if (data.length() > 0) { 
  8.         CodedInputData input(data.getPtr(), data.length()); 
  9.         return input.readInt32(); 
  10.     } 
  11.     return defaultValue; 

調(diào)用了 getDataForKey 方法獲取到了 key 對應(yīng)的 MMBuffer,之后通過 CodedInputData 將數(shù)據(jù)讀出并返回;

長度為 0 時會將其視為不存在,返回默認(rèn)值;

  1. const MMBuffer &MMKV::getDataForKey(const std::string &key) { 
  2.     checkLoadData(); 
  3.     auto itr = m_dic.find(key); 
  4.     if (itr != m_dic.end()) { 
  5.         return itr->second
  6.     } 
  7.     static MMBuffer nan(0); 
  8.     return nan; 

這里實(shí)際上是通過在 Map 中尋找從而實(shí)現(xiàn),找不到會返回 size 為 0 的 Buffer;

MMKV讀寫是直接讀寫到mmap文件映射的內(nèi)存上,繞開了普通讀寫io需要進(jìn)入內(nèi)核,寫到磁盤的過程;

總結(jié)

MMKV使用的注意事項(xiàng)

1.保證每一個文件存儲的數(shù)據(jù)都比較小,也就說需要把數(shù)據(jù)根據(jù)業(yè)務(wù)線存儲分散。這要就不會把虛擬內(nèi)存消耗過快;

2.適當(dāng)?shù)臅r候釋放一部分內(nèi)存數(shù)據(jù),比如在App中監(jiān)聽onTrimMemory方法,在Java內(nèi)存吃緊的情況下進(jìn)行MMKV的trim操作; 

3.不需要使用的時候,最好把MMKV給close掉,甚至調(diào)用exit方法。

 

責(zé)任編輯:武曉燕 來源: Android開發(fā)編程
相關(guān)推薦

2022-02-12 21:05:11

異步爬蟲框架

2016-09-22 15:50:38

JavascriptRedux源碼解析

2019-09-18 18:12:35

騰訊開源物聯(lián)網(wǎng)

2021-09-09 06:55:43

AndroidViewDragHel原理

2021-09-01 06:48:16

AndroidGlide緩存

2019-03-10 20:55:11

瀏覽器Midori開源

2022-06-01 09:28:43

??Umami??開源

2021-07-03 08:51:30

源碼Netty選擇器

2021-05-17 09:50:06

Kubebuilde源碼CURD

2019-05-07 14:42:03

深度學(xué)習(xí)編程人工智能

2021-09-02 07:00:01

Glide流程Android

2022-08-11 08:35:40

Hanko開源

2013-02-20 14:54:03

C#.NETNDatabase

2025-02-19 09:55:39

2009-07-17 14:38:51

輕量級Swing組件

2009-07-14 18:05:28

輕量級Swing組件

2015-09-16 09:10:27

Java源碼解析

2010-01-06 14:19:47

JSON輕量級

2022-05-20 10:32:49

事件循環(huán)器事件隊列鴻蒙

2022-05-16 07:37:58

SQL 編輯器數(shù)據(jù)庫管理工具
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號

亚洲 欧洲 日韩| 97国产suv精品一区二区62| 久久婷婷综合色| av网站导航在线观看免费| 岛国av在线一区| 日本一欧美一欧美一亚洲视频| 免费看黄色三级| 日韩高清一区| 一本色道久久综合精品竹菊| 中文字幕中文字幕99| 少妇高潮久久久| 蜜桃久久av一区| 久久久久一本一区二区青青蜜月| 永久免费成人代码| 亚洲精品黑牛一区二区三区| 色美美综合视频| 日本男女交配视频| 在线激情小视频| 91在线视频播放| 成人国产在线激情| 黄瓜视频在线免费观看| 欧美一区网站| 亚洲性无码av在线| 中文字幕制服丝袜| 日本在线一区二区| 色综合久久天天综合网| 青青青在线观看视频| 成人高清网站| 久久色成人在线| 国产精品18毛片一区二区| 欧美brazzers| 亚洲欧美卡通另类91av| 国内成人精品一区| 日本高清一二三区| 清纯唯美亚洲综合一区| 精品调教chinesegay| xxxx视频在线观看| 国产免费av国片精品草莓男男| 在线视频一区二区三区| 亚洲熟妇av一区二区三区漫画| 日本h片在线观看| 综合色天天鬼久久鬼色| 色综合久久久久久久久五月| 四虎精品成人免费网站| 成人性生交大片免费| 2014国产精品| 国产精品视频无码| 国产在线不卡一区| 国产在线高清精品| 中文字幕一区二区三区四区视频| 久久精品亚洲| 欧美在线国产精品| 国产午夜免费福利| 久久久久久亚洲精品杨幂换脸| 97精品一区二区视频在线观看| 欧产日产国产v| 综合在线一区| 久久成人这里只有精品| 波多野结衣亚洲一区二区| 大片网站久久| 日韩亚洲第一页| 三级黄色免费观看| 天天色天天射综合网| 久久九九免费视频| 一区二区成人免费视频| 欧美黄色aaaa| 久久久久免费精品国产| 日韩成人在线免费视频| 1024日韩| 欧美一区二区三区图| 欧美特黄aaaaaa| 日本色综合中文字幕| 国产欧美亚洲精品| 国产麻豆免费视频| 盗摄精品av一区二区三区| 国产一区二区精品免费| 秋霞av在线| 日本一区二区免费在线| 亚洲精品在线免费看| 巨大荫蒂视频欧美另类大| 亚洲一区二区美女| 伊人成色综合网| 巨胸喷奶水www久久久免费动漫| 欧美日精品一区视频| 午夜激情影院在线观看| 大桥未久女教师av一区二区| 国产视频在线观看一区二区| 少妇精品无码一区二区免费视频| 天天射—综合中文网| 欧美精品videossex88| 久久一区二区三区视频| 蜜臀精品一区二区三区在线观看| 亚洲iv一区二区三区| 成人爽a毛片一区二区| 久久久国产综合精品女国产盗摄| 一区二区三区偷拍| av第一福利在线导航| 色吊一区二区三区| 91av免费观看| 久久最新网址| 久久躁狠狠躁夜夜爽| 看片网址国产福利av中文字幕| 蜜臀久久99精品久久久久久9| αv一区二区三区| 伦理片一区二区三区| 亚洲男人天堂一区| 狠狠操精品视频| 欧美日韩国产一区二区在线观看| 国产午夜精品理论片a级探花| 欧美视频一区二区在线| 99伊人成综合| 亚洲资源在线看| 男人的天堂av高清在线| 亚洲自拍偷拍麻豆| 精品久久久99| 美女毛片一区二区三区四区| 欧美另类在线播放| 欧美激情一区二区三区免费观看| 成人精品视频网站| 伊人久久婷婷色综合98网| 午夜伦理福利在线| 日韩欧美亚洲另类制服综合在线| a天堂中文字幕| 99综合在线| 99久久99久久| 日韩精品黄色| 日本韩国精品一区二区在线观看| 男男一级淫片免费播放| **女人18毛片一区二区| 国产脚交av在线一区二区| 欧美一区二区公司| 亚洲欧美偷拍三级| 在线观看av网页| 国产永久精品大片wwwapp| 韩国精品久久久999| 国产99久久九九精品无码免费| 国产精品美女一区二区在线观看| 男人天堂1024| 亚洲8888| 日本视频久久久| 亚洲 国产 欧美 日韩| 亚洲一区二区欧美日韩| 337p日本欧洲亚洲大胆张筱雨| 国产精品99久久久久久动医院| 国产精品久久久久免费a∨大胸| 色婷婷在线视频| 亚洲高清视频中文字幕| 2018国产精品| 欧美日韩视频| 鬼打鬼之黄金道士1992林正英| 在线黄色网页| 日韩精品一区二区三区四区 | 国产精品欧美久久久久无广告| 爱福利视频一区二区| 香蕉久久精品日日躁夜夜躁| 136fldh精品导航福利| 视频在线不卡| 91黄色免费看| 日韩一卡二卡在线观看| 精品影视av免费| 51xx午夜影福利| 国产精品22p| 7777免费精品视频| 黄色大片在线看| 欧美日韩精品高清| 成年人一级黄色片| 成人永久免费视频| 亚洲中文字幕无码专区| 国产精品自拍区| 国产精品一区二区女厕厕| 麻豆传媒视频在线观看| 日韩欧美一级特黄在线播放| 日本中文字幕免费| 久久夜色精品国产欧美乱极品| 欧在线一二三四区| 久久激情电影| 91|九色|视频| 色是在线视频| xvideos成人免费中文版| 99精品视频免费看| 精品久久中文字幕久久av| 好吊视频在线观看| 韩国午夜理伦三级不卡影院| 国产精品videossex国产高清| 日韩理论电影中文字幕| 国产精品香蕉av| 成人在线高清免费| 一区二区三区四区视频| www.黄色片| 一本到不卡免费一区二区| 乱老熟女一区二区三区| 成人av片在线观看| 天天操天天摸天天爽| 午夜日韩电影| 日产精品久久久一区二区| 国产精品一区二区三区www| 91精品91久久久久久| 日本网站在线免费观看视频| 精品国产乱码久久久久久蜜臀 | 91精品国产综合久久精品| 日本一本高清视频| 国产精品久久久久久久久果冻传媒 | 69堂成人精品免费视频| 国产无套粉嫩白浆内谢| 欧美激情中文字幕| 中文字幕在线永久| 国模大尺度一区二区三区| 久久久久久久久久久福利| 欧美fxxxxxx另类| 日韩一区不卡| 精品三级在线观看视频| 91精品视频观看| 国模冰冰炮一区二区| 久久久久久久久久久亚洲| 婷婷在线视频| 亚洲视频在线看| 日韩中文字幕免费观看| 欧美一区二区在线观看| 国产精品男女视频| 午夜视频在线观看一区二区 | 亚洲综合色网| 日本一区美女| 四虎影视精品| 国产一级二级三级精品| 中文字幕日韩高清在线| 91久久久久久| 欧美日韩免费电影| 国产成人+综合亚洲+天堂| 成入视频在线观看| 欧美精品制服第一页| 国产成人午夜| 中文字幕综合在线| yw视频在线观看| 亚洲热线99精品视频| 无码国产精品一区二区色情男同| 日韩欧美国产小视频| 99精品在线视频观看| 91精品久久久久久久99蜜桃| 一级黄色a视频| 欧美影院午夜播放| 国产又粗又猛又黄视频| 色八戒一区二区三区| 国产精品视频123| 欧美性猛交视频| 国产美女激情视频| 色综合天天综合网国产成人综合天| 日本三级黄色大片| 午夜激情综合网| 国产成人免费观看视频| 黑人巨大精品欧美一区二区一视频| 久草视频精品在线| 亚洲成人av一区| 日韩三级视频在线| 欧美午夜视频一区二区| 精品国产午夜福利| 色94色欧美sute亚洲线路一久| 黄色片中文字幕| 欧美在线播放高清精品| 亚洲一级黄色大片| 91.成人天堂一区| 精品国产乱码一区二区三| 日韩免费视频线观看| 囯产精品一品二区三区| 亚洲韩国日本中文字幕| 头脑特工队2在线播放| 国产一区二区免费| 毛片免费不卡| 欧美精品久久久久久久| 在线观看特色大片免费视频| 国产精品成人aaaaa网站| 欧洲美女精品免费观看视频| 亚洲自拍欧美色图| 久草在线综合| 日韩精品国内| 久久久久亚洲| www.xxx麻豆| 久久福利精品| 在线观看免费av网址| 成人免费电影视频| 制服 丝袜 综合 日韩 欧美| 国产精品久久久久久久岛一牛影视 | 校花撩起jk露出白色内裤国产精品| 日本视频精品一区| 亚洲无中文字幕| 欧美三级一级片| 看电视剧不卡顿的网站| 亚洲少妇一区二区| 国产三级久久久| 久久久久99精品成人片试看| 狠狠躁夜夜躁久久躁别揉| 中文字幕资源网| 精品99一区二区| 91caoporn在线| 国内免费久久久久久久久久久| 国产黄色精品| 国产成人亚洲欧美| 色呦哟—国产精品| 国产特级淫片高清视频| 久久精品72免费观看| 99re久久精品国产| 日韩美女视频一区二区| www.com国产| 欧美一区二区三区四区五区 | 成人春色在线观看免费网站| 日本最新一区二区三区视频观看| 黄色日韩精品| 色播五月综合网| 91免费视频观看| 在线免费日韩av| 欧美午夜精品久久久久久超碰 | 97aⅴ精品视频一二三区| 国产尤物在线播放| 91久久精品一区二区三| 农村少妇久久久久久久| 久久精品亚洲热| 91在线亚洲| 欧美精品一区在线| 亚洲高清久久| 老司机av网站| 亚洲欧美一区二区久久| 特级西西444www大胆免费看| 日韩av影片在线观看| 欧美性猛片xxxxx免费中国| 国产剧情日韩欧美| 极品美女一区二区三区| 噜噜噜久久亚洲精品国产品麻豆| 丁香一区二区三区| 一区二区三区影视| 欧美日韩国产一级片| 国产在线资源| 日韩av成人在线观看| 欧美电影完整版在线观看| 久青草视频在线播放| 国产一区二区不卡| 国产男女猛烈无遮挡在线喷水| 欧美视频自拍偷拍| 成人午夜电影在线观看| 国产成人精品在线| 国产精品一在线观看| 成年人免费大片| 国产午夜精品久久| 日韩 国产 欧美| 亚洲日本aⅴ片在线观看香蕉| 爱情电影社保片一区| 久久久久久久久久久久久9999| 亚洲精品日本| 亚洲狠狠婷婷综合久久久久图片| 午夜欧美视频在线观看| 四虎永久在线精品免费网址| 久久久久亚洲精品| 琪琪久久久久日韩精品| 黄色免费观看视频网站| 久久久综合精品| 天天操天天干天天摸| 国产一区二区三区在线视频| 欧美日韩五区| 致1999电视剧免费观看策驰影院| 精品一区二区三区免费视频| 538任你躁在线精品视频网站| 欧美刺激午夜性久久久久久久| 国内在线视频| 精品国产一区二区三区麻豆小说 | 色综合天天做天天爱| 麻豆导航在线观看| 成人激情av在线| 欧美精品一线| 中文字幕免费在线播放| 色琪琪一区二区三区亚洲区| 伊人免费在线| 97在线电影| 亚洲一区免费| 成人一级黄色大片| 欧美不卡激情三级在线观看| 在线免费av资源| 亚洲7777| 国产 欧美在线| 青青视频在线免费观看| 久久九九全国免费精品观看| av一级亚洲| 成人精品视频一区二区| 亚洲视频一区在线观看| 日批视频免费播放| 国产精品高清在线观看| 欧美激情aⅴ一区二区三区| 在线天堂www在线国语对白| 91成人在线免费观看| 中国av在线播放| 欧美美乳视频网站在线观看| 精品一区二区影视| 国产成人一区二区三区影院在线| 在线亚洲午夜片av大片| 999久久精品| 一级黄色香蕉视频| 亚洲高清视频在线| 亚洲成a人v欧美综合天堂麻豆| 成人在线观看网址| 蜜臀久久久久久久| 日韩欧美a级片| 久久精品久久久久久| 在线观看欧美理论a影院|