第一次面百度，你覺得這個(gè)難度怎么樣？

作者：王中陽 2024-06-27 07:54:46

RDB持久化是指在指定時(shí)間間隔內(nèi)將內(nèi)存中的數(shù)據(jù)集快照寫入磁盤。實(shí)際上fork子線程，先將數(shù)據(jù)集寫入臨時(shí)文件，寫入成功后，在替換之前的文件，用二進(jìn)制壓縮文件，RDB是Redis默認(rèn)的持久化方式，會(huì)在對應(yīng)目錄下生產(chǎn)一個(gè)dump.rdb文件，重啟會(huì)通過加載dump.rdb文件恢復(fù)數(shù)據(jù)。

圖片

面經(jīng)詳解

操作系統(tǒng)處理死鎖的方法

首先我們來了解一下什么是死鎖：

圖片

死鎖（Deadlock）：是指兩個(gè)或兩個(gè)以上的進(jìn)程在執(zhí)行過程中，因爭奪資源而造成的一種互相等待的現(xiàn)象，若無外力作用，它們都將無法推進(jìn)下去。稱此時(shí)系統(tǒng)處于死鎖狀態(tài)或系統(tǒng)產(chǎn)生了死鎖。

產(chǎn)生死鎖的必要條件

圖片

互斥條件
不可剝奪條件
占有并請求條件
循環(huán)等待條件

死鎖的處理策略

操作系統(tǒng)內(nèi)存管理的方法

操作系統(tǒng)的內(nèi)存管理方法主要包括以下幾種：

分區(qū)分配

固定大小分區(qū)：內(nèi)存被劃分為若干固定大小的分區(qū)，每個(gè)分區(qū)分配給一個(gè)進(jìn)程。

優(yōu)點(diǎn)：實(shí)現(xiàn)簡單，分區(qū)大小固定。

缺點(diǎn)：內(nèi)存利用率低，可能導(dǎo)致內(nèi)部碎片。

可變大小分區(qū)：根據(jù)進(jìn)程需求動(dòng)態(tài)分配內(nèi)存分區(qū)。
優(yōu)點(diǎn)：提高內(nèi)存利用率，減少內(nèi)部碎片。
缺點(diǎn)：容易產(chǎn)生外部碎片，需要定期進(jìn)行內(nèi)存緊湊。

頁式存儲管理

分頁：將內(nèi)存和進(jìn)程地址空間分成固定大小的頁（page）和頁框（page frame）。

優(yōu)點(diǎn)：消除外部碎片，提高內(nèi)存利用率。

缺點(diǎn)：可能產(chǎn)生內(nèi)部碎片，頁表的管理需要額外的內(nèi)存和處理時(shí)間。

段式存儲管理

分段：將進(jìn)程的邏輯地址空間劃分為若干段（segment），每段有一個(gè)段號和偏移量。

優(yōu)點(diǎn)：方便進(jìn)程模塊化管理，保護(hù)不同段的內(nèi)存。

缺點(diǎn)：可能產(chǎn)生外部碎片，段表管理復(fù)雜。

段頁式存儲管理

段頁結(jié)合：將分頁和分段結(jié)合使用。先將進(jìn)程分成若干段，再將每段分成若干頁。

優(yōu)點(diǎn)：結(jié)合了分頁和分段的優(yōu)點(diǎn)，減少了碎片，提高了靈活性。

缺點(diǎn)：段表和頁表管理復(fù)雜，增加了內(nèi)存開銷。

虛擬內(nèi)存

需求分頁：進(jìn)程只有在需要時(shí)才將相應(yīng)的頁調(diào)入內(nèi)存。

優(yōu)點(diǎn)：減少內(nèi)存使用，提高內(nèi)存利用率。

缺點(diǎn)：需要頁表和頁面置換算法，可能產(chǎn)生頁面抖動(dòng)（thrashing）。

頁面置換算法：在內(nèi)存不足時(shí)，決定哪些頁面需要換出內(nèi)存。
FIFO（先進(jìn)先出）：最先調(diào)入內(nèi)存的頁最先被換出。
LRU（最近最少使用）：換出最近最少使用的頁面。
OPT（最佳置換）：換出將來最長時(shí)間不被訪問的頁面。
Clock（時(shí)鐘）：一種近似LRU的算法，使用一個(gè)環(huán)形緩沖區(qū)來管理頁面。

內(nèi)存緊湊和垃圾回收

內(nèi)存緊湊：將內(nèi)存中所有的空閑塊集中到一起，消除外部碎片。

優(yōu)點(diǎn)：提高內(nèi)存利用率。

缺點(diǎn)：需要大量的移動(dòng)操作，開銷大。

垃圾回收：自動(dòng)回收不再使用的內(nèi)存塊。
優(yōu)點(diǎn)：簡化內(nèi)存管理，防止內(nèi)存泄漏。
缺點(diǎn)：增加了系統(tǒng)開銷，可能影響性能。

redis持久化

RDB持久化（全量備份）

RDB優(yōu)點(diǎn)：

方便持久化：只有一個(gè)dump.rdb文件；
容災(zāi)性好：一個(gè)文件可以保存到安全的磁盤；
性能好：fork子線程來完成寫操作，主線程繼續(xù)處理命令；
效率高：如何數(shù)據(jù)集偏大，RDB啟動(dòng)效率比AOF高

RDB缺點(diǎn)：

數(shù)據(jù)安全性低：因?yàn)镽DB是每隔一段時(shí)間進(jìn)行持久化，可能會(huì)造成數(shù)據(jù)丟失。
由于RDB是通過fork子線程協(xié)助完成數(shù)據(jù)持久化工作的，因此如果數(shù)據(jù)集較大時(shí)，可能會(huì)導(dǎo)致整個(gè)服務(wù)停止服務(wù)幾百毫秒，甚至一分鐘。

AOF持久化（增量備份）

AOF持久化是以日志的形式記錄記錄每一個(gè)增刪操作然后追加到文件中。AOF的出現(xiàn)是為了彌補(bǔ)RDB備份的不足（數(shù)據(jù)不一致性）。

與RDB持久化相比，AOF的持久化實(shí)時(shí)性更好。

AOF的備份策略：Redis的配置文件中存在三種不同的AOF持久化方式：

appendfsync always：每次有數(shù)據(jù)修改發(fā)生時(shí)都會(huì)同步。
appendfsync everysec：每秒同步一次
appendsync no：讓操作系統(tǒng)決定何時(shí)進(jìn)行同步。

AOF優(yōu)點(diǎn)：

AOF實(shí)時(shí)性哈好，數(shù)據(jù)安全性更高；
AOF通過append模式寫文件，即使中途服務(wù)器宕機(jī)，也可以通過redis-check-aof工具解決數(shù)據(jù)一致性問題。
AOF機(jī)制的rewrite模式（文件過大會(huì)對命令進(jìn)行合并重寫），可以刪除其中某些命令（比如誤操作的命令）

AOF缺點(diǎn)：

AOF文件比RDB文件大，且恢復(fù)慢；
根據(jù)同步策略的不同，AOF在運(yùn)行效率上往往會(huì)慢于RDB。

兩者結(jié)合

將 RDB 和 AOF 合體使用，這個(gè)方法是在 Redis 4.0 提出的，該方法叫混合使用 AOF 日志和內(nèi)存快照，也叫混合持久化。

混合持久化工作在 AOF 日志重寫過程。

當(dāng)開啟了混合持久化時(shí)，在 AOF 重寫日志時(shí)，fork 出來的重寫子進(jìn)程會(huì)先將與主線程共享的內(nèi)存數(shù)據(jù)以 RDB 方式寫入到 AOF 文件，然后主線程處理的操作命令會(huì)被記錄在重寫緩沖區(qū)里，重寫緩沖區(qū)里的增量命令會(huì)以 AOF 方式寫入到 AOF 文件，寫入完成后通知主進(jìn)程將新的含有 RDB 格式和 AOF 格式的 AOF 文件替換舊的的 AOF 文件。

也就是說，使用了混合持久化，AOF 文件的前半部分是 RDB 格式的全量數(shù)據(jù)，后半部分是 AOF 格式的增量數(shù)據(jù)。

這樣的好處在于，重啟 Redis 加載數(shù)據(jù)的時(shí)候，由于前半部分是 RDB 內(nèi)容，這樣加載的時(shí)候速度會(huì)很快。

加載完 RDB 的內(nèi)容后，才會(huì)加載后半部分的 AOF 內(nèi)容，這里的內(nèi)容是 Redis 后臺子進(jìn)程重寫 AOF 期間，主線程處理的操作命令，可以使得數(shù)據(jù)更少的丟失。

Memcache知道嗎

Memcache 是一種高性能的分布式內(nèi)存對象緩存系統(tǒng)，主要用于加速動(dòng)態(tài) web 應(yīng)用程序，通過減少數(shù)據(jù)庫負(fù)載來提高響應(yīng)速度。它將數(shù)據(jù)存儲在內(nèi)存中，從而能夠快速訪問和檢索數(shù)據(jù)。

Memcache 的主要特點(diǎn)和功能

緩存機(jī)制：

Memcache 通過將經(jīng)常訪問的數(shù)據(jù)存儲在內(nèi)存中，可以顯著減少對數(shù)據(jù)庫的查詢次數(shù)，從而提高應(yīng)用程序的響應(yīng)速度。

分布式架構(gòu)：

Memcache 支持分布式部署，允許多個(gè)服務(wù)器共同維護(hù)一個(gè)緩存系統(tǒng)，從而提升緩存容量和訪問速度。

簡單的數(shù)據(jù)模型：

Memcache 使用鍵值對的形式存儲數(shù)據(jù)，每個(gè)緩存項(xiàng)都有一個(gè)唯一的鍵和對應(yīng)的值。鍵是字符串，值可以是任意數(shù)據(jù)。

內(nèi)存管理：

Memcache 自動(dòng)管理內(nèi)存，包括處理過期數(shù)據(jù)和根據(jù)內(nèi)存限制逐出（evict）舊數(shù)據(jù)。

高并發(fā)性：

Memcache 設(shè)計(jì)為支持高并發(fā)訪問，適用于需要快速讀寫大量數(shù)據(jù)的場景。

支持多種編程語言：

Memcache 提供了多種客戶端庫，支持包括 PHP、Python、Java、Ruby、C# 等多種編程語言，方便開發(fā)者集成使用。

使用場景

Web 緩存：

用于緩存數(shù)據(jù)庫查詢結(jié)果、API 響應(yīng)、計(jì)算結(jié)果等，從而減少服務(wù)器負(fù)載和響應(yīng)時(shí)間。

會(huì)話存儲：

Memcache 可以用來存儲會(huì)話數(shù)據(jù)，提高會(huì)話訪問速度，特別適用于分布式環(huán)境。

數(shù)據(jù)處理：

在需要頻繁讀取的數(shù)據(jù)處理場景下，使用 Memcache 可以顯著提高處理效率。

工作原理

存儲數(shù)據(jù)：

數(shù)據(jù)以鍵值對的形式存儲在 Memcache 中，鍵是唯一的標(biāo)識符，值是存儲的數(shù)據(jù)。

數(shù)據(jù)訪問：

客戶端通過鍵來訪問對應(yīng)的值，如果鍵存在，則直接返回存儲的值；如果鍵不存在，則需要從數(shù)據(jù)庫或其他存儲介質(zhì)中獲取數(shù)據(jù)并緩存到 Memcache 中。

數(shù)據(jù)失效：

每個(gè)緩存項(xiàng)可以設(shè)置失效時(shí)間，超過失效時(shí)間后，緩存項(xiàng)將被刪除。此外，當(dāng) Memcache 達(dá)到內(nèi)存限制時(shí)，舊的緩存項(xiàng)可能會(huì)被自動(dòng)移除，以騰出空間存儲新的緩存項(xiàng)。

使用shell統(tǒng)計(jì)文件中top3的ip地址

要使用 Shell 腳本統(tǒng)計(jì)文件中出現(xiàn)次數(shù)最多的前三個(gè) IP 地址，可以使用以下步驟和命令：

讀取文件內(nèi)容：使用 cat 命令讀取文件內(nèi)容。
提取 IP 地址：使用 awk 提取 IP 地址。
統(tǒng)計(jì)出現(xiàn)次數(shù)：使用 sort 和 uniq 統(tǒng)計(jì)每個(gè) IP 地址出現(xiàn)的次數(shù)。
排序：按照出現(xiàn)次數(shù)排序。
取前 3 名：使用 head 取前 3 名。

磁盤滿了寫不進(jìn)去，排查命令；如何查找大文件

當(dāng)磁盤滿了，寫不進(jìn)數(shù)據(jù)時(shí)，可以通過以下步驟和命令來排查問題：

1. 檢查磁盤使用情況

使用 df 命令查看文件系統(tǒng)的磁盤使用情況。

df -h

-h 選項(xiàng)表示以人類可讀的格式顯示結(jié)果。

2. 查找大文件

使用 du 命令查找文件和目錄的磁盤使用情況，并找出占用大量空間的文件。

du -ah / | sort -rh | head -n 20

-a 顯示所有文件和目錄的磁盤使用情況。
-h 以人類可讀的格式顯示結(jié)果。
sort -rh 根據(jù)文件大小進(jìn)行排序，并按降序排列。
head -n 20 顯示前 20 個(gè)占用空間最大的文件或目錄。

3. 檢查特定目錄的磁盤使用情況

有時(shí)系統(tǒng)目錄可能會(huì)占用大量空間，如 /var、/home 等。可以針對這些目錄進(jìn)行檢查：

du -sh /var/*

-s 顯示每個(gè)目錄的總大小。
-h 以人類可讀的格式顯示結(jié)果。

4. 查找大文件

使用 find 命令查找特定大小以上的文件：

find / -type f -size +100M -exec ls -lh {} \; | awk '{ print $9 ": " $5 }'

find / -type f -size +100M 查找大于 100MB 的文件。
-exec ls -lh {} \; 列出這些文件的詳細(xì)信息。
awk '{ print $9 ": " $5 }' 顯示文件名和大小。

說一下ES和Redis的區(qū)別

Elasticsearch (ES) 和 Redis 是兩種非常不同的技術(shù)，各自有不同的用途和特點(diǎn):

1. 定位和用途

Elasticsearch (ES)：

用途：Elasticsearch 是一個(gè)分布式搜索和分析引擎，主要用于處理和搜索大量的文本數(shù)據(jù)。
應(yīng)用場景：全文搜索、日志和事件數(shù)據(jù)分析、實(shí)時(shí)數(shù)據(jù)監(jiān)控、復(fù)雜查詢和分析。
數(shù)據(jù)存儲：以 JSON 文檔的形式存儲數(shù)據(jù)，支持復(fù)雜的查詢和過濾操作。

Redis：

用途：Redis 是一個(gè)高性能的鍵值存儲數(shù)據(jù)庫，常用于緩存、會(huì)話管理和實(shí)時(shí)數(shù)據(jù)處理。
應(yīng)用場景：緩存、消息隊(duì)列、會(huì)話存儲、排行榜、實(shí)時(shí)統(tǒng)計(jì)、分布式鎖。
數(shù)據(jù)存儲：以鍵值對的形式存儲數(shù)據(jù)，支持多種數(shù)據(jù)結(jié)構(gòu)，如字符串、哈希、列表、集合、有序集合等。

2. 數(shù)據(jù)模型

Elasticsearch (ES)：

數(shù)據(jù)模型：文檔存儲。數(shù)據(jù)以 JSON 文檔形式存儲，每個(gè)文檔屬于一個(gè)索引，類似于關(guān)系數(shù)據(jù)庫中的表。
查詢語言：Elasticsearch 使用其特有的查詢 DSL（Domain Specific Language）來進(jìn)行復(fù)雜查詢和分析。

Redis：

數(shù)據(jù)模型：鍵值存儲。數(shù)據(jù)以鍵值對形式存儲，支持多種數(shù)據(jù)結(jié)構(gòu)。
查詢語言：Redis 使用簡單的命令行語法來進(jìn)行數(shù)據(jù)操作，支持基本的 CRUD 操作和高級數(shù)據(jù)結(jié)構(gòu)操作。

3. 持久化

Elasticsearch (ES)：

持久化：默認(rèn)情況下，數(shù)據(jù)持久化到磁盤，并支持分布式存儲和索引。Elasticsearch 的數(shù)據(jù)持久化機(jī)制確保了高可用性和數(shù)據(jù)的可靠性。

Redis：

持久化：支持多種持久化機(jī)制，如 RDB（快照）和 AOF（追加文件）。可以配置為無持久化模式，主要用于緩存和臨時(shí)數(shù)據(jù)存儲。

4. 性能

Elasticsearch (ES)：

性能：在處理和搜索大量文本數(shù)據(jù)時(shí)性能非常優(yōu)越，特別適合需要復(fù)雜查詢和全文搜索的場景。
延遲：相對于 Redis 來說，Elasticsearch 的查詢可能有較高的延遲，特別是在處理復(fù)雜查詢和分析時(shí)。

Redis：

性能：作為內(nèi)存數(shù)據(jù)庫，Redis 提供非常高的讀寫性能和低延遲，非常適合需要快速響應(yīng)的場景。
延遲：通常在亞毫秒級別，非常適合高頻率的讀寫操作。

5. 擴(kuò)展性

Elasticsearch (ES)：

擴(kuò)展性：Elasticsearch 通過分片（sharding）和副本（replication）機(jī)制實(shí)現(xiàn)橫向擴(kuò)展，能夠處理大規(guī)模的數(shù)據(jù)存儲和搜索需求。
集群：支持分布式集群，能夠動(dòng)態(tài)添加和移除節(jié)點(diǎn)。

Redis：

擴(kuò)展性：Redis 可以通過 Redis Cluster 實(shí)現(xiàn)水平擴(kuò)展，支持分片，但在擴(kuò)展和管理上相對于 Elasticsearch 更復(fù)雜。
集群：支持主從復(fù)制和哨兵模式來提高可用性，但原生集群模式管理相對復(fù)雜。

6. 使用場景

Elasticsearch (ES)：

場景：日志分析（如 ELK 堆棧中的 "E"）、全文搜索、實(shí)時(shí)數(shù)據(jù)分析、業(yè)務(wù)監(jiān)控。
優(yōu)勢：擅長處理海量文本數(shù)據(jù)和復(fù)雜查詢需求。

Redis：

場景：緩存、會(huì)話管理、消息隊(duì)列、實(shí)時(shí)計(jì)數(shù)、排行榜、臨時(shí)數(shù)據(jù)存儲。
優(yōu)勢：高性能、低延遲的鍵值存儲和多種數(shù)據(jù)結(jié)構(gòu)支持。

總結(jié)

Elasticsearch：適用于需要處理和分析大量文本數(shù)據(jù)的場景，提供強(qiáng)大的全文搜索和分析能力。
Redis：適用于需要高性能和低延遲的數(shù)據(jù)訪問場景，提供豐富的數(shù)據(jù)結(jié)構(gòu)和簡單的操作命令。

編程題

兩個(gè)goroutine交替打印1-10 
//G1 1 
//G2 2 
//G1 3 
//G2 4 
//… 
//G1 9 
//G2 10

先別看示例代碼，自己寫一下試試

示例代碼:

package main

import (
    "fmt"
    "sync"
)

func goroutine1(num chan int, wg *sync.WaitGroup) {
    defer wg.Done()
    for i := 1; i <= 10; i += 2 {
        fmt.Println("G1", i)
        num <- i
        <-num
    }
}

func goroutine2(num chan int, wg *sync.WaitGroup) {
    defer wg.Done()
    for i := 2; i <= 10; i += 2 {
        <-num
        fmt.Println("G2", i)
        num <- i
    }
}

func main() {
    num := make(chan int)
    var wg sync.WaitGroup
    wg.Add(2)

    go goroutine1(num, &wg)
    go goroutine2(num, &wg)

    wg.Wait()
}

責(zé)任編輯：武曉燕來源：王中陽

百度持久化 Redis