真快！幾分鐘就把視頻語音識別為文本了，不到10行代碼
大家好，我是風箏
將音視頻文件中的音頻轉為文字內容，這個需求放到兩年前還不大好實現，但是放到今天，幾分鐘就解決了。
聽說有的公司為了抓取訓練數據，已經把抖音、快手這些短視頻平臺上的視頻扒了個遍，然后將其中的音頻提取成文本，用作大數據模型的訓練語料。
如果你有將視頻或音頻文件轉文字的需要，不妨試一試今天提供的這個開源方案。比如搜索影視臺詞出現的時間點。
話不多說，進入正題。
Whisper
這個方案就是 OpenAI 開源的 Whisper，當然是用 Python 寫的了，只需要簡單安裝幾個包，然后幾行代碼一寫，稍等片刻（根據你的機器性能和音視頻長度不一），最終的文本內容就出來了，就是這么簡單。
GitHub 倉庫地址：https://github.com/openai/whisper
Fast-Whisper
雖然已經很簡單了，但是對于程序員來說還是不夠簡潔，畢竟程序員都很“懶”，Whisper 雖說安裝和調用已經很簡單了，但還是需要獨立安裝 PyTorch 、ffmpeg 甚至 Rust。
于是，就有了更快、更簡潔的 Fast-Whisper。Fast-Whisper 并不是簡單封裝了一下 Whisper，而是是使用 CTranslate2 重新實現 OpenAI 的 Whisper 模型，CTranslate2 是 Transformer 模型的快速推理引擎。
總結一下，也就是比 Whisper 更快，官方的說法是比 Whisper 快了 4-8 倍。不僅能支持 GPU ，還能支持 CPU，連我這臺破 Mac 也能用。
GitHub 倉庫地址：https://github.com/SYSTRAN/faster-whisper
使用起來就兩步。
- 安裝依賴包
pip install faster-whisper- 寫代碼，
from faster_whisper import WhisperModel
model_size = "large-v3"
# Run on GPU with FP16
model = WhisperModel(model_size, device="cuda", compute_type="float16")
# or run on GPU with INT8
# model = WhisperModel(model_size, device="cuda", compute_type="int8_float16")
# or run on CPU with INT8
# model = WhisperModel(model_size, device="cpu", compute_type="int8")
segments, info = model.transcribe("audio.mp3", beam_size=5)
print("Detected language '%s' with probability %f" % (info.language, info.language_probability))
for segment in segments:
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))沒錯，就是這么簡單。
能做什么呢
正好有個朋友想做短視頻，發一些雞湯文學的視頻，雞湯就來自于一些名家訪談的視頻。但是，他又不想把完整的視頻看一遍，就想用最快的方式把文本內容弄下來，然后讀文字，因為讀文字要比看一篇視頻快的多，而且還可以搜索。
我就說，連完整的看一篇視頻的虔誠之心都沒有，能經營好賬號嗎。
于是我給他做了一個，就是用的 Fast-Whisper。
客戶端
客戶端用 Swift ，只支持 Mac 端。
- 選則一個視頻；
- 然后點擊「提取文本」，這時會調用 Python 接口，需要等待一段時間；
- 加載解析出的文本以及出現的開始、截止時間；
- 選了一個開始時間和一個結束事件；
- 點擊「導出」按鈕，視頻片段就導出了；
，時長00:10
服務端
服務端當然就是 Python ，然后用 Flask 包裝一下，對外放開接口。
from flask import Flask, request, jsonify
from faster_whisper import WhisperModel
app = Flask(__name__)
model_size = "large-v2"
model = WhisperModel(model_size, device="cpu", compute_type="int8")
@app.route('/transcribe', methods=['POST'])
def transcribe():
# Get the file path from the request
file_path = request.json.get('filePath')
# Transcribe the file
segments, info = model.transcribe(file_path, beam_size=5, initial_prompt="簡體")
segments_copy = []
with open('segments.txt', 'w') as file:
for segment in segments:
line = "%.2fs|%.2fs|[%.2fs -> %.2fs]|%s" % (
segment.start, segment.end, segment.start, segment.end, segment.text)
segments_copy.append(line)
file.write(line + '\n')
# Prepare the response
response_data = {
"language": info.language,
"language_probability": info.language_probability,
"segments": []
}
for segment in segments_copy:
response_data["segments"].append(segment)
return jsonify(response_data)
if __name__ == '__main__':
app.run(debug=False)以上就是個拋磚引玉的小工具，留著自己用用也足夠了。
