?摘要——基礎模型，如大型語言模型（LLMs），可以在不進行任何任務特定的數(shù)據(jù)收集或模型訓練的情況下響應各種無格式查詢，為大規(guī)模電力系統(tǒng)的建模和運行創(chuàng)造了各種研究和應用機會。在本文中，我們概述了如何開發(fā)諸如GPT-4之類的大型基礎模型，并討論了它們如何在具有挑戰(zhàn)性的電力和能源系統(tǒng)任務中發(fā)揮作用。我們首先通過驗證其在電力系統(tǒng)領域四個代表性任務中的性能來調查現(xiàn)有基礎模型的潛力，包括最優(yōu)潮流（OPF）、電動汽車（EV）調度、電力工程技術報告的知識檢索和態(tài)勢感

I. 引言

近年來，像大型語言模型（LLM）和大型多模態(tài)模型這樣的基礎模型的進步極大地改變了人工智能和機器學習（ML）的格局[1]，[2]。由OpenAI開發(fā)的生成預訓練變換器4（GPT-4）的對話變體ChatGPT被廣泛認為是向大型基礎模型邁進的里程碑。標準的機器學習模型通常是在單一來源、特定領域的數(shù)據(jù)集上訓練的，這在很大程度上受到數(shù)據(jù)收集和應用范圍的限制。而大型基礎模型則基于變換器神經(jīng)網(wǎng)絡架構[3]，在前所未有的計算和數(shù)據(jù)規(guī)模上進行訓練。一旦訓練完成，它們在推理、抽象、理解和預測等各種領域和任務中展示出令人印象深刻的、可推廣的能力。這些模型確實徹底改變了機器學習算法的發(fā)展和實施，并揭示了許多新的機會。

基礎模型提供的等同于甚至超越人類水平的能力，激勵我們探索提升電力系統(tǒng)建模和運行性能的新機會。[4]探討了大型變換器模型在電力系統(tǒng)時間序列預測和插補中的預訓練，而在[5]中，作者展示了ChatGPT在生成測試電路方面的早期成功。然而，基礎模型提供的許多能力尚未用于提高電網(wǎng)的可靠性和效率。例如，這些大型基礎模型已被證明能夠在一定程度上輸出理解、推理，并在各種領域使用工具[6]。這些能力可能有助于甚至改變大規(guī)模電網(wǎng)的操作程序。

在本文中，我們系統(tǒng)地開發(fā)了應用管道，并檢查了大型基礎模型在一組電力系統(tǒng)建模和操作任務中的能力。我們發(fā)現(xiàn)，使用現(xiàn)成的預訓練基礎模型，如GPT-4和GPT-4 Vision（GPT-4V），確實能夠為幫助工程師、政策制定者和能源用戶解決電力和能源領域的挑戰(zhàn)性問題創(chuàng)造多條新路徑。這些問題通常涉及高維無結構數(shù)據(jù)，例如與純文本技術文檔、系統(tǒng)測量或圖像數(shù)據(jù)的交互。此外，通過利用大型基礎模型的力量，有效地消除了用戶與電力系統(tǒng)互動的障礙。這不同于其他機器學習在電網(wǎng)應用中的實施。例如，先前的研究表明，機器學習算法可以成功預測位置邊際價格和電力調度信號[7]，[8]。但這需要訓練有素的工程師仔細制作標記的操作數(shù)據(jù)和特定的機器學習模型。相反，大型基礎模型可以潛在地減輕數(shù)據(jù)收集和模型訓練的負擔，同時為系統(tǒng)操作員和能源用戶提供即時反饋[9]。為了探索大型基礎模型在電力系統(tǒng)任務中提供的能力，我們設計了特定的提示和互動范式，展示了基礎模型可以通過僅與提示互動而無需使用優(yōu)化求解器直接解決簡化的最優(yōu)潮流（OPF）問題；我們還演示了LLM可以作為終端用戶和電動汽車充電控制算法之間的中介，以便根據(jù)用戶的偏好輕松設置優(yōu)化調度模型；雖然預訓練的大型基礎模型在電力和能源系統(tǒng)方面可能缺乏準確知識，但我們發(fā)現(xiàn)使用檢索增強生成[10]通過在特定領域嵌入大型技術報告來解決這些挑戰(zhàn)。

特別是，我們關注電力系統(tǒng)建模和運行的獨特特征[11]，因為它相比于其他一般的自然語言處理或視覺相關任務表現(xiàn)出不同的復雜性和領域知識。本文中展示的示例應用可以擴展到各種電力系統(tǒng)任務，如電網(wǎng)建模[11]、市場運行[12]、態(tài)勢感知[13]、能源管理和電力調度[14]、異常檢測[15]以及在各種設置下的預測任務[16]。為了促進此類強大工具的發(fā)展和利用，我們將我們的算法和詳細的模擬測試案例，特別是多模態(tài)和其他時間序列預測示例公開1。

II. 方法論

A. 作為優(yōu)化器的LLM

優(yōu)化已被視為解決電力系統(tǒng)中各種決策問題的基礎工具，如最優(yōu)潮流（OPF）、電動汽車充電調度和建筑能源系統(tǒng)管理[17]。盡管研究人員已經(jīng)提供了許多解決方案，但從計算成本和算法性能的角度來看，仍然存在挑戰(zhàn)。特別是，對于缺乏優(yōu)化或電力系統(tǒng)領域知識的各種用戶來說，學習建模和解決這些問題是不現(xiàn)實的[18]。通過提示進行優(yōu)化（OPRO）展示了LLM通過自然語言描述問題，然后根據(jù)任務描述和先前生成的解決方案迭代生成新解決方案的能力[19]。我們進一步開發(fā)了一個名為LLM for the OPF（LLM4OPF）的框架來解決約束優(yōu)化問題，如圖1(a)所示。在這個框架中，我們生成帶有歷史解-成本對和任務描述的提示。在每個優(yōu)化步驟中，從解-成本對緩沖區(qū)中檢索具有最小成本值的若干解-成本對，LLM優(yōu)化器根據(jù)精心設計的提示生成新解決方案。滿足物理約束的新解決方案將存儲在解-成本對緩沖區(qū)中。詳細的提示和響應示例在我們的在線存儲庫中描述[20]。我們還探討了LLM4OPF在不同約束下快速適應新問題的能力，基于新的任務描述和先前問題的解決方案。

（注釋：最優(yōu)潮流（Optimal Power Flow，簡稱 OPF）是電力系統(tǒng)中的一種計算方法。它的目標是找到一種最優(yōu)的電力分配方式，使得電力網(wǎng)絡的運行既經(jīng)濟又安全。簡單來說，就是在確保電網(wǎng)穩(wěn)定的前提下，盡量降低發(fā)電成本或其他運營成本。

具體來說，OPF 會考慮電力系統(tǒng)中的各種因素，比如發(fā)電廠的生產能力、電力需求、傳輸線路的容量限制等，通過數(shù)學優(yōu)化的方法找到最優(yōu)解。這一過程會幫助電力公司決定哪些發(fā)電機應該運行、運行多少功率，以及如何調度電力在網(wǎng)絡中的傳輸，從而實現(xiàn)最經(jīng)濟高效的電力供應。）

雖然OPRO可以在某些優(yōu)化問題中找到高質量的解決方案，但在解決空間中的低效搜索限制了其在大規(guī)模優(yōu)化問題中的應用。[18]經(jīng)驗性地展示了LLM生成代碼的能力，但在執(zhí)行過程中偶爾會觸發(fā)錯誤。因此，我們在名為LLM for EV（LLM4EV）的新框架中引入了優(yōu)化問題的函數(shù)模板，而不是依賴LLM生成整個代碼。LLM與終端用戶交互，理解查詢，編寫代碼調用函數(shù)，并向終端用戶解釋代碼執(zhí)行的結果。如圖1(b)所示，我們的交互過程在用戶和LLM之間進行。完整的交互過程在[20]中詳細描述。

圖 1：大型基礎模型的設計：

(a) 解決 OPF（LLM4OPF）；

(b) 調度電動汽車充電（LLM4EV）；

(c) 文檔摘要和知識檢索。

（注釋：（a）流程圖分為以下幾個步驟：

1. Retrieve data (檢索數(shù)據(jù))

- 在第一個步驟中，系統(tǒng)從數(shù)據(jù)源中檢索到解決問題所需的基礎數(shù)據(jù)，包括元提示（Meta-Prompt）、解決方案-成本對（Solution-Cost Pairs）和任務描述（Task Description）。

2. Input prompt (輸入提示)

- 將檢索到的數(shù)據(jù)輸入到一個大型語言模型（LLM）優(yōu)化器中，這一步驟負責生成新的解決方案。

3. Generate new solution (生成新方案)

- LLM優(yōu)化器基于輸入的提示生成一個新的解決方案。

4. Evaluates whether the new solution can satisfy constraints (評估新方案是否滿足約束條件)

- 生成的解決方案會通過約束評估器進行評估，以確保它滿足所有的約束條件。

5. If yes, calculate the cost (如果滿足約束，計算成本)

- 如果新的解決方案通過了約束評估，那么接下來由目標函數(shù)評估器計算該方案的成本。

6. Derive solution-cost pair and store (生成解決方案-成本對并存儲)

- 成本計算完成后，生成一個解決方案-成本對，并將其存儲到解決方案-成本對緩沖區(qū)中。

7. Solution-Cost Pair Buffer (解決方案-成本對緩沖區(qū))

- 在緩沖區(qū)中存儲多個解決方案-成本對，便于進一步優(yōu)化和選擇。

8. When finish, output the solution with minimal cost (完成時，輸出成本最低的方案)

- 最后一步，當所有步驟完成時，系統(tǒng)會輸出成本最低的解決方案。

這張圖的流程展示了一個優(yōu)化系統(tǒng)如何使用大型語言模型生成和評估多種解決方案，并最終選出最優(yōu)的解決方案，確保在滿足所有約束條件的前提下，找到成本最低的解決方案。）

B. 用于知識檢索的LLM

在本小節(jié)中，我們介紹了采用LLM實現(xiàn)能源領域長文本文件摘要和問答（QA）的方法，稱為LLM4Doc。我們的方法框架如圖1(c)所示，其中我們采用檢索增強生成（RAG）和提示工程（PE）作為工作主力。RAG是一種基于自然語言生成和信息檢索的混合機制，能夠通過從有用數(shù)據(jù)語料庫中提取信息來豐富LLM的知識，就像從圖書館借書一樣[10]。結合RAG，LLM不僅可以生成上下文準確的信息豐富的輸出。檢索涉及從大量數(shù)據(jù)語料庫（如文本文件和數(shù)據(jù)庫）中搜索相關信息。僅使用檢索可能會生成不準確或不相關的輸出。增強涉及將檢索到的信息納入LLM的內部知識表示中，以顯著提高LLM的輸出質量。生成則涉及從LLM生成文本。

我們首先將長文本文檔處理成向量嵌入，然后將這些向量集成到一個外部知識庫中。基于此知識庫，我們要求GPT-4對處理后的文檔進行摘要和多個QA。另一方面，提示工程是LLM開發(fā)中的一個關鍵步驟，專注于改進語言提示，以幫助LLM更好地理解人類的需求，并生成相當準確、相關且信息豐富的輸出[21]。提示工程有多種目的。具體來說，在本文中，我們設計了一種提示格式，用戶可以定制不同部分以獲得多樣化的答案，如圖2所述。

圖 2：處理電力系統(tǒng)技術文檔的提議工程化提示的格式。

C. 用于態(tài)勢感知的大型多模態(tài)模型

多模態(tài)模型能夠跨不同數(shù)據(jù)類型（如語言、視覺等）連接學習到的表示，以獲得更全面的理解并生成適當?shù)捻憫?。當前最先進的多模態(tài)模型基于LLM，并通過圖文對的增量預訓練構建[22]，因此所得到的模型可以通過多種類型的模型輸入和輸出數(shù)據(jù)來完成各種任務。這種能力可以為電力系統(tǒng)應用提供有價值的工具，因為系統(tǒng)測量和日志數(shù)據(jù)本質上是大規(guī)模和多模態(tài)的。特別是，我們研究了可以通過大型多模態(tài)模型解決的態(tài)勢感知問題[13]。為了保證操作安全，系統(tǒng)操作員需要進行及時有效的測量處理、操作狀態(tài)理解和異常檢測。例如，[23]中使用成像數(shù)據(jù)來識別絕緣子表面狀態(tài)。然而，目標情況樣本的可用性有限和操作情況的多樣性有限，如變電站通常處于正常狀態(tài)，很少發(fā)生火災，這使得難以培養(yǎng)專門的火災檢測器。因此，具有可靠和一致的視覺-文本表示的零/少樣本情況監(jiān)控非常受歡迎。GPT-4V是一個有能力的候選者[24]，它擁有強大的圖文檢索能力，可以為測量圖像生成準確的場景描述，以及出色的零/少樣本泛化推理和場景轉移能力，以識別罕見情況。在這項工作中，我們提出了一個名為LLM4SA的框架，通過采用上下文學習加提示工程[25]來繞過繁瑣的事后微調。在這方面，適當?shù)奶崾驹O計起著關鍵作用，應該提供高對應性和具體檢測任務或情況類別信息的多模態(tài)QA示例[26]。

有兩種正交的方法來實現(xiàn)理想的情況理解。一種方法是指令調整結合提示學習[27]，需要手工制作領域特定的輸入-標簽對，并使用它們來定制一個特設的提示嵌入并優(yōu)化LLM的原始參數(shù)。但由于大規(guī)模參數(shù)微調所需的數(shù)據(jù)收集和計算工作量巨大，這種方法難以執(zhí)行。另一種方法是上下文學習加提示工程[25]，這種方法繞過了繁瑣的事后微調。在這方面，適當?shù)奶崾驹O計起著關鍵作用，應該提供高對應性和具體檢測任務或情況類別信息的多模態(tài)查詢-回答示例[26]。在這項工作中，我們主要關注上下文學習能力，通過策劃詳細的上下文提示來實現(xiàn)零/少樣本態(tài)勢感知。

III. 在電力系統(tǒng)中的應用

A. 最優(yōu)潮流

在本文中，我們考慮了在節(jié)點功率平衡和功率流方程上簡化約束的OPF問題。詳細的公式可以在[20]中找到。在這個問題中，我們最小化二次發(fā)電成本Ci (Pi) = aiPi2 + biPi + ci，i ∈ Ω，其中Pi表示發(fā)電機i ∈ Ω的輸出功率。ai, bi和ci表示成本系數(shù)。所有發(fā)電機都有發(fā)電限制。

我們在一個5單元測試案例[28]上評估LLM4OPF，并在兩個任務中將其性能與Gurobi求解器[29]進行比較。在第一個任務中，我們設置節(jié)點負載Le = 400，并指示GPT-4執(zhí)行n = 300次優(yōu)化步驟。隨后，在第二個任務中，我們將Le設置為405，并將從第一個實驗中獲得的解-成本對作為提示的一部分。然后，我們讓GPT-4 API執(zhí)行50次優(yōu)化步驟，以評估LLM4OPF在不同約束下適應新任務的能力。

實驗結果如圖3(a)和圖3(b)所示，表明LLM4OPF可以迭代優(yōu)化以最小化成本。請注意，我們僅存儲和繪制滿足約束的解。如表I所示，LLM4OPF獲得的成本和發(fā)電機熱輸出值與Gurobi優(yōu)化器實現(xiàn)的值非常接近。此外，顯然，當提供相關問題的解決方案時，LLM4OPF可以用更少的優(yōu)化步驟來實現(xiàn)新任務的解決方案。這些結果顯示了LLM在解決優(yōu)化任務中的強大能力。

圖 3：OPF 測試案例

(a) 總成本；

(b) 發(fā)電值。

B. 電動汽車充電

我們考慮一個可以同時為一組電動汽車j ∈ V提供充電服務的充電站[30]。電動汽車充電優(yōu)化問題被表述為優(yōu)化每輛電動汽車的充電功率uj(t)，受電動汽車充電動態(tài)xj(t) = xj(t - 1) + δuj(t)的約束。δ和xj(t)分別表示充電效率和電動汽車在時間t的電荷狀態(tài)。我們使用由5個充電會話和20個時間步組成的測試案例進行實驗，以評估LLM4EV框架的性能。通過此測試，我們主要評估我們提出的方法在以下方面的性能：

- 給定任務描述和代碼示例，LLM是否能利用自然語言向用戶詢問解決電動汽車充電優(yōu)化問題所需的參數(shù)？

- LLM能否理解用自然語言描述的電動汽車充電優(yōu)化問題，并生成正確的代碼來調用提供的函數(shù)？

- LLM能否準確解釋代碼的輸出并向用戶解釋結果？

從圖4中，我們發(fā)現(xiàn)GPT-4能夠智能地根據(jù)提供的函數(shù)和任務描述向用戶生成精確的問題。值得注意的是，提出的8個問題完全對應于函數(shù)solve EV的8個參數(shù)。此外，即使用戶以自然語言提供答案，GPT-4也表現(xiàn)出強大的理解和生成相應代碼的能力。例如，當提出“你的車輛的初始狀態(tài)（電荷水平）是什么？如果有多輛，請分別列出”的問題時，用戶的回答是“它們都從零開始”。隨后，GPT-4生成準確的代碼“initial states = [0, 0, 0, 0, 0]”。詳細的實驗結果見[20]。

C. 通過多模態(tài)能力實現(xiàn)態(tài)勢感知

我們利用GPT-4V的多模態(tài)能力基于場景圖像實現(xiàn)態(tài)勢感知。態(tài)勢感知通常涉及異常檢測等分類任務。在本部分中，我們展示了基于衛(wèi)星圖像的野火檢測結果[31]，這是一個二元分類任務。我們設計了4種方法：(1)一個圖像查詢并直接詢問圖像中是否存在野火；(2)一個圖像查詢并應用提示工程；(3)多個圖像示例以及作為工程提示的真實標簽；(4)在(3)的基礎上，添加與真實標簽相關的語言解釋。

為了獲取每種方法的平均準確率，我們進行了多輪實驗，每輪涉及5張正面圖像和5張負面圖像。方法(3)的一個示例如圖5所示，完整結果見[20]。在所有方法中，方法(4)的準確率最高，達到了91%，證明了GPT-4V能夠利用多模態(tài)信息提高性能，而方法(3)的準確率為86%，也表明少樣本提示的有效性。然而，值得注意的是，GPT-4V在特定圖像分類任務中的表現(xiàn)仍然不如標準ML模型，如卷積神經(jīng)網(wǎng)絡的準確率為94%，隨機森林為96%。即便如此，GPT-4V在節(jié)省訓練時間和數(shù)據(jù)收集過程方面具有顯著潛力，這對于典型的ML方法是必要的。此外，GPT-4V在接受和生成多模態(tài)輸出方面更具靈活性，例如生成當前狀態(tài)的解釋。

D. 基于能源上下文的文檔理解

在這個實驗中，我們構建了第二節(jié)B部分所示的管道，用于從電力系統(tǒng)文檔中描繪和檢索知識，并將其應用于177頁的聯(lián)邦能源監(jiān)管委員會（FERC）第901號命令[32]。此FERC命令制定了處理涉及逆變器資源的可靠性差距的可靠性標準。為了探索GPT-4在不同QA任務中的能力，我們將問題分為兩類。一般性問題詢問文檔的整體內容，如“請總結此文件”、“此技術報告的結構是什么”。而技術性問題則更關注文檔中提到的技術細節(jié)，如“文件中相鎖環(huán)同步是什么？”，“請告訴我，在此文件中的可靠性標準中，哪個標準最有用？”完整的評估問題列表見[20]。

為了研究RAG帶來的專業(yè)能力，我們比較了兩個技術問題的答案，如圖6所示。使用RAG的GPT-4能夠處理基于大型能源上下文的文檔的深度理解。我們可以看到，沒有RAG的GPT-4無法理解相對復雜的技術短語。使用RAG后，GPT-4不僅可以詳細解釋技術詞匯，還可以解釋其重要性或用途。這有助于理解技術報告以及將用戶特定的電力系統(tǒng)知識嵌入基礎模型中。

圖 6：基于 FERC 第 901 號命令的兩項技術問答的評估，有和沒有 RAG 的比較。

表 II：使用案例、限制及未來可能的發(fā)展總結。

IV. 限制、總結和未來工作

在本文中，我們探索了一組有前途的應用，展示了開發(fā)基礎模型在電力系統(tǒng)中的承諾和挑戰(zhàn)。通過一系列理解、建模和操作任務驗證了這些模型的潛力。我們展示了LLM和多模態(tài)模型在沒有微調或進一步訓練的情況下提供的顯著性能。我們得出結論，這些基礎模型的強大能力可以為系統(tǒng)操作員、政策制定者和終端用戶提供高效工具。

雖然我們注意到大型基礎模型在工業(yè)部署中仍處于初期階段，因為對模型行為的理解仍然有限，并且需要在實際場景中進行徹底的評估和測試。我們還注意到當前基礎模型使用中的一系列限制，如模型有效性、效率和適用場景，詳細信息見表II。

Huang C, Li S, Liu R, et al. Large foundation models for power systems[J]. arXiv preprint arXiv:2312.07044, 2023.

Monash University, Australia

本文轉載自公眾號AIRoobt ，作者：AIRoobt

原文鏈接：??https://mp.weixin.qq.com/s/qC7VakvIP8x6PUf6AuKHBQ??