在GenAI出現(xiàn)之前，我們Rest(澳大利亞最大的養(yǎng)老基金之一)就已開始實施一項戰(zhàn)略，旨在為會員簡化退休投資體驗。

然而，隨著2022年11月ChatGPT的推出，行業(yè)格局發(fā)生了巨變，我們認(rèn)識到這項技術(shù)有潛力為會員進(jìn)一步提升效率，但同時也可能為這個受到高度監(jiān)管的組織帶來額外風(fēng)險。

我們約50%的會員年齡在30歲以下，許多人從事兼職和非全日制工作，這意味著他們的賬戶余額往往低于全國平均水平，因此，我們在確保投資獲得豐厚回報的同時，必須高效運營。GenAI為此提供了絕佳機會，但正如許多企業(yè)所發(fā)現(xiàn)的，利用GenAI實現(xiàn)有意義的商業(yè)價值頗具挑戰(zhàn)。

為了從技術(shù)角度實現(xiàn)目標(biāo)，我們需要一種務(wù)實、可控的方法來釋放GenAI的潛力，這種方法要與我們的組織戰(zhàn)略和風(fēng)險承受能力相契合。

為了滿足這一需求，我們基于精益創(chuàng)業(yè)法開發(fā)了一個框架。我們的模型——“測試、衡量、擴展、放大”——旨在指導(dǎo)并擴大GenAI項目的規(guī)模，同時降低風(fēng)險并實現(xiàn)可衡量的商業(yè)成果。

正在尋找一種實用的項目管理方法以提供以價值為導(dǎo)向的GenAI解決方案的企業(yè)，或許可以從采用或調(diào)整我們Rest構(gòu)建的以下四步框架中找到指引。

第一步：測試——從小處著手驗證想法

與精益創(chuàng)業(yè)法以“構(gòu)建”為第一步不同，我們的框架以實驗開篇。在許多情況下，GenAI模型已經(jīng)“可供消費者使用”，無需大量軟件開發(fā)即可啟動，但在為AI計劃投入大量資源之前，從小處著手并驗證想法至關(guān)重要。

在這一階段，我們進(jìn)行了幾次實驗，包括引入RestGPT以提高員工生產(chǎn)力。在首次發(fā)布時，我們在企業(yè)基礎(chǔ)設(shè)施上使用ChatGPT的“引擎”，在安全的環(huán)境中運行，數(shù)據(jù)存儲在我們獨立的租戶中。

為確保我們采取有控制和結(jié)構(gòu)化的方法，我們設(shè)立了防護(hù)措施，包括制定負(fù)責(zé)任的使用政策，要求員工同意按照我們的風(fēng)險和治理方法使用GenAI。

然后，我們成立了一個工作組，作為公司內(nèi)部的倡導(dǎo)者，幫助激發(fā)對該項目的興趣，我們選擇了一些關(guān)鍵用例進(jìn)行測試，這些用例與我們的目標(biāo)一致，即提高效率以惠及會員。

為了使這成為一個真正的實驗，我們?yōu)槊總€用例設(shè)定了明確的基準(zhǔn)。在引入GenAI之前，了解員工在每個任務(wù)上花費的時間至關(guān)重要，這樣我們才能衡量任何實際的改進(jìn)。

這個測試階段使我們能夠以可控的方式驗證GenAI，確保其符合業(yè)務(wù)需求，同時系統(tǒng)地管理風(fēng)險。

第二步：衡量——確定關(guān)鍵指標(biāo)

我們框架中的衡量階段根據(jù)測試階段設(shè)定的指標(biāo)對每個用例進(jìn)行評估，這是一個特別重要的步驟，因為項目團隊將在這個階段就是否繼續(xù)投資某個用例或停止投資并專注于更高價值的機會做出關(guān)鍵決策。

在最高峰時，我們約90%的員工都在使用RestGPT工具，但正如IT和項目負(fù)責(zé)人所知，工具的使用率只是一個指標(biāo)，而非關(guān)鍵績效指標(biāo)。必須衡量與戰(zhàn)略目標(biāo)相符的生產(chǎn)力提升，對我們而言，就是提高效率以惠及會員。

例如，我們與RestGPT測試的一個用例是讓財務(wù)團隊分析市場洞察報告。在RestGPT的協(xié)助下，進(jìn)行分析所需的時間減少了約85%，這在試點期間為我們的分析師節(jié)省了大量時間。

這正是衡量階段要尋找的結(jié)果類型：清晰、可量化的效率提升，因為這是價值的有力指標(biāo)，并證明擴大該用例規(guī)模的合理性。

第三步：擴展——擴大有效用例的規(guī)模

在我們框架的擴展階段，我們確定額外的用例，以擴大GenAI在我們實驗成功的領(lǐng)域的影響，然而，我們也認(rèn)識到，并非每個用例都能如預(yù)期那樣擴大規(guī)模。

在確認(rèn)RestGPT在測試階段提高了生產(chǎn)力后，我們開始超越基于聊天的GenAI，探索企業(yè)級AI集成。

我們還并行測試了一款聊天自動化工具，該工具旨在通過為在線聊天生成推薦回復(fù)來支持員工，該工具提供AI生成的回復(fù)，客服人員可以在與會員的實時聊天互動中復(fù)制、編輯和發(fā)送這些回復(fù)。

從紙面上看，結(jié)果非常出色，該工具提供了大量高度準(zhǔn)確的回復(fù)建議，但當(dāng)我們分析實際采用情況時，發(fā)現(xiàn)只有一小部分建議被員工使用，他們只是不愿意依賴AI實時撰寫回復(fù)，我們沒有繼續(xù)推進(jìn)這個未被使用的解決方案，而是在僅兩周半后就暫停了該計劃，以調(diào)整我們的方法。

這是一個關(guān)鍵的學(xué)習(xí)時刻：并非每個GenAI用例都能成功擴大規(guī)模，即使它通過了初步測試，采用率與準(zhǔn)確性同樣重要。

相比之下，呼叫中心的其他試點項目，如語音轉(zhuǎn)文本轉(zhuǎn)錄和通話數(shù)據(jù)分析，立即顯現(xiàn)了價值，將通話后的工作時間減少了50%。

擴展階段將使你能夠完善GenAI在哪些方面和如何產(chǎn)生最大影響。通過保持靈活性并專注于采用率，你可以根據(jù)需要進(jìn)行調(diào)整。

第四步：放大——釋放全部潛力

我們框架的最后一步是項目團隊退后一步，評估進(jìn)展，并確定將產(chǎn)生最大影響的更多用例。

在這一階段，項目團隊專注于大規(guī)模實現(xiàn)最大價值的用例。對我們而言，我們根據(jù)兩個關(guān)鍵因素進(jìn)行評估：

? 影響：根據(jù)實施成本與“節(jié)省的員工工時”或“質(zhì)量提升”計算，擴展該用例的凈現(xiàn)值(NPV)是多少?

? 實用性：考慮到與現(xiàn)有系統(tǒng)的集成、現(xiàn)成解決方案的可用性和潛在風(fēng)險，大規(guī)模實施該項目的可行性如何?

基于這種方法，我們發(fā)現(xiàn)了GenAI可以顯著增強我們戰(zhàn)略的兩個明確領(lǐng)域：

Rest員工的AI助手。我們的第一個放大計劃涉及升級RestGPT，以擴大其在800多名員工中的使用。通過利用一個企業(yè)平臺，我們可以將其集成到許多后臺系統(tǒng)中，如ServiceNow、Atlassian、M365和Desk預(yù)訂，這使我們能夠集中知識檢索和任務(wù)自動化，包括IT請求。

通過升級到企業(yè)平臺，我們現(xiàn)在可以跟蹤哪些類型的員工在使用該工具以及用于什么目的。跟蹤實際節(jié)省的工時對我們來說是一個改變游戲規(guī)則的因素。這使我們能夠識別從初級分析師到高級管理人員任何人節(jié)省的時間，并讓我們對實現(xiàn)的價值充滿信心。

呼叫中心的對話輔助。我們的第二個計劃專注于提升呼叫中心會員體驗。通過將AI與人類專業(yè)知識相結(jié)合，我們在員工與會員通話時為他們提供定制指導(dǎo)。

通過與一個GenAI平臺合作，我們看到了提高每天1600個通話效率的機會，通過將每個通話的平均處理時間縮短2.5分鐘，我們估計每年可節(jié)省總計20000小時，這使我們的呼叫中心員工每天能夠幫助更多會員。

我們的放大階段帶來了另一個關(guān)鍵學(xué)習(xí)時刻：利用GenAI，你可以發(fā)現(xiàn)意想不到的好處。例如，我們低估了能夠分析通話數(shù)據(jù)的價值，現(xiàn)在正利用這些數(shù)據(jù)更深入地了解會員最關(guān)注的話題。

利用GenAI交付成果

在Rest，這個框架在應(yīng)對GenAI應(yīng)用的復(fù)雜性方面發(fā)揮了關(guān)鍵作用，確保我們的計劃與戰(zhàn)略目標(biāo)保持一致，并為會員帶來切實價值。

當(dāng)你考慮自己的GenAI之旅時，我們希望采用“測試、衡量、擴展、放大”這樣的框架將有助于你開發(fā)以價值為導(dǎo)向的用例，并有效地將其擴展到企業(yè)級。