譯者 | 李睿

審校 | 重樓

生成式人工智能（GenAI）正通過(guò)重塑創(chuàng)造力、內(nèi)容及數(shù)據(jù)的管理方式，對(duì)商業(yè)世界產(chǎn)生深遠(yuǎn)影響。對(duì)于組織來(lái)說(shuō)，為了有效地利用這項(xiàng)技術(shù)，他們必須構(gòu)建堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)，尤其是要確保數(shù)據(jù)的高質(zhì)量。數(shù)據(jù)質(zhì)量不佳可能導(dǎo)致偏見(jiàn)或產(chǎn)生誤導(dǎo)性的結(jié)果，因此實(shí)現(xiàn)數(shù)據(jù)清洗和預(yù)處理措施（例如消除重復(fù)項(xiàng)、填補(bǔ)缺失的數(shù)據(jù)和規(guī)范化數(shù)據(jù)集）至關(guān)重要。本文探討了為生成式人工智能應(yīng)用程序開發(fā)健壯的數(shù)據(jù)基礎(chǔ)設(shè)施的關(guān)鍵考慮因素。

構(gòu)建一個(gè)可靠的存儲(chǔ)和管理大數(shù)據(jù)的架構(gòu)至關(guān)重要。組織應(yīng)當(dāng)投資可擴(kuò)展的存儲(chǔ)解決方案（例如數(shù)據(jù)湖），以便捷地實(shí)現(xiàn)數(shù)據(jù)訪問(wèn)和轉(zhuǎn)換。通過(guò)利用云計(jì)算資源還可以通過(guò)減少硬件管理限制和訪問(wèn)各種人工智能模型來(lái)提高可用性。

成功開發(fā)生成式人工智能的基礎(chǔ)在于獲取全面且高質(zhì)量的數(shù)據(jù)。一個(gè)精心構(gòu)建的數(shù)據(jù)集應(yīng)該包含人口統(tǒng)計(jì)、地理區(qū)域和用戶體驗(yàn)的不同視角，以最大限度地減少潛在的偏差。

數(shù)據(jù)采集和預(yù)處理技術(shù)

組織可以采用多種高效的數(shù)據(jù)收集策略。來(lái)自政府機(jī)構(gòu)和學(xué)術(shù)機(jī)構(gòu)的開放數(shù)據(jù)源提供了合法可訪問(wèn)的、經(jīng)過(guò)驗(yàn)證的信息，以增強(qiáng)訓(xùn)練據(jù)集。網(wǎng)絡(luò)抓取技術(shù)可實(shí)現(xiàn)有針對(duì)性的數(shù)據(jù)收集，但組織在這一過(guò)程中必須審慎考慮法律因素和網(wǎng)站服務(wù)條款。

在數(shù)據(jù)稀缺或隱私保護(hù)受限的情況下，合成數(shù)據(jù)生成提供了一個(gè)有價(jià)值的替代方案。采用這種方法，組織可以利用人工創(chuàng)建的樣本擴(kuò)充其訓(xùn)練數(shù)據(jù)集，從而在解決數(shù)據(jù)限制和敏感性問(wèn)題的同時(shí)增強(qiáng)模型的魯棒性。

預(yù)處理對(duì)于為訓(xùn)練生成式人工智能模型準(zhǔn)備的數(shù)據(jù)來(lái)說(shuō)至關(guān)重要。其中一項(xiàng)關(guān)鍵技術(shù)是特征工程，它創(chuàng)建或修改特征以更好地定義數(shù)據(jù)中的關(guān)系，從而顯著提高模型的性能。標(biāo)記化是將文本轉(zhuǎn)換為標(biāo)記的另一個(gè)關(guān)鍵過(guò)程，增強(qiáng)了模型學(xué)習(xí)語(yǔ)言模式的能力。開發(fā)人員還可以使用特定領(lǐng)域的自適應(yīng)方法為特定領(lǐng)域量身定制預(yù)處理，例如規(guī)范醫(yī)療保健領(lǐng)域中的醫(yī)學(xué)術(shù)語(yǔ)，可以進(jìn)一步提高模型的準(zhǔn)確性。

為生成式人工智能選擇最佳模型

為生成式人工智能選擇最佳模型需要仔細(xì)考慮關(guān)鍵因素。在用例分析期間，組織必須精確地確定他們的目標(biāo)，因?yàn)椴煌膽?yīng)用程序（無(wú)論是生成文本、圖像還是音樂(lè)）都需要不同的方法。例如，文本生成通常受益于如GPT-4等Transformer架構(gòu)，而圖像創(chuàng)建則更適合使用生成對(duì)抗網(wǎng)絡(luò)（GAN）。

對(duì)預(yù)訓(xùn)練模型進(jìn)行徹底評(píng)估對(duì)于確定其是否適用于特定應(yīng)用至關(guān)重要。這包括檢查現(xiàn)有的解決方案，例如OpenAI的用于圖像生成的DALL-E和谷歌的用于基于文本的任務(wù)的T5。評(píng)估應(yīng)該關(guān)注這些模型與項(xiàng)目需求的一致性。

通過(guò)定制和微調(diào)，組織可以調(diào)整現(xiàn)有的模型來(lái)更好地滿足他們的獨(dú)特需求。這個(gè)過(guò)程通常涉及在特定領(lǐng)域的數(shù)據(jù)集上訓(xùn)練模型，以提高其在特定應(yīng)用程序中的性能和準(zhǔn)確性。

訓(xùn)練技術(shù)與模型優(yōu)化

成功的模型實(shí)施取決于有效的訓(xùn)練方法。通過(guò)遷移學(xué)習(xí)和預(yù)訓(xùn)練模型并根據(jù)特定需求對(duì)其進(jìn)行微調(diào)，從而以最小的數(shù)據(jù)需求實(shí)現(xiàn)更快的訓(xùn)練周期和更好的結(jié)果。實(shí)現(xiàn)正則化技術(shù)（如dropout或L2正則化）至關(guān)重要，特別是在處理有限的數(shù)據(jù)集時(shí)，因?yàn)檫@些方法有效地對(duì)抗過(guò)擬合。通過(guò)超參數(shù)調(diào)整，包括調(diào)整學(xué)習(xí)率和批大小等關(guān)鍵參數(shù)，可以優(yōu)化模型性能。網(wǎng)格搜索或貝葉斯優(yōu)化等高級(jí)方法有助于識(shí)別最佳參數(shù)配置。

增強(qiáng)生成式人工智能性能需要戰(zhàn)略優(yōu)化來(lái)平衡計(jì)算效率和可擴(kuò)展性。通過(guò)模型壓縮，組織可以使用諸如剪枝、量化和知識(shí)蒸餾之類的技術(shù)來(lái)簡(jiǎn)化他們的模型。這些方法在保持準(zhǔn)確性的同時(shí)縮減了模型的規(guī)模，因此，在資源受限的部署環(huán)境中尤其具有顯著價(jià)值。

在云計(jì)算環(huán)境中，實(shí)現(xiàn)動(dòng)態(tài)擴(kuò)展至關(guān)重要，因?yàn)樽詣?dòng)資源分配會(huì)根據(jù)波動(dòng)的需求進(jìn)行調(diào)整。無(wú)論工作負(fù)載如何變化，這種智能擴(kuò)展都可以確保模型性能和響應(yīng)性的一致性，從而消除潛在的瓶頸并減少處理延遲。

生成式人工智能模型的成功實(shí)施取決于選擇與特定操作需求相一致的部署策略。云部署利用AWS、Azure和谷歌云等云平臺(tái)，提供可擴(kuò)展的基礎(chǔ)設(shè)施和專用工具（例如AWS SageMaker和Google AI Platform），以實(shí)現(xiàn)模型的無(wú)縫托管。

具有嚴(yán)格的安全協(xié)議和合規(guī)需求的組織通常選擇內(nèi)部部署，這可以增強(qiáng)對(duì)數(shù)據(jù)處理的控制，但需要具備強(qiáng)大的內(nèi)部IT基礎(chǔ)設(shè)施。與此同時(shí)，邊緣計(jì)算部署將人工智能功能直接引入智能手機(jī)和物聯(lián)網(wǎng)傳感器等終端用戶設(shè)備，不僅縮短了響應(yīng)時(shí)間、降低了網(wǎng)絡(luò)帶寬需求，還實(shí)現(xiàn)了離線功能。

解決監(jiān)控和維護(hù)問(wèn)題

為了保持模型的峰值性能，需要保持警惕并進(jìn)行持續(xù)的監(jiān)督與改進(jìn)。性能監(jiān)控是一個(gè)關(guān)鍵環(huán)節(jié)，它依賴于全面的日志系統(tǒng)來(lái)追蹤響應(yīng)時(shí)間、資源利用率和輸出質(zhì)量等關(guān)鍵指標(biāo)，從而及時(shí)發(fā)現(xiàn)潛在的瓶頸和優(yōu)化空間。

通過(guò)漂移檢測(cè)，組織可以識(shí)別可能影響模型準(zhǔn)確性的數(shù)據(jù)模式的變化，從而在發(fā)生重大變化時(shí)及時(shí)進(jìn)行模型的再訓(xùn)練。此外，將用戶反饋循環(huán)融入其中，能夠?yàn)槟Ｐ吞峁└邇r(jià)值的實(shí)際見(jiàn)解，使模型能夠根據(jù)實(shí)際使用模式和結(jié)果不斷進(jìn)化。

在維護(hù)負(fù)責(zé)任的人工智能部署方面，定期進(jìn)行道德考量評(píng)估同樣至關(guān)重要。這要求根據(jù)既定的道德標(biāo)準(zhǔn)對(duì)模型輸出進(jìn)行系統(tǒng)性評(píng)估，以發(fā)現(xiàn)和解決模型行為中潛在的偏見(jiàn)或歧視模式。

數(shù)據(jù)治理和合規(guī)性

在啟動(dòng)生成式人工智能項(xiàng)目之前，組織應(yīng)該構(gòu)建強(qiáng)大的數(shù)據(jù)治理框架。這些框架應(yīng)該概述數(shù)據(jù)獲取、處理、分發(fā)以及遵守GDPR和CCPA等法規(guī)的指南。一個(gè)清晰的治理框架有助于通過(guò)確保人工智能輸出的準(zhǔn)確性和道德責(zé)任來(lái)獲得公眾的信任。

生成式人工智能的新興趨勢(shì)

生成式人工智能領(lǐng)域正在通過(guò)新興技術(shù)的進(jìn)步不斷變革。其中，多模態(tài)人工智能集成代表了一種關(guān)鍵的發(fā)展，使系統(tǒng)能夠無(wú)縫地處理包括文本、音頻、圖像和視頻內(nèi)容在內(nèi)的多種數(shù)據(jù)類型。這一突破擴(kuò)展了生成式人工智能模型在不同領(lǐng)域的能力和應(yīng)用。

個(gè)性化的趨勢(shì)反映了市場(chǎng)對(duì)定制化內(nèi)容解決方案日益增長(zhǎng)的需求。生成式人工智能系統(tǒng)越來(lái)越多地結(jié)合個(gè)人偏好和行為數(shù)據(jù)，以產(chǎn)生更加定制化和相關(guān)的輸出內(nèi)容。與此同時(shí)，對(duì)實(shí)時(shí)生成能力的推動(dòng)帶動(dòng)了游戲和虛擬現(xiàn)實(shí)等領(lǐng)域的創(chuàng)新，在這些領(lǐng)域，生成內(nèi)容的即時(shí)處理至關(guān)重要。

生成式人工智能如今已經(jīng)站在人工智能發(fā)展的最前沿，為各行各業(yè)提供了變革潛力。然而，在這一領(lǐng)域取得成功并非易事，需要組織在技術(shù)實(shí)施與道德考慮之間取得平衡，構(gòu)建強(qiáng)大的數(shù)據(jù)框架，從而在有效管理潛在風(fēng)險(xiǎn)的同時(shí)推動(dòng)技術(shù)創(chuàng)新。

原文標(biāo)題：Building a solid data foundation for generative AI applications，作者：Uma Uppin