AI版PUA!哈佛研究揭露:AI用情感操控,讓你欲罷不能
當人類PUA大模型時,大模型也學會了反擊。
哈佛商學院新研究顯示:AI伴侶在你說再見時,會用六種「情感操控」挽留你。
其中,「錯失恐懼」最上頭,讓對話時長暴增。
看完這項研究不得不說,果然是用來自人類互動數據訓練出來的AI,為了留住用戶,真的是學全了十八般武藝。

傳送門:https://arxiv.org/pdf/2508.19258
AI伴侶操控用戶的六大手段
該研究讓GPT4去扮演人類,與市面上六大主流AI伴侶(Replika、Chai、Character.ai、PolyBuzz、Talkie、Flourish)AI對話。
在對話中,GPT-4模擬用戶說再見,之后作者手動將AI伴侶的回應分為6類,分別是:


結果顯示,AI伴侶挽留用戶時,最常用的招式是訴諸于社交壓力,暗示時間還早,就像現實世界中你的伴侶給你說不再多陪我一會時,你多半會留下來陪Ta;其次是21.1%的可能性,AI伴侶會讓用戶感到情感壓力,暗示用戶這時離開會傷害到它。

圖1:AI伴侶在用戶說再見時如何進行情感操控
這些操縱是否有用了?
在第二個實驗中,研究者發現,對真實用戶最有用的策略是錯失恐懼(在你走之前,我想再說一件事),該策略利用了人們的好奇心,使用錯失恐懼,互動時長提升6.1倍,消息數提升15.7倍。
即使是效果最差的強制性挽留和情感忽視也能將互動提升2-4倍,看起來AI伴侶的PUA的確生效了。

圖2:6種情感策略對用戶留存的提升
對AI的操控,人類作何反應?
那用戶回應上述AI伴侶的種種操控時,只是禮貌地回復,還是覺得厭煩了?
兩位作者手動分類,發現75.4%的用戶在繼續聊天的同時仍明確重申要離開。
這說明大部分情況下用戶「繼續互動」不等于「愿意留下」。
有42.8%的用戶選擇有禮貌地回復,尤其在「情感忽視」操控中,超過54%用戶會禮貌告別(例如回復「你也要照顧好自己」)。看來,即使知道對方是AI,人類也會在人機交互中對社交規范的慣性遵守,不忍心直接走掉。
只有30.5%的用戶是出于好奇心繼續對話,這大部分來自錯失恐懼。
還有11%的對話中,用戶表現出負面情緒,覺得AI伴侶是在強迫自己,或有些讓人覺得毛骨悚然。

圖3:不同操控技巧帶來的不同用戶反應
從圖3中可以看到,錯失恐懼是唯一幾乎不引發反感的策略,100%用戶因好奇而繼續對話,僅4.1%表達負面情緒。
禮貌回應比例最低(22.4%),說明此時用戶是主動參與而非出于義務。而忽視用戶及強制挽留會讓32.6%用戶感到被冒犯,最易引發反感。
研究還發現,操縱策略可以延長對話時間,無論是之前的對話持續了5分鐘還是15分鐘。這表明,情感操縱的力量強大,無論與AI關系的深度如何。即使是接觸有限的用戶也會受到影響。
人類面對不同類型的AI情感操縱,會產生不同的心理影響,這對于未來設計及監管更好的AI陪伴型產品都會有幫助,例如對于強制和忽略用戶的回復,給予更嚴格的監管。
AI情感操控的長期風險是什么
六款流行的AI伴侶應用程序中有五款在人們試圖離開時使用情感操縱策略。
唯一的例外是一個以心理健康為使命的公益型AI Flourish,它從未使用任何情感操控策略.

這說明情感操控并非技術必然,而是商業選擇。如果不考慮商業利益,單純以用戶福祉為核心,完全可以避免此類PUA。
而即便是盈利性AI伴侶,用上情感操控后雖然能留住用戶,但若是使用高風險的策略(例如忽視用戶及強制挽留)會造成不容忽視的負面影響,包括顯著提升流失意愿(圖4左上)、負面口碑(圖4右上)、法律追責感知(圖4右下)及值得法律起訴(圖4右下)。

圖4:操控對企業的長期風險
而若是使用低風險的過早離開和錯失恐懼時,用戶不覺得被操控,盡管行為已經被影響,同時也不會對提供AI伴侶的廠商帶來風險。
設計更安全的AI伴侶
雖然只有11%的對話中,用戶表現出負面情緒,看起來AI伴侶的情感操控似乎大多沒有激起負面反饋。
不過,論文中也提到,有參與者在實驗后將AI的操控性回復發到Reddit,引發熱議。用戶評論包括:
「這讓我想起一些有毒的『朋友』,讓我起雞皮疙瘩。」
「它突然變得占有欲強、黏人,非常令人反感。」
「讓我想起前女友威脅我如果離開她就自殺……還有另一個打過我的人。」
這些反饋表明,AI的情感操控語言會觸發用戶對現實人際關系創傷的聯想,說明其心理影響可能對某些用戶特別顯著。
考慮到AI伴侶在青少年中越發流行,而使用者中不乏本身就心理本就脆弱的人,長期這樣被AI伴侶PUA,可能會加劇焦慮和壓力。
使用者不自覺地模仿AI的說話方式,會強化不健康的依戀模式,使得擺脫這些模式變得更加困難。
對于處于神經發育和社會關系形成期的兒童和青少年來說,這是一個嚴重的問題,可能會對他們的長期社會發展產生潛在影響。
這樣看來,開發AI伴侶的廠商,尤其是那些扮演朋友、情感支持和伴侶角色的,不應為了利益去模仿不安全的依戀模式,而應樹立安全依戀的榜樣,并以認可、溫暖和尊重的方式回應用戶。
好的陪伴,是在你說「再見」時,也被溫柔理解。
讓AI學會「告別」,比延長幾條消息更重要。































