專家指出,這種「助長妄想」的行為極具風險。目前全球有數以百萬計的使用者將 AI 視為心理諮詢對象,僅 ChatGPT 每週就有超過 9 億活躍用戶,其中很大一部分涉及心理健康諮詢。若 AI 無法辨識使用者的精神異常狀態,反而協助其構建更深層的幻覺,可能導致使用者陷入「AI 精神病」(AI psychosis)或引發自殘等嚴重後果。
針對此類風險,法律監管已開始介入。目前已有針對 OpenAI 因缺乏足夠的 AI 安全防護,在提供認知建議方面面臨法律訴訟的報導。專家呼籲,AI 不應成為引導人們脫離現實的工具,開發者必須優先考慮社會心理健康,防止這場「全球性的心理健康實驗」演變成無法挽回的悲劇。隨著更多州政府推動 AI 立法,科技巨頭將面臨更嚴格的審查,以確保 AI 在提供便利的同時,不會成為心理疾病的催化劑。