SOGO論壇
  登入   註冊   找回密碼
查看: 2316|回覆: 0
列印 上一主題 下一主題

[AI 應用] ChatGPT 胡說八道,竟逼這家公司連夜開發新功能!AI 幻覺的荒謬現實與機會 [複製連結]

Rank: 10Rank: 10Rank: 10

狀態︰ 離線
跳轉到指定樓層
1
發表於 2025-7-9 15:37:26 |只看該作者 |倒序瀏覽 | x 1
ChatGPT 誤導用戶上傳不合規格的資料,意外迫使互動樂譜平台 Soundslice 開發新功能,揭示 AI 幻覺對產品路線的衝擊與機會?

上百封夾帶 ChatGPT 截圖的客服信,在近期間淹沒互動樂譜平台 Soundslice,聲稱 GPT 告訴他們只要「把 ASCII 吉他譜丟進 Soundslice,就能立即轉為互動樂譜」。

但這短短一句看似熱心的 AI 指引,卻讓 Soundslice 連日陷入錯誤日誌海嘯。原來,ChatGPT 告訴用戶該平台支援的  ASCII Tab 轉譯功能事實上根本不存在。當數百名使用者照做卻屢屢碰壁,工程師才驚覺 AI 幻覺正在把幽靈需求推向真實世界。

原來 ChatGPT 是告訴人們去 Soundslice 建立一個帳戶,然後匯入 ASCII 標籤才能聽到音訊播放。所以這就解釋了!

AI 幻覺闖禍:從錯誤日誌到市場需求
Soundslice 是一項透過 OMR AI 技術掃描傳統樂譜生成互動學習素材的新創,但在 2025 年初,伺服器卻突然湧入大量失敗請求,全部指向「上傳 ASCII Tab」。

官方追查來源,發現不少使用者附上與 ChatGPT 的對話截圖,這才發現 AI 不只「捏造」功能還口氣篤定,導致品牌形象與用戶期待嚴重錯位。

Soundslice 原本提供的功能是用戶只要上傳五線譜(如下圖左方)就可將其轉換為可播放、編輯的數位樂譜,但被 GPT 誤導的用戶則是上傳 ASCII tab 樂譜(如下圖右方)。

 

被迫的產品迭代:三難決策
面對蜂擁而至的幽靈需求,Soundslice 有三條路:無視、澄清,或乾脆實作。

管理團隊思考過後認為,無視行不通、發公告雖能止血,卻恐使用戶失望,於是選擇順水推舟,將 ASCII Tab 解析功能加速推出(這在他們「預計 2025 年要開發的軟體」清單中排名靠後)。

共同創辦人 Adrian Holovaty 在個人部落格寫道:據我所知,這是第一起因為 ChatGPT 錯誤地告知用戶該功能的存在而導致公司開發該功能的案例。 (是嗎?)我分享這個故事是因為我覺得它挺有趣的。

同時他也提出了一個引人思考的關點:我對此感到很矛盾。我很高興能添加一個能幫助人們的工具。但我覺得我們的做法有點奇怪。我們真的應該開發一些功能來應對錯誤訊息嗎?

AI 幻覺新課題,治理與機會
其實 Soundslice 不是唯一受害者(或者說是受益者?)。GitHub Copilot 也曾產生不存在的程式庫名稱,引發開發者誤裝惡意套件的 slopsquatting 攻擊(詳見 SD Times 報導)。Coveo 報告也指出,AI 幻覺正侵蝕產品可靠度。

但既然 AI 幻覺現階段還難以避免,就要學會駕馭。企業或許可在錯誤日誌與社群對話中佈署「AI 觀測雷達」,即時捕捉錯誤推薦;同時在產品路線圖預留「幻覺緩衝池」一旦出現突如其來的熱門功能呼聲,能快速做 MVP 驗證。

Soundslice 的案例印證了幽靈需求也可能變現或發現用戶潛藏的需求,但就如共同創辦人 Adrian Holovaty 所說,他們這麼做是對的嗎?還需要管理團隊好好思考。

錄自:BlockTempo
已有 1 人評分SOGO幣 收起 理由
smartlion + 10 您發表的文章內容豐富,無私分享造福眾人,.

總評分: SOGO幣 + 10   查看全部評分

喜歡嗎?分享這篇文章給親朋好友︰
               感謝作者     

您需要登錄後才可以回覆 登入 | 註冊


本論壇為非營利自由討論平台,所有個人言論不代表本站立場。文章內容如有涉及侵權,請通知管理人員,將立即刪除相關文章資料。侵權申訴或移除要求:abuse@oursogo.com

GMT+8, 2025-7-23 03:44

© 2004-2025 SOGO論壇 OURSOGO.COM
回頂部