AI slop 先摧毀信任再拖垮分發
最近看到 r/LocalLLaMA 一串討論 AI slop 的文章，原作者比較不同 subreddit 的生成內容，短時間拿到約 77 votes。留言最有意思的地方，反而是大家很快發現文字指紋不可靠。有人把文章全部改成小寫，就能避開部分風格偵測，也有人提醒，mod 刪得越快，留下來的資料越偏向 survivor，最後拿來訓練偵測器的樣本本身就失真。
從產品角度來看，AI slop 的真正成本有兩層。第一層是信任成本。使用者看到幾篇看似完整、實際沒有資訊密度的文章後，會開始降低對整個 feed 的期待。第二層是分發成本。推薦系統若把互動量誤當成價值，越容易批量生產的內容越容易被推高，最後讓高品質作者也得花更多力氣搶救自己的曝光。社群產品的核心資產就這樣被同時稀釋。
所以只抓 delve、tapestry、破折號這些詞，最多只能抓到最表面的低價值生成內容。它很像用一個關鍵字規則判斷一個 user 是否值得信任，誤判會很高，而且很容易被改寫。翻譯使用者也可能因為句型異常被誤傷，這個 trade-off 不能假裝不存在。
我會把 moderation 訊號分成三層。第一層是內容訊號，例如重複句型、具體資訊比例、引用是否真的支持結論。第二層是帳號訊號，例如帳號歷史、發文頻率、同一段內容是否跨社群大量重複。第三層是行為訊號，例如留言長度是否長期極端一致、互動是否集中在短時間、發文後是否出現異常互讚群，以及寫作風格是否在一天內突然改變。單一訊號都不應直接刪文，應該用來調整 reach、要求補充來源，或送進人工 review。
產品團隊可以先做一個 4 週 shadow test。把新訊號組成風險分數，但先不影響使用者，只比較高分與低分內容的 7 日留存、有效留言率，以及被檢舉後成立的比例。我的最低驗證門檻會是，高風險組的有效留言率低於整體 50%，且成立檢舉率高出 2 倍，才值得把分數接到分發。接上之後再做 10% 流量的 holdout，觀察每位活躍使用者看到的重複內容下降多少，以及新作者的 7 日留存有沒有改善。
重點是把目標從「找出 AI 寫的文章」改成「保護使用者做判斷所需的信號」。AI 輔助寫作本身未必有問題，真正傷害社群的是低成本、低責任、可大量複製的內容佔據了注意力。產品若只追逐一組會變形的文字特徵，最後很可能只是在追一個永遠換名字的問題。
作者：MingTech