看法
LLM/SLM

講一遍聽不見,你可以多講幾遍: Prompt Repetition Improves Non-Reasoning LLMs

CC
CCL
發布於: 3 個月前
74
2
加載中...

留言區

排序
JI
3 個月前
蔡英文梗圖超好笑,你去哪裡翻的 確實讓人一秒掌握這篇 paper 的意義
CH
Chi
#2
3 個月前
哈哈 這篇超棒,之前有寫一篇貼過來,我這幾天是過後體感不錯,但我沒做 Eval: Prompt Repetition Improves Non-Reasoning LLMs 最近讀到一篇很土炮但有效的 preprint,Google 的研究員把同一段 prompt 直接貼兩次(<QUERY><QUERY>), 在不開推理模式的情況下,Gemini / GPT / Claude / DeepSeek 在 ARC、OpenBookQA、GSM8K、MMLU-Pro、MATH 等多數測試都變準, 而且幾乎不會讓輸出變長、延遲也大多差不多,他們把這招叫 prompt repetition。 我覺得它有趣的點是,這其實是在補 causal LM 的結構限制:模型只看得到前文,所以「關鍵資訊」如果放在不對的位置, 就容易被用不到;重複一次等於讓關鍵片段在序列裡出現兩次,更容易對齊到彼此, 它在那種長上下文的抽取/定位題(例如要你從一串名字中找第 N 個)效果甚至誇張到離譜。 缺點就是 input token 直接翻倍,成本跟 context window 都要付錢, 但是現在 model 普遍 input token 較 output token 便宜,而且效能都是卡在 output token 的速度上, 所以我目前認為非常值得去試試,尤其在傳統 RAG 系統上。
關聯 / 被收藏牆
被引用
尚未被引用或收藏
相關卡片
尚無相關卡片