近期 AI 界有些大廠開始討論「遞迴自我改進（Recursive Self-Improve）」的概念。這個概念不新，簡單來說就是 AI 能自行研發、提升自身能力。

Anthropic 最近發表了一篇文章討論這件事，主要內容是他們內部 AI 的使用狀況。他們提到，目前有超過 80% 的程式碼由 AI 生成，也開發了一套系統讓 AI 能自我升級。

這篇文章大部分內容都用數據說明 AI 的應用成效良好，工程師的效率提高，AI 獨立完成任務的能力也越來越強。

文中特別提到，雖然 AI 在程式開發和實驗方面表現出色，但人類最終仍掌握著「品味」的調整。這個「品味」指的是判斷哪些問題重要、哪些不重要、哪些結果可信、哪些不可信，以及哪些方法會是死路。目前這些事情 AI 仍無法完全做到，只有人類能處理。

關於遞迴自我改進（RSI）的未來發展，Anthropic 提出三種可能：

1. 趨勢停滯： 遇到瓶頸導致進展緩慢。

2. 效率複合： AI 與人類持續配合，成為更強大的助手。

3. 終極的自我改進： AI 建立一套系統，完全不需人類協助就能自我升級。

Anthropic 的員工們擔心第三種狀況會發生，因此在文末呼籲大家放緩 AI 的發展，不要急於應用。他們認為，如果 AI 真的能完全自我升級而不需要人類輔助，一旦失控，將沒有人類能處理。

Anthropic 在文章結尾特別提到，若遇到這種情況，全球所有研究團隊和政府單位都應該好好思考這個問題，並設法放慢及暫緩 AI 的開發。而且這必須是全球性的暫緩，單一研究室的暫緩並沒有意義。

針對這篇文章，我想吐槽關於 Anthropic 呼籲放緩 AI 發展：
Anthropic 突然跳出來說 AI 發展太快，希望大家靜下心來放慢腳步。
首先，在美國，誰會理會這個呼籲？OpenAI 早就想超越其他公司，馬斯克也絕不會聽這種話，更別說 Meta 最近也在積極追趕，不可能會想放慢。
況且現在 AI 的發展已經有點像中美大戰的關係。即使你有能力讓美國所有 AI 公司的研究室暫停 AI 發展，你也管不了中國大陸那邊的 AI 發展。
最後，早在兩三年前，AI 大佬 Yoshua Bengio 就曾說 AI 很危險，呼籲大家停下來，但當時沒人聽。現在又怎麼可能會有人停下來呢？