NotebookLM 的多輪對話陷阱
看到這篇的分享，我就想到有一個例子可以跟大家分享。因為這個例子的回覆會有一點點長，所以還是另起爐灶好了。
我之前曾經幫別人做一個系統，這個系統大量使用了他們的 Domain Knowledge。因為我朋友很瞭解 Google 的 NotebookLM，所以他把所有資料全部塞進去後丟給我，讓我在寫程式的過程中，如果遇到 Domain Knowledge 的問題，可以直接去問那個 AI。
在我目前所知，我還是覺得 NotebookLM 是抓取資料來回答問題表現最好的 AI 系統之一。但我那次的經驗發現，因為我當時投入的時間夠長，問了非常多輪的對話，後來去驗證才發現，它很多內容其實都講錯了。
我回頭反省並查看那些對話紀錄，發現它從中間開始，可能是因為對話輪數太多了，我懷疑後面的 Gemini 模型在處理時，會把大量的對話歷史當成 context 丟進下一輪。當對話歷史過於冗長，加上原本就很大體量的參考文件，會導致它「不願意」去翻找你部署的那些原始文件，反而變成開始自己「想」出答案。
而我們都知道，AI 自己想出來的答案很容易出錯。所以反過來說，它反而是因為 context 裡面壓了太大量的歷史資料，最後導致出錯。
這個例子讓我瞭解到 NotebookLM 其實也有它的極限。它的極限在於：
1. 你每次跟它問問題，問了多輪（可能最多四、五輪）之後，差不多就要開新的聊天室重新問。
2. 如果你是針對同一個問題一直深入追問，我覺得這種問法還行。
3. 但如果你是問不同的問題，我建議還是重開、刷新一個新的聊天室，它的回答會比較準確。
作者：CCL