TMMLU+ (繁體中文多任務理解資料集)
TMMLU+ (Traditional Chinese Massive Multitask Language Understanding Plus )是 iKala 提出的,一個專門用來評估 Foundation Models 在繁體中文能力的測試資料集。
TMMLU+ 採用多選題問答形式,涵蓋 66 個科目,範圍從小學到專業層級,與上一個版本的 TMMLU 相比,TMMLU+ 的資料量擴增了 六倍,並且在科目分佈上更加均衡。
iKala 在 TMMLU+ 中收錄了多種模型的 Benchmark 測試結果,包括封閉源模型以及 20 個開源中文大型語言模型 (參數規模從 1.8B 到 72B 不等)
實驗結果顯示,繁體中文版本的模型表現仍明顯落後於以簡體中文訓練的主流模型。
HF 可以直接使用。
作者:Chi