Twinkle 共享的 LLM API 算力資源
剛剛看到 Twinkle 分享了一個社群自架的 LLM API,覺得很值得推薦給大家。
作者說雲端 LLM API 價格一直是大家抱怨的痛點,特別是要做 LLM-as-Judge 或是大規模 合成資料 時,很快就會爆成本。
他們現在釋出的是:
Llama-4-Scout-17B-16E-Instruct
embedding-gemma-300m
還直接開了 endpoint 和 key,鼓勵大家去壓測。
對研究或 side project 來說,這種資源算是很實用。
附上他們的 colab,可以去試試看
作者:Chi