緣起:
前陣子跟之前的同事聊天,聊著聊著,他讓我加入他的 google pro
家庭方案,那方案除了共享 5TB 的雲端空間外,還有 gmini pro ai
能用。我就想試試看,pro 的 ai
模型有沒有比較強,能不能讓它幫我寫勾羿的小說。
我問它,有關遊戲“九日”裡的勾芒跟羿,你知道什麼嗎?
你媽媽的,還是理解得很狗屁不通,這樣肯定是無法寫出符合九日背景的小說(後來發現,其實用
LLM Note),這時,我的腦子開始有了想在自己本地跑 LLM
的想法,我那時打的算盤是,在本地跑的話,能調整的東西比較多,我可以給它九日的參考資料,讓它了解世界觀之後再依此來創作,一定會比那些雲端
ai 模型在網路上亂查資料後再産的內容還要好。
接下來的一兩天,我一直在研究 ollama 跟怎麼把設定的文本塞進
prompt 裡,雖然有成功跑起來,但後來發現,那個 context window 根本不夠啊 ~~
光是不到 1/10 的世界觀文本就塞不進了,如果真的還是想跑的話,只能自己做
RAG,太麻煩了吧。
後來轉頭一查,發現 claude project
的功能很符合自己的需求,唉呀,我應該一開始就先查看看有什麼現成的功具可以達成我需求的。不過這樣瞎折騰下來,有學到東西就是了。