LLM的囚徒困境

意外在曼報中發現有趣的文章：tokens are getting more expensive與openai burns the boats
碰巧最近正在思考之後如果要使用AI服務的話，該採訂閱制或是以量計價的方式

tokens are getting more expensive這篇提出一個自己過去的思考盲點：成本會隨著科技發展而遞減，乍聽之下好像沒什麼問題，工業化下的社會就是如此，新產品在上市的時候總是比較貴，等到大量生產之後就會出現售價變低

這樣的邏輯套用在AI上似乎有點行不通，原本的月租定價邏輯是你知道消費者每月最多只願意支付 20 美元。你覺得沒關係，這是經典的 VC劇本——以成本價收費，犧牲利潤來換取成長，等到明年模型成本便宜 10 倍時就可以有超額報酬，但實際狀況看起來不是這樣，作者提出一個重要的觀點：nobody wants yesterday’s newspaper——沒人想要昨天的報紙

降低10倍的成本是真實存在的，只是對於「最佳語言模型」的需求，有更好的選擇下，自然不會想要一個比較「落後」的產品，尤其是當新產品的定價與原本在使用的價格相差無幾的狀況下，換言之，對於使用者來說，他願意用20鎂/月的成本來換取使用新語言模型，而對OpenAI來說，新產品的定價容易有天花板限制，且成本降低的舊產品，願意使用的人也不多，自然難以賺到超額的報酬

舉例來說，OpanAI的gpt-3.5模型的成本已經比發行的時候低10倍，但是公司並沒有因此有大賺的情況_{（雖然還是有賺錢，但是跟成本低10倍來說，還是差很多）}，其最重要的原因就是作者提到的——nobody wants yesterday’s newspaper

LLM的囚徒困境

所有人都採用按用量計價 → 產業可持續發展
所有人都採用固定月費 → 陷入惡性競爭
你採用按用量計價，其他人用固定月費 → 你獨自滅亡
你採用固定月費，其他人用按用量計價 → 你獲勝（然後晚點再死）

當前公司遇到的困境：

• 開發新的模型會用到比過去還要多的成本，且為了因應多重的使用習性，耗費的token數會比以往多很多，或許每個token的成本變低了，但是相同的問題在新模型上，卻花費了更多token來處理
• 使用者開始制定更多自動化的作業，擴大使用量

現用的定價方式難以獲利+使用者大量使用，讓公司陷入成本高居不下的困境，眼下的模型公司幾乎都是把成長放優先

作者從3個角度來討論如何逃出困境：

1. 採取以量計價：這個只存在理論中，使用者情願為「無限量」付出高額成本，也不願以量計價這種充滿刺激感的帳單
2. 透過高昂的轉換成本來創造高利潤：想辦法把服務塞到特定對象上，過程雖然艱辛，一旦專案成功，就成功打入官僚體系，高昂的轉換成本就會變成未來獲利的來源
3. 垂直整合，從基礎設施賺錢：把應用程式託管、資料庫管理、部署監控、日誌記錄等功能捆綁在一起，雖然在每個代幣上都在虧錢，但是整體會賺錢，微軟跟AWS目前就是這個路線

已經習慣使用AI來解決一些生活上的小問題，也會用AI來替自己整理資料、翻譯文件，常用的Perplexity AI是靠台灣大哥大的帳單換來的，只有一年的使用期限，所以現在開始找比較符合自己期待的計價方式

原本覺得採取量計價的API是個穩妥的選擇，但實際使用才知道，根本很難控制語言模型回應時的token數量，之前嘗試Vibe Coding的時候，有很大的機率是要「試錯」，可能要經過多次prompt調整，才可以得到自己滿意的結果，照這樣的使用方式，就會浪費許多token；再者就如同文中提及，新的語言模型消耗token的速度很快，所以可能自己的問題還沒解決，就已經把儲值的費用花光了，這樣比較起來，訂閱可能還比較划算