商傳媒|責任編輯/綜合外電報導

人工智慧(AI)應用日益普及,但其帶來的效率提升並非沒有代價。雲端資料倉儲公司Snowflake的執行長斯里達爾·拉馬斯瓦米(Sridhar Ramaswamy)對當前AI產業中盛行的「Token Maxxing」現象表達了擔憂,他直指這項為最大化Token使用量而產出結果的行為,實際上是一種「糟糕透頂的主意」。

Token Maxxing:從狂熱追求到效率反思

Token是AI模型在學習和推論過程中,處理資訊的最小資料單位,可以想像成文字或標點符號的小片段。一個AI Agent(AI助理或代理,指能自主執行任務的AI軟體)在執行任務時,可能需要消耗數千個Token。過去,包含輝達(Nvidia)在內的科技巨頭曾引領一股對AI Token使用的狂熱。輝達執行長黃仁勳去年三月甚至在一次播客中表示,他會擔心一位年薪達50萬美元的工程師,若年底未將其中25萬美元花費在Token上,這暗示了對Token使用的鼓勵。

然而,這種盲目追求Token使用量,卻引發了意想不到的副作用。亞馬遜(Amazon)曾設定目標,要求開發人員每週使用AI的比例超過八成,導致員工為達到目標,指示AI Agent執行不必要的任務來消耗Token,進而提高自己的績效評分。據金融時報報導,一名亞馬遜工程部門資深副總裁因此敦促員工,不應僅為使用AI而浪費Token。亞馬遜最終停用了其內部追蹤員工AI工具使用情況的「Kiro Rank」工具。

社群媒體巨擘Meta(臉書的營運商)也曾透過名為Claudenomics的排行榜追蹤8.5萬名員工的Token使用量,並選出前250名。這鼓勵員工競爭「不朽者」(Immortal)或「Token傳奇」(Token Legend)等頭銜。然而,當Token消耗本身成為目標,導致每月Token使用量超過60兆,其中表現最佳的員工單獨使用了2,810億個Token,內部抱怨聲四起,最終開發該工具的員工將其停用。Shopify也曾是Token排行榜的推動者,但在副作用浮現後,現已將其改為單純的「使用量儀表板」。

轉向策略性應用:衡量實質生產力

面對Token消耗帶來的巨大成本與效率問題,企業開始調整策略。Uber便是一個例子,今年其AI年度預算在四個月內便被耗盡,主因是大量使用Anthropic的程式碼生成工具「Claude Code」。這讓Uber對投資報酬率(ROI,衡量投資效益的指標)亮起警訊,隨後便對AI使用量設定了上限。

Salesforce則從單純計算Token數量的評估方式,轉向引入「Agent Work Units (AWU)」的概念,用以評估AI Agent實際處理工作的多寡。而Snowflake執行長拉馬斯瓦米也強調,企業並不需要龐大的AI模型來處理所有任務,他指出:「您不需要大型模型來判斷用戶文字中是否帶有怒氣,事實上,這些判斷可以非常簡單地完成。」他認為,過去資料分析師需要數天才能將客戶回饋分類,如今透過簡單的英文指令,小型模型就能有效完成。

拉馬斯瓦米建議,透過結合使用先進模型和開源模型,並根據推論(inference)的性質來優化模型組合,例如在簡單任務中使用較小的Sonnet模型而非更龐大的Opus模型(Opus是Anthropic AI模型Claude的頂級版本,Sonnet次之),以有效管理Token成本。他強調,為提高生產力,關鍵在於系統性地組織任何大型任務,區分專案中重要與次要的部分,並實驗性地採用小型模型,以提升整體效益。