近期，科技界傳來一則新動態(tài)，谷歌在其Gemini 2.5 API中引入了名為“隱式緩存”的新功能，旨在通過智能化手段降低開發(fā)者的成本。據(jù)科技媒體WinBuzzer于5月9日報道，這一創(chuàng)新技術(shù)能自動識別并重用API請求中的常見前綴，從而幫助開發(fā)者實(shí)現(xiàn)成本的大幅縮減，最高可達(dá)75%。

具體而言，“隱式緩存”功能適用于Gemini 2.5系列中的Pro和Flash模型。該功能無需開發(fā)者進(jìn)行任何手動配置，系統(tǒng)默認(rèn)啟用，大大簡化了操作流程。它通過自動檢測并重用API請求中的重復(fù)前綴，有效提升了效率，降低了成本。

值得注意的是，“隱式緩存”與谷歌早前在2024年5月推出的“顯式緩存”有所不同。后者需要開發(fā)者自行配置，而前者則完全由系統(tǒng)自動處理，不僅節(jié)省了成本，還顯著提升了用戶體驗(yàn)。為了最大化隱式緩存的效果，谷歌建議開發(fā)者在構(gòu)建提示詞時，將穩(wěn)定且常見的內(nèi)容置于開頭，隨后再添加用戶特定的變量內(nèi)容。

谷歌還指出，如果開發(fā)者在短時間內(nèi)發(fā)送具有相似前綴的請求，將有助于提高緩存的命中率，進(jìn)一步提升效率。不過，為了享受這一功能，開發(fā)者需要滿足一定的Token數(shù)量要求：Gemini 2.5 Flash模型需至少1024個Token，而Gemini 2.5 Pro模型則需至少2048個Token。

為了幫助開發(fā)者更好地了解緩存的使用情況，谷歌在API響應(yīng)中新增了“cached_content_token_count”字段。這一字段將顯示緩存Token的使用詳情以及優(yōu)惠計費(fèi)信息，讓開發(fā)者能夠清晰掌握成本節(jié)約的具體情況。

盡管谷歌宣稱“隱式緩存”功能能夠帶來高達(dá)75%的成本節(jié)省，但實(shí)際效果仍需第三方進(jìn)行驗(yàn)證。同時，由于不同開發(fā)者的使用模式可能存在差異，因此具體節(jié)省的幅度也可能有所不同。

谷歌并未完全放棄“顯式緩存”方案。作為可選方案，顯式緩存仍然支持Gemini 2.5及2.0模型，并允許開發(fā)者自定義緩存內(nèi)容和生存時間（TTL，默認(rèn)1小時）。這一靈活性使得開發(fā)者能夠根據(jù)自身需求選擇最適合的緩存方案。