AIGC宇宙 AIGC宇宙

Gemini API推出隐式缓存功能,开发者成本降低75%

Gemini API推出隐式缓存(Implicit Caching)功能,为开发者带来显著的成本优化体验。 新功能无需开发者手动创建缓存,当请求与先前请求共享共同前缀时,系统将自动触发缓存命中,提供高达75%的Token折扣。 此更新已覆盖Gemini2.5Pro和2.5Flash模型,进一步提升了AI开发的成本效益。

Gemini API推出隐式缓存(Implicit Caching)功能,为开发者带来显著的成本优化体验。新功能无需开发者手动创建缓存,当请求与先前请求共享共同前缀时,系统将自动触发缓存命中,提供高达75%的Token折扣。此更新已覆盖Gemini2.5Pro和2.5Flash模型,进一步提升了AI开发的成本效益。官方详情可参考:https://developers.googleblog.com

核心机制:自动缓存与动态折扣

隐式缓存功能通过识别请求中的共同前缀,自动复用先前处理过的上下文数据,减少重复计算的Token消耗。例如,开发者在构建聊天机器人或代码分析工具时,常需重复发送相同的系统指令或大型数据集,隐式缓存可将这些内容自动存储并以更低的成本调用。AIbase了解到,为增加缓存命中率,Google建议开发者将固定内容置于请求开头,动态内容(如用户问题)置于末尾。社交媒体反馈显示,开发者对这一功能的自动化设计和成本节约效果表示高度认可。

222.jpg

技术细节与开发者福利

根据官方数据,隐式缓存的最小请求Token要求已大幅降低,Gemini2.5Flash为1024Token,2.5Pro为2048Token,约相当于750至1500字的文本,显著提高了缓存触发的可能性。开发者无需额外配置即可享受折扣,API返回的usage_metadata中会明确显示缓存Token数量(cached_content_token_count),确保计费透明。此外,Google保留了显式缓存API,供需要保证成本节约的场景使用。AIbase编辑团队认为,隐式缓存的推出为中小型开发团队提供了更低门槛的AI开发机会。

应用场景与行业影响

隐式缓存功能特别适用于高频重复上下文的场景,例如:

自定义聊天机器人:无需重复发送长提示,降低运营成本;

代码库分析:高效处理大型代码库的重复请求;

文档处理:加速对长篇文档的问答或总结任务。

AIbase观察到,Gemini API的此次更新正值AI开发成本竞争加剧的背景,OpenAI和Anthropic等竞品也在优化其API定价。Google通过隐式缓存进一步巩固了Gemini在成本效率和开发友好性上的优势。社交媒体讨论指出,该功能可能推动更多开发者将Gemini集成到生产环境中,尤其是在预算敏感的项目中。

AI开发的成本革命

Gemini隐式缓存功能的发布标志着AI开发向更高效、更经济的方向迈进。AIbase编辑团队预计,随着Google持续优化缓存机制(如降低延迟或扩展缓存场景),Gemini API将在聊天机器人、RAG系统和多模态应用中获得更广泛采用。未来,隐式缓存可能与其他功能(如代码执行或多模态处理)结合,进一步提升开发者的生产力。

相关资讯

自有歪果仁为DeepSeek「辩经」:揭穿围绕DeepSeek的谣言

围绕 DeepSeek 的谣言实在太多了。 面对 DeepSeek R1 这个似乎「一夜之间」出现的先进大模型,全世界已经陷入了没日没夜的大讨论。 从它的模型能力是否真的先进,到是不是真的只用了 550W 进行训练,再到神秘的研究团队,每个角度都是话题。
2/5/2025 2:37:00 PM
机器之心

程序员购买OGOpenAI.com域名转向DeepSeek

最近,一名软件工程师以 “不到一顿 Chipotle 餐的价格” 购买了 OGOpenAI.com 域名,并将其重定向至中国人工智能实验室 DeepSeek 的网站。 该实验室在开源 AI 领域崭露头角,吸引了广泛的关注。 据软件工程师阿纳奈・阿罗拉(Ananay Arora)向《TechCrunch》透露,他的初衷是为了支持 DeepSeek,因为该实验室最近推出了一款名为 DeepSeek-R1的开放版本模型,声称在某些基准测试中表现优于 OpenAI 的 o1。
1/23/2025 4:32:00 PM
AI在线

腾讯云上线DeepSeek全系API接口并打通联网搜索

腾讯云宣布完成对深度求索(DeepSeek)大模型的深度整合——正式上线DeepSeek-R1和V3原版模型的API接口,并创新性接入自研大模型知识引擎,同步开放联网搜索能力。 凭借腾讯云在推理并发和生成速率等方面的优化,用户可以获得更加稳定、安全、低门槛的使用体验。 开发者只需在云上简单三步即可实现API接口调用,并通过大模型知识引擎提供的文档解析、拆分、embedding、多轮改写等能力,灵活构建专属的AI服务。
2/8/2025 2:09:00 PM
AI在线
testab