OpenRouter上线响应缓存:相同请求零计费,延迟从秒级降到毫秒

robot
摘要生成中

币界网消息,OpenRouter推出响应缓存(response caching)功能,开发者在请求头中加入x-openrouter-cache: true即可启用。首次调用正常走供应商计费,之后完全相同的请求直接返回缓存结果,不产生token费用。缓存命中后响应时间在80到300毫秒之间,查询平均4毫秒。未缓存时,Gemini 2.5 Flash平均约1.3秒,Kimi K2.6约4.6秒,GPT-5.5约9.1秒。该功能与供应商的prompt缓存不同,响应缓存完全跳过供应商,从OpenRouter边缘缓存直接返回完整响应。文本、图片、音频、文档、工具调用均可缓存,覆盖四个端点。缓存按API key隔离,TTL默认5分钟,可设为1秒到24小时。

此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论