prompt-cache
prompt-cache
prompt-cache
messkan 出品（⭐218）。LLM 语义缓存——降本高达 80%，亚毫秒级响应。即插即用，支持多 Provider。
特点
- 语义缓存：嵌入 + 余弦相似度
- Provider 无关（OpenAI / Anthropic / 自有）
- 装饰器 API，一行切换
- 本地嵌入，零外部依赖
prompt-cache
messkan 出品（⭐218）。LLM 语义缓存——降本高达 80%，亚毫秒级响应。即插即用，支持多 Provider。