feat(relay): 新增上下文缓存中继,支持增量上传
每轮只发新增的 user/tool 消息,relay 查表拼接后再转发上游,慢上行链路省掉 90%+ 上传。 - 协议:X-Context-Id + X-Context-Hash(空 = 全量替换),不命中回 409 由客户端重发全量 - 不带 header 或模型没开白名单 → 完全透明转发 - 单会话上限与总量 LRU 两个阈值,不设条数上限(会在最需要增量时打回全量) - 响应原样 pipe,不解析 SSE、不改帧、不缓冲 - 零依赖,纯 node:http
This commit is contained in:
@@ -0,0 +1,15 @@
|
||||
{
|
||||
"port": 7865,
|
||||
"upstream": "http://workbuddy2api:7863",
|
||||
"max_body_mb": 64,
|
||||
"store": {
|
||||
"ttl_ms": 604800000,
|
||||
"max_bytes": 5242880,
|
||||
"max_total_bytes": 268435456,
|
||||
"models": {
|
||||
"cn:deepseek-v4.1-flash": true,
|
||||
"cn:*": true,
|
||||
"global:*": false
|
||||
}
|
||||
}
|
||||
}
|
||||
Reference in New Issue
Block a user