核心概念
请求控制
公共服务使用的并发和限流方式。
服务使用持久化的 IP 与全局请求限制、有界搜索队列、独立的搜索与 SQLite worker,以及 DashScope 和 Milvus 并发信号量。
调用 DashScope 前,SQLite 会为当前 UTC 分钟原子预留一次请求和输入 token 上限;收到响应后再按实际用量结算。默认值与模型限制一致:24,000 RPM 和 1,000,000 TPM。
成功的查询 embedding 会写入缓存。多个相同查询同时未命中缓存时,只会发出一次供应商请求。