inflight-request-queue

保持有限数量的独立阻塞 I/O 请求处于飞行状态（即“N 个请求的队列”，通常为 2），而不是严格按顺序逐个发出请求，以重叠网络往返时间和服务器计算时间，消除空闲等待间隙。适用于在循环中对本地模型服务器（如 Ollama / vLLM / TGI）、REST API 或数据库发起大量独立调用的场景——在这些场景中，顺序阻塞循环会导致服务器在客户端打包并发送下一个请求时处于空闲状态。涵盖线程池 / asyncio 信号量模式、顺序保持、快速失败错误传播、服务端并发前提条件（如 OLLAMA_NUM_PARALLEL）、“更多并发请求”并非总是更优的原因，以及必须通过基准测试验证实际加速效果的规则。触发条件：存在对阻塞 API/LLM/数据库调用的 `for` 循环、出现“速度慢 / 串行执行”问题、使用 LLM 作为评判进行批量评分、嵌入/生成任务的扇出操作。

存档时间线

版本索引永久保留；内容副本只保留最新 1 份，更早版本仅留索引与哈希（存档时间线的证据链不会因此断裂）。

下载存档内容副本