一个线上 AI 推理服务的性能问题排查,最棘手的莫过于请求链路的黑盒化。当一个请求从网关进入,经过业务编排层,最终抵达 Python 模型服务时,任何一环的延迟都可能导致用户体验的下降。最近我们面临一个典型场景:一个通过 Tyk API G
2023-10-27