openjev-sglang
基于 SGLang 的 Jev 兼容 API 端点,仅做 prefill。
本页由英文清单自动生成。
来自 readme
openjev-sglang A server implementing the TypeSafe/Jev HTTP API with Qwen3.6-35B-A3B on SGLang. Each container one B200 with SGLang 0.5.19's Rust frontend, radix caching, and breakable prefill CUDA graphs. A separate Python API process uses FastAPI, uvloop, the Rust-backed HF tokenizer, and pooled asynchronous HTTP connections to SGLang on localhost. CUDA …
这是什么
- 形态
- 代理或服务
- 宿主智能体
- 独立运行
- 面向人群
- 智能体开发者
成熟度
文档