首页 /开源模型与复刻 /openjev-sglang

openjev-sglang

基于 SGLang 的 Jev 兼容 API 端点,仅做 prefill。

本页由英文清单自动生成。

来自 readme

openjev-sglang A server implementing the TypeSafe/Jev HTTP API with Qwen3.6-35B-A3B on SGLang. Each container one B200 with SGLang 0.5.19's Rust frontend, radix caching, and breakable prefill CUDA graphs. A separate Python API process uses FastAPI, uvloop, the Rust-backed HF tokenizer, and pooled asynchronous HTTP connections to SGLang on localhost. CUDA …

详情

分区
开源模型与复刻
owner
ekzhang
星标
207
复刻
22
最近提交
2026-09-18
语言
Python

这是什么

形态
代理或服务
宿主智能体
独立运行
面向人群
智能体开发者
成熟度
文档

适合用来

最匹配的意图