ホーム /オープンモデルと再現実装 /openjev-sglang
openjev-sglang
SGLang 上の Jev 互換 API エンドポイントで、prefill のみです。
このページは英語版リストから生成しています。
readme より
openjev-sglang A server implementing the TypeSafe/Jev HTTP API with Qwen3.6-35B-A3B on SGLang. Each container one B200 with SGLang 0.5.19's Rust frontend, radix caching, and breakable prefill CUDA graphs. A separate Python API process uses FastAPI, uvloop, the Rust-backed HF tokenizer, and pooled asynchronous HTTP connections to SGLang on localhost. CUDA …
詳細
- セクション
- オープンモデルと再現実装
- owner
- ekzhang
- スター
- 207
- フォーク
- 22
- 最終更新
- 2026-09-18
- 言語
- Python
これは何か
- 形態
- プロキシやサービス
- ホストエージェント
- 単体で動作
- 対象
- エージェント開発者
成熟度
ドキュメント