홈 /오픈 모델과 재현 구현 /openjev-sglang
openjev-sglang
SGLang에서 동작하는 Jev 호환 API 엔드포인트이며, prefill만 수행합니다.
이 페이지는 영문 목록에서 생성했습니다.
readme에서
openjev-sglang A server implementing the TypeSafe/Jev HTTP API with Qwen3.6-35B-A3B on SGLang. Each container one B200 with SGLang 0.5.19's Rust frontend, radix caching, and breakable prefill CUDA graphs. A separate Python API process uses FastAPI, uvloop, the Rust-backed HF tokenizer, and pooled asynchronous HTTP connections to SGLang on localhost. CUDA …
상세
- 섹션
- 오픈 모델과 재현 구현
- owner
- ekzhang
- 스타
- 207
- 포크
- 22
- 최근 커밋
- 2026-09-18
- 언어
- Python
어떤 프로젝트인가
- 형태
- 프록시 또는 서비스
- 호스트 에이전트
- 단독 실행
- 대상
- 에이전트 개발자
성숙도
문서