ホーム /ベンチマーク・評価・較正 /jev-orderby-bench
jev-orderby-bench
Jev の確率に対する ORDER BY が妥当かを測定し、事前登録されたゲートのもとでペアごとの逆転、人間の評点に対する Score の順序性、較正、言い回しの不変性を検査し、20 Newsgroups のトピックでは合格、Amazon ESCI の商品関連度では 6 条件中 4 つで不合格となり、DuckDB 拡張を通した 40 行のバッチ状態では、1 リクエスト 1 行なら通るランキングのゲートに落ちることを示しています。
このページは英語版リストから生成しています。
readme より
jev-orderby-bench Does ORDER BY over a Jev probability put rows in a defensible order? An independent measurement of TypeSafe AI's Jev (jev-1.13.0) on the properties a semantic sort actually depends on: pairwise inversion rate, Score ordinality against a graded target, and whether the probabilities move with evidence or with wording. Calibration (ECE, …
詳細
- セクション
- ベンチマーク・評価・較正
- owner
- yodablocks
- スター
- 0
- フォーク
- 0
- 最終更新
- 2026-09-20
- 言語
- Python
- ライセンス
- MIT
- claim
- pre-registered
これは何か
- 形態
- データセットやベンチマーク
- ホストエージェント
- 単体で動作
- 対象
- 研究者
成熟度
ドキュメント
実測値を報告しています