holdout_threshold — EMPROOF evaluate op

• Datenarten: signal × signal × signal × signal → table

• Aufruf: import fullseye as fs; fs.ledger.holdout_threshold(train_pos, train_neg, test_pos, test_neg, target_fpr: 'float' = 0.05) -> 'dict' (die Implementierung direkt: import emproof; emproof.holdout_threshold(train_pos, train_neg, test_pos, test_neg, target_fpr: 'float' = 0.05) -> 'dict'; aus dem Register: opsemproof.get("holdout_threshold"))

Verwendung

> Für diesen Operator gibt es noch keine Übersetzung. Es folgt der Originaltext unverändert.

閾値を訓練側で選び、評価は別の側で測る(score が高いほど「疑わしい」)。

`tau = 訓練の負例(仕込んでいない成分・対)の偽陽性率が target_fpr` 以下になる最小の閾値

(負例スコアの上位 `target_fpr 分位)。返すのは tau` と、訓練・評価それぞれの AUC・TPR・FPR、件数。

評価側の数字だけを主張に使う ―― 閾値を選んだ側で測った TPR は必ず楽観する(evolve の holdout 規律を

op に切り出したもの)。AUC は Mann–Whitney(同点 0.5)。

>>> r = holdout_threshold(tr_pos, tr_neg, te_pos, te_neg, target_fpr=0.05)

>>> r["tau"], r["test_auc"], r["test_tpr"], r["test_fpr"]

Ausführlicher Anwendungsleitfaden

• Leitfaden zur Familie emproof

Referenzen (Beispieldaten, Literatur)

• Katalog der Beispieldaten (Download-URLs / Lizenzen) — 2-D nutzt skimage.data (BSD/Public Domain) plus synthetische Bilder, 3-D nennt Download-URLs echter Datenquellen (Stanford, PDS, …).

• Herkunft und Literatur der Operatoren — die Quellen der Forschung/Verfahren, auf denen diese Operatorfamilie beruht.

• Der kanonische Algorithmus (Autor, Jahr) und seine Anwendungen stehen im Familienleitfaden oben.

Ausführbare Beispiele (verifizierte Samples, die diesen Operator wirklich aufrufen)

• poc_em_second_opinion — py -3.11 examples/poc_em_second_opinion.py

Typkompatible Folge-Operatoren (nehmen table als Eingabe)

—

Gleiche Kategorie (evaluate)

—


*Provenance: emproof.py — EMPROOF Operator-Registry. Diese Notiz wird von tools/opdocs.py md erzeugt (nicht von Hand bearbeiten).*

© 2026 Kazufumi Furuse — Fullseye operator documentation. Licensed under Apache-2.0.