attention_weights — LLMCORE score op

• Data kinds: attnmap → attnmap

• Call: import fullseye as fs; fs.ledger.attention_weights(scores, mask=None, window=None) -> 'np.ndarray' (implementation को सीधे call करना हो तो import llmcore; llmcore.attention_weights(scores, mask=None, window=None) -> 'np.ndarray', registry से लेना हो तो opsllmcore.get("attention_weights"))

उपयोग

हर row पर softmax (mask सहित) → attnmap। row का योग 1, mask वाली जगहें बिल्कुल 0।

हर row में पहले maximum घटाया जाता है, फिर exponential लिया जाता है। यह सजावट नहीं है -- बिना घटाए exp करने पर scores बड़े हों तो सभी rows inf/NaN बन जाती हैं (measured: 96 में से 96 rows)। घटाने पर 0 rows।

Args:

scores: (T, T) float raw scores (attention_scores का output)।

mask: None (सभी जोड़े) / "causal" (निचला triangle) / "window" (चौड़ाई window वाला causal window) /

(T, T) का bool array। True का मतलब "देख सकते हैं"।

window: mask="window" होने पर window की चौड़ाई (ख़ुद को मिलाकर गिनती)।

Returns:

attnmap (T, T) float: हर row एक probability distribution है (योग 1)। जहाँ mask False है वहाँ ठीक 0।

उपयोग की विस्तृत guide

• llmcore family guide

संदर्भ (sample data, साहित्य)

• Sample data catalog (DL URL / license) — 2-D के लिए skimage.data (BSD/public) + synthetic, 3-D के लिए real data sources (Stanford/PDS आदि) के DL URL।

• Operators का स्रोत और संदर्भ — इस op family के मूल research/methods के स्रोत।

• Algorithm का मानक स्रोत (लेखक, वर्ष) और उपयोग ऊपर की family usage guide में दिए गए हैं।

चलाए जा सकने वाले उदाहरण (verified samples जो सच में यह op call करते हैं)

• poc_attention_identities — py -3.11 examples/poc_attention_identities.py

वे अगले ops जिनसे type जुड़ता है (attnmap को input के रूप में लेते हैं)

attention_apply

इसी category के (score)

attention_scores · attention_apply

*Provenance: llmcore.py — LLMCORE operator registry. यह per-op note tools/opdocs.py md से अपने-आप generate होता है (हाथ से edit न करें)।*

© 2026 Kazufumi Furuse — Fullseye operator documentation. Licensed under Apache-2.0.