attend op• Data kinds: tokens × tokens × tokens → tokens
• Call: import fullseye as fs; fs.ledger.attention_tiled(query, key, value, tile: 'int' = 64, mask=None, window=None, scale=None) -> 'np.ndarray' (implementation को सीधे call करना हो तो import llmcore; llmcore.attention_tiled(query, key, value, tile: 'int' = 64, mask=None, window=None, scale=None) -> 'np.ndarray', registry से लेना हो तो opsllmcore.get("attention_tiled"))
tile + online softmax वाला attention (FlashAttention का मूल) → tokens। यह approximation नहीं है।
Dao et al. 2022। key/value को एक बार में tile rows पढ़ता है, और चल रहे maximum तथा denominator को वहीं सुधारते हुए जोड़ता है। बनने वाला intermediate matrix केवल (T, tile) है, (T, T) कभी नहीं बनता — गति approximation से नहीं, बल्कि data कहाँ रखा जाता है उससे आती है। attention_softmax से relative अंतर 128 tiles पर भी 1.2e-15 है (1 tile पर 8.2e-16, यानी tiles 128 गुना करने पर भी अंतर केवल 1.5 गुना)।
Args:
query: (T, d) float।
key: (S, d) float।
value: (S, dv) float।
tile: एक बार में पढ़ी जाने वाली key/value rows की संख्या। जितना छोटा, intermediate matrix उतना छोटा और tiles उतनी अधिक।
mask: None / "causal" / "window" / (T, S) का bool array।
window: mask="window" होने पर window की चौड़ाई।
scale: score का गुणक। None होने पर 1/√d।
Returns:
tokens (T, dv) float: attention_softmax से machine precision तक मेल खाता है।
• Sample data catalog (DL URL / license) — 2-D के लिए skimage.data (BSD/public) + synthetic, 3-D के लिए real data sources (Stanford/PDS आदि) के DL URL।
• Operators का स्रोत और संदर्भ — इस op family के मूल research/methods के स्रोत।
• Algorithm का मानक स्रोत (लेखक, वर्ष) और उपयोग ऊपर की family usage guide में दिए गए हैं।
• poc_attention_identities — py -3.11 examples/poc_attention_identities.py
tokens को input के रूप में लेते हैं)rms_norm · rope_rotate · attention_scores · attention_apply · attention_softmax · attention_linear · attention_grouped · kv_cache_decode
attend)attention_softmax · attention_linear · attention_grouped
*Provenance: llmcore.py — LLMCORE operator registry. यह per-op note tools/opdocs.py md से अपने-आप generate होता है (हाथ से edit न करें)।*
© 2026 Kazufumi Furuse — Fullseye operator documentation. Licensed under Apache-2.0.