prepare op• Data kinds: tokens → tokens
• Call: import fullseye as fs; fs.ledger.rms_norm(tokens, eps: 'float' = 0.0, weight=None) -> 'np.ndarray' (implementation को सीधे call करना हो तो import llmcore; llmcore.rms_norm(tokens, eps: 'float' = 0.0, weight=None) -> 'np.ndarray', registry से लेना हो तो opsllmcore.get("rms_norm"))
RMS normalization → tokens। default (eps=0, weight नहीं) में आउटपुट का RMS बिल्कुल 1 है।
Zhang और Sennrich 2019। LayerNorm में से mean घटाने वाला चरण हटाया गया रूप है; बचता है केवल "हर row का norm बराबर करना" -- इसलिए RMS का 1 होना ही cross-check है (measured 2.2e-16)। eps डालने पर यह 1 से हटता है। यही eps की क़ीमत है।
Args:
tokens: (T, d) float। 1 row 1 token है।
eps: square root के अंदर जोड़ा गया offset। 0 पर RMS ठीक 1, positive पर 1 से कम हो जाता है।
weight: (d,) float या None। learning से मिलने वाला हर axis का गुणक (केवल गुणा होता है, इसलिए RMS बदलता है)।
Returns:
tokens (T, d) float: हर row को उसके अपने RMS से भाग देकर (weight हो तो गुणा करके)।
जिन rows के सभी components 0 हों उन्हें भाग नहीं दिया जा सकता, इसलिए ValueError (चुपचाप 0/0 का NaN नहीं लौटाया जाता)।
• Sample data catalog (DL URL / license) — 2-D के लिए skimage.data (BSD/public) + synthetic, 3-D के लिए real data sources (Stanford/PDS आदि) के DL URL।
• Operators का स्रोत और संदर्भ — इस op family के मूल research/methods के स्रोत।
• Algorithm का मानक स्रोत (लेखक, वर्ष) और उपयोग ऊपर की family usage guide में दिए गए हैं।
• poc_attention_identities — py -3.11 examples/poc_attention_identities.py
tokens को input के रूप में लेते हैं)rope_rotate · attention_scores · attention_apply · attention_softmax · attention_tiled · attention_linear · attention_grouped · kv_cache_decode
prepare)*Provenance: llmcore.py — LLMCORE operator registry. यह per-op note tools/opdocs.py md से अपने-आप generate होता है (हाथ से edit न करें)।*
© 2026 Kazufumi Furuse — Fullseye operator documentation. Licensed under Apache-2.0.