attention_linear — LLMCORE `attend` op

• Datenarten: tokens × tokens × tokens → tokens

• Aufruf: import fullseye as fs; fs.ledger.attention_linear(query, key, value, causal: 'bool' = False) -> 'np.ndarray' (die Implementierung direkt: import llmcore; llmcore.attention_linear(query, key, value, causal: 'bool' = False) -> 'np.ndarray'; aus dem Register: opsllmcore.get("attention_linear"))

Verwendung

Attention ohne Softmax → tokens. (QKᵀ)V == Q(KᵀV) — das Assoziativgesetz selbst.

Katharopoulos et al. 2020. Ohne softmax gilt das Assoziativgesetz des Matrixprodukts, sodass ohne (T, T) zu bilden ein Zustand der Größe (d, dv) genügt. Es ist dieselbe Zahl, nur anders geklammert, daher stimmen die Ergebnisse überein (relative Abweichung 7.1e-16), und der Aufwand wandert von O(T²d) zu O(Td²) — der Schnittpunkt liegt bei T == d (gemessen: Verhältnis 0.9 bei T=d=64, 14.6-fach bei T=1024). ★Auch bei T = 2048 sättigt das Verhältnis bei 14.4. Die von der Formel vorhergesagten 32-fach werden nicht erreicht — weil die quadratische Seite bandbreitenbegrenzt wird.

Args:

query: (T, d) float.

key: (S, d) float.

value: (S, dv) float. Bei causal=True gilt S == T.

causal: bei True wird "nur das Frühere" über einen kumulativen Zustand addiert (1 sequenzieller Durchlauf, lineare Zeit).

Returns:

tokens (T, dv) float: geht nicht durch eine softmax, ist also keine Konvexkombination mit Zeilensumme 1.

Kein Ersatz für attention_softmax, sondern eine andere Attention.

Ausführlicher Anwendungsleitfaden

• Leitfaden zur Familie llmcore

Referenzen (Beispieldaten, Literatur)

• Katalog der Beispieldaten (Download-URLs / Lizenzen) — 2-D nutzt skimage.data (BSD/Public Domain) plus synthetische Bilder, 3-D nennt Download-URLs echter Datenquellen (Stanford, PDS, …).

• Herkunft und Literatur der Operatoren — die Quellen der Forschung/Verfahren, auf denen diese Operatorfamilie beruht.

• Der kanonische Algorithmus (Autor, Jahr) und seine Anwendungen stehen im Familienleitfaden oben.

Ausführbare Beispiele (verifizierte Samples, die diesen Operator wirklich aufrufen)

• poc_attention_identities — py -3.11 examples/poc_attention_identities.py

Typkompatible Folge-Operatoren (nehmen `tokens` als Eingabe)

rms_norm · rope_rotate · attention_scores · attention_apply · attention_softmax · attention_tiled · attention_grouped · kv_cache_decode

Gleiche Kategorie (`attend`)

attention_softmax · attention_tiled · attention_grouped

*Provenance: llmcore.py — LLMCORE Operator-Registry. Diese Notiz wird von tools/opdocs.py md erzeugt (nicht von Hand bearbeiten).*

attention_linear — LLMCORE attend op