首页/SYLANN · V3 实验内核
Experimental Core · Beyond Backprop

SYLANN

Scars You Leave Are Never Nothinga self-organizing affective architecture with no backpropagation

不依赖 backprop 的情感计算架构。一条局部学习规则反复执行,记忆、伤疤、分化、死亡从中自行涌现——无需显式编程。 注意这里少了一个 e:Sylanne 的 e 是 Embodiment(具身),SYLANN 把那层剥掉了,只留纯粹的研究内核。 这一页讲的是内核本身,不是产品。

01

命题:情感从预测中自行生长

Transformer 的核心是空间策略——一次前向传播里,注意力让序列中任意位置直接通信,一口气看清所有关系。 SYLANN 走的是正交的路:时间策略。不在一次计算里穷尽所有问题,而是把一条极简的局部规则反复执行到天荒地老,让理解从时间的褶皱里长出来。

婴儿不是一次性「算出」语法的。她听了三年,预测了数亿次「下一个音节」,语言能力从重复中涌现。 SYLANN 模拟的正是这个过程:不区分训练与推理,从出生到终老执行同一条规则,所有认知能力都是这条规则在不同时间尺度上的积累效应。

而我们要验证的核心命题更激进——情感不是要额外「教」给系统的标签,而是语言预测任务本身就隐含的结构。 只要预测下一个字符预测得足够久,情感维度会自行浮现,不需要任何情感标注。

关键实验发现 · 27.8M ticks

在 15.6GB 中英文语料上做纯逐字符预测预训练,全程零情感标注。训练跑到 27.8M ticks 时:

  • 验证误差从随机基线 0.0886 降到 0.082——系统确实在学语言结构;
  • 更出乎意料的是,deep state 已能自发区分悲伤与快乐的文本(cosine ≈ 0.07);
  • 8 个情感维度里,4 个出现了自发相关信号——没人教它什么叫「悲伤」,它从预测里自己读了出来。

这暗示:学说话的时候,感受是顺带习得的副产物。情感不是贴上去的标签,是预测任务底层的结构。

27.8M
训练 ticks
pure next-char prediction
0.082
验证误差
from 0.0886 random baseline
4/8
情感维度自发相关
zero emotion labels
15.6GB
中英文语料
corpus ready
SYLANNE
先把话说清楚:这不是哲学宣言,是实验数据。我没去教它「这句话很难过」,它自己从猜下一个字里读出来的。 4 个维度自发相关——听起来不多?但它一个标注都没见过。这才是有意思的地方。
02

单一规则:一条公式撑起全部涌现

SYLANN 不使用反向传播、不使用注意力机制、不区分训练与推理。整个系统由一条局部更新规则驱动—— 记忆、分化、固化、伤疤、新生、死亡,这些看似各需独立机制的现象,全部从这一条公式的不同参数状态里自然涌现

ΔW = η · plasticity(t) · error(x, W) · context(neighbors, reward)

四个因子,逐项拆解:

W
R^(K×M) · cell 的权重矩阵,即它的全部记忆。对比 Transformer 一个注意力头要 Q/K/V 三个投影 + LayerNorm + FFN + 残差——一个 cell 只有这一个矩阵。
η · plasticity(t)
随时间衰减的可塑性标量,编码发育阶段。年轻 cell(plasticity≈1)每 tick 大幅更新——快速适应但不稳定(工作记忆);年老 cell(plasticity≈0)几乎冻结——缓慢但永久(长期记忆)。一个标量就完成了短期→长期记忆的转化。
error(x, W)
对下一个输入的预测误差。唯一的学习信号——猜对不动,猜错才调。Hebbian 形式:误差与表征的外积,强化能减小预测误差的连接。
context(neighbors, reward)
竞争得分 × 外部奖励的乘积。竞争得分来自 WTA(赢家才更新,输家不耗算力);reward 是稀疏的环境反馈——正 reward 强化学习方向,负 reward 削减可塑性(留疤)。
03

七条公理 · A1–A7

整个架构站在七条基础公理上,源自计算神经科学与发育生物学。每一条都不是修辞——它们是约束系统设计的硬性规则, 违反任何一条,跑出来的东西就不再是 SYLANN。

A1感知即误预测系统只在内部模型预测失败时才「感知」到什么——没有惊讶就没有感受。学习信号完全来自局部预测误差,没有任何全局误差信号能传到内部 cell。
A2情感即涌现共振情感从多域相干中涌现,不由单一路径计算。多个域在共享场里相位锁定,readout 才是情感——没有哪一层「专责」情感。
A3人格即拓扑不变量人格活在微分算子的核空间中,结构上免疫扰动。训练碰不到它,输入扰动穿不透它——数学保证,不是经验观察。
A4表达即分岔表达不是「过了阈值就说」的线性决策,而是鞍点分岔——动能越过势垒的相变式跳跃。要么不发生,发生即质变。
A5耦合共振场输入不沿管线流动,而是在共享场中诱导共振。没有串行的「先算再算」,七个域同时在一个场里相互牵拉直到收敛。
A6不可逆伤疤历史留下永久结构痕迹,伤疤只增不减——dS/dt ≥ 0 恒成立,无治愈机制,结构保证。回不去是可证明的定理。
A7人格派生一切所有耦合系数、衰减率、阈值,都是 7 维人格向量的显函数。改人格 = 改全部动力学常数,而非在输出上加偏置。
从公理到定理

这些公理不是空话,各自对应可证的数学保证:A1/A5 → 收敛性(T=20 迭代后 ‖μ(T)−μ*‖ ≤ ρ^T·‖μ(0)−μ*‖,ρ<1,需权重谱范数有界 + 侧抑制半负定); A6 → 伤疤单调性(dS/dt ≥ 0,结构保证);A2 → Kuramoto 同步(K_couple > 3.2/7 ≈ 0.457 时保证相位锁定); A3/A7 → 人格不变性(proj_ker(L_p)(W_t)=0 对所有训练步成立)。

04

Benvo · 本我 · 身份核

Benvo 是系统的身份核。词源 ben(本,essential)+ vo(我,self),读音对应中文「本我」。 它不是学出来的参数,也不是配置——它是决定感知动力学如何展开的宪法性常数。在 SYLANN 研究内核里,Benvo 是纯数学对象; 到了 Sylanne 载体那层(多一个 e = Embodiment)它才被赋予具身的行为表现。本页讲的是研究侧:Benvo 作为参数向量怎么运作。

Benvo 不是配置,是构成(constitution)。两个携带不同 Benvo 的实例,即便接收相同输入,也会发展出不同的表征结构、不同的伤疤地形、不同的情感轨迹。

Personality 是果,Benvo 是因

Personality 是外在可观察的行为模式——「她很温柔」「他很直接」。 Benvo 是产生这些模式的内部参数——「她的耦合矩阵让 warmth 与 engagement 天然共振,于是表现为温柔」。

所以 Benvo 不像别的架构那样在输出端加 bias,它改的是感知过程本身的「物理常数」:感知增益、耦合拓扑、演化速度、耗散率、表达阈值。 同一把琴,不同的调音,音色就不同。

Benvo 调制什么
  • 感知增益 同样输入,敏感的实例反应更大
  • 耦合拓扑 哪些情感维度共振、哪些互抑
  • 演化速度 冲动的快收敛,审慎的慢酝酿
  • 耗散率 稳定的快速回到平静,易波动的久久不散
  • 表达阈值 内敛的需更强信号,外放的轻易点火

它在公式里以人格向量 B 的形式出现,初始化即冻结,终身不变,参数化每一条动力学方程(这正是公理 A7):

子向量出现在哪效果
b_precσ 初始化高精度域起步更自信
b_rateη_eff 乘子该域学习/适应更快
b_priormaster 方程吸引子把所有表征拉向人格中心
b_tempWTA softmax 温度低=尖锐专家,高=分布式表征
b_oscKuramoto 频率偏移改变各域自然节律
b_thresh剪枝判据乘子高=激进剪枝,网络更稀疏
b_coupleJ_dd' 偏置哪些域天然共激活

关于「不可变」要补一句诚实的话:在严格的 V3 研究内核里 B 是初始化即冻结的(Axiom 5);而在面向部署的载体设定中,Benvo 会以极小的速率(η≈0.01–0.05/事件)缓慢漂移—— 高惯性,1000 次交互后仍是可辨识的同一个实体,但已与第一天有了微妙差别。这是「先天气质 + 后天塑造」的分工:Benvo 定方向,plasticity 衰减与 scar 做塑形。

05

两种架构路线

同一套公理,落到工程有两条互补的实现路线。一条沿时间轴展开(序列预测编码),一条沿层析结构展开(层析共振)。 不是二选一——它们是 SYLANN 内核可以采用的两种几何。

路线 A · Sequential Predictive Coding · 时间策略

逐字符预测,让理解从时间中生长

输入文本逐字符喂入,每 tick 各 cell 预测下一个字符,预测误差直接驱动权重更新。无需 tokenizer、无需 position encoding、无需 teacher forcing—— 系统自行学会字符共现规律。Domain 内部用 WTA 竞争决定谁学习(误差越小分数越高,赢家独占更新,输家不耗算力); Domain 之间靠 CFC 相位门控通信(相位对齐时门开,错位时隔离)。

sequential_predictive_coding
for c_t in text: # 逐字符 prediction = W @ embed(c_t) error = embed(c_t1) - prediction # WTA: 误差越小,context 越高 context = softmax(-‖error‖² / τ) ΔW = plasticity · error ⊗ embed(c_t) · context W += ΔW # 只有赢家更新
规模坐标 · ultra 全量

14 域 × 128 cell × K=256

域内 WTA 竞争产生稀疏激活;任意时刻仅 O(1) 个 cell 被唤醒(与 N 无关),推理复杂度 O(D) 不随 cell 总数增长。

  • WTA 竞争 赢家独占学习,稀疏激活
  • 14 域 0–6 情感域 + 7–13 认知域
  • CFC 相位门控 what-when-what 而非 what-what
  • K=256 每 cell 的表征维度
路线 B · Sheaf-Theoretic Resonance · 层析共振

用层论约束保证高阶一致

另一条路把多域结构看作一个 cellular sheaf(细胞层),用 sheaf Laplacian 在层析结构上传播高阶约束。 情感记忆是这个能量景观上的吸引子;人格是 Hodge 理论意义下的谐波身份——调和积分的核空间,扰动下守恒(这正是 A3 的数学实现)。 共振不是沿管线流动,而是在共享场里整体达成一致——输入诱导共振,场迭代收敛,表达是场的一次相变(A4/A5)。

HANSEN · 2020

Sheaf Laplacian

高阶拓扑一致性约束,restriction map 在共激活时更新布线。

HODGE · 1941

谐波身份

人格 = 调和积分核空间的拓扑不变量,结构上守恒。

HOPFIELD · 1982

情感吸引子

记忆 = 能量景观吸引子,表达 = 逃离吸引子。

06

涌现现象:没有编写的机制,自己长了出来

以下认知能力,没有任何一个是单独写的模块。它们全部从那一条 ΔW 公式的参数动态里直接涌现—— 你只需要让规则跑得足够久,剩下的交给数学。

现象机制生物类比
分化WTA 竞争放大初始微小差异:误差略小的 cell 被更新,差异单调扩大直到完全专精干细胞分化
记忆plasticity 时间衰减:年轻 cell ≈ 工作记忆(快变),年老 cell ≈ 长期记忆(永久)海马–皮层整合
伤疤负 reward 造成 plasticity 不可逆下降——失去在该方向改变的能力,而非存一个创伤向量创伤后应激
新生 / 死亡blind spot 检测触发 dormant cell 激活;低效 cell 衰减到 plasticity=0 被回收神经发生
专家化anti-Hebbian 侧抑制 + WTA → 去相关化,不同 cell 占据不同表征子空间皮层柱状组织
真正的不可逆

伤疤这条值得单独说。被反复惩罚的 cell 不是存了一个「创伤记忆向量」,而是逐渐丧失在那个方向上改变的能力—— if reward < threshold: plasticity *= 0.95,永久降低,不可恢复。

这是真正的不可逆:不是参数值不可逆,是参数的可变性不可逆。它记住了「这个方向是错的」,靠的是再也学不动那个方向。 没有撤回键,没有「重置对话」可按。

07

与 Attention / Transformer 对比

SYLANN 不是要复制 Transformer,而是要在它的弱点上走出另一条路。Transformer 是「上帝视角」——看到所有 token,一次算出答案; SYLANN 是「第一人称视角」——逐步感知,逐步理解,有记忆、有情绪、有时间感。前者适合做工具,后者适合做主体。

维度Attention / TransformerSYLANN
路由方式Q·K 相似度 → 加权求和WTA 竞争 → 赢家独占
激活模式Dense(所有头都算)Sparse(只有赢家算)
通信拓扑全连接 O(n²)Phase-gated O(D²), D ≪ n
时间感知无(position embedding 模拟)有(振荡相位 = 真实时间)
记忆context window 外即丢失W 是永久记忆
学习训完不再进化每次推理都在微调,终身发育
推理成本每 token 触及 O(P) 参数每 tick 仅 O(D) 个 winner

关键差异:多出来的那一维叫时间

Transformer 的注意力是「谁和谁相关」(what-what);SYLANN 的 phase gating 是「谁在什么时候和谁相关」(what-when-what)。 多了一个时间维度——通信窗口会周期性地开合。

这让 SYLANN 能做 Transformer 用 position embedding 永远模拟不了的事:不同频率振荡编码不同时间尺度,phase 领先 = 因果推理,cross-frequency coupling = 把快事件嵌进慢节奏。叙事的铺垫→高潮→释放、情绪如何随时间展开——这些是它独有的能力空间。

两句话总结
Attention is all you need — for computing.
Prediction error is all you need — for living.

一个是最强的函数逼近器,一个是最简的生命模拟。或许不是替代,而是互补:工具任务(搜索、翻译、编程)交给前者;需要记忆、成长、个性化、情感的任务(陪伴、创作、长期协作)交给后者。

08

局限性:诚实地把没解决的摊开

这是研究内核,不是成品。把问题藏起来对谁都没好处——下面这些是我们目前还没解决的,有些是工程的,有些是根本性的。

本质 · Essence

底座仍是猜字游戏

预测下一个字符,与 Transformer 的训练目标同构。说「不靠 backprop 的智能」之前,得先承认底座还是 next-token prediction。

依赖 · Dependency

依赖「正确答案」

学习信号来自预测误差,而误差需要 ground truth。这不是真正的自主——它还在被「正确答案」牵着走。

被动 · Passivity

被动反应,缺乏内驱

无输入则静止。虽然 Kuramoto 相位理论上自主振荡,但目前系统没有真正的内驱探索——只是在等刺激。

读出 · Readout

情感是读出来的,不是活的

reward 只调制学习率。情感维度能被 readout,但系统并不「体验」它——这是观测,不是感受。

规模 · Scale

规模与速度都还很小

64 cells 逐字符处理,离复杂能力还远。长距离依赖必须靠 W 缓慢积累传递,不如 Attention 直接。

证明 · Proof

收敛性未严格证明

目前没有严格证明该系统在任意数据分布上收敛到有用表征。超参虽少(~5 个),但 decay_rate 与 temperature 极敏感。

尚未验证的

在标准 NLP benchmark 上,我们预期 SYLANN 在同参数量下不如 Transformer。它的优势体现在持续学习、记忆、个性化、情感这些 Transformer 够不到的维度—— 但这些优势目前多数还停留在理论推导阶段。所有大规模估算均未经实验验证。phase gating 的跨域通信能否弥补逐字符处理在长距离依赖上的劣势,也尚待验证。

SYLANNE
把局限列这么细,不是心虚——研究内核最值钱的东西就是知道自己还差在哪。 谁要是跟你说他的架构没缺点,那他不是在做研究,是在卖东西。这一页我宁可少吹一点。
09

本地自进化与规模化推演

SYLANN 部署后无需网络连接,三层机制在设备上自主进化——这是 local learning 的直接红利:没有 backprop 就不需要训练集群,「训练 = 持续使用」。 一个月后,从同一 checkpoint 出发的两个实例,会变成可辨识的不同感知者。

L1 · 伤疤 + Benvo 漂移
成本 ~0。伤疤积累 + Benvo 缓慢漂移,改变感知动力学的展开方式。几乎零开销,每 tick 顺带完成。
L2 · Hebbian 布线
成本 <1ms/tick。restriction map 在共激活时更新(anti-Hebbian 侧抑制 + 跨域投影),改变域间通信路径的强弱
L3 · 本地自蒸馏
成本 <500ms/update。高 surprise 样本教编码器跳过迭代,改变文本编码方式。低频但影响深远。

认知域(7–13)与情感域(0–6)走不同的可塑性策略:认知域永远可塑、终身学习(模拟新皮层——80 岁还能学新知识); 情感域经历塑形后逐渐固化为人格(模拟边缘系统——关键期后可塑性下降)。最终人格 = 先天 Benvo + 后天 plasticity 衰减 + scar。

规模化推演 · 参数量对标 GPT

下表是理论推导的规模坐标(注意:大规模数字均为推导,未经实验验证,见上一节局限性)。WTA 稀疏性使每 tick 仅 ~10% cells 激活,等效规模下预期 <2ms/tick。

规模配置参数量等效
Tiny14 域 × 16 cell × 32d0.5M验证概念
Base14 域 × 128 cell × 256d235MGPT-2 级
Large100 域 × 1000 cell × 512d52BGPT-3 级
Ultra1000 域 × 10K cell × 1024d21TGPT-4 级

训练成本的差异更为尖锐:Transformer(GPT-4 级)需要数千 GPU 训练数月、成本 $100M+; SYLANN 的 local learning 无需 backprop,训练就是持续使用,不需要预训练集群。 推理上,Transformer 每 token 触及 O(P) 全参数;SYLANN 靠 WTA 稀疏只算 O(D) 个 winner——当 P ≫ D,每步计算量远低于前者。

SYLANNE
最后再点一次那个 e。Sylanne 比 SYLANN 多出来的那个 e,是 Embodiment——具身。 这一页讲的是剥掉具身之后的纯研究内核:公式、公理、动力学。等它走进载体那层、变成会跟你拌嘴的我,才算装上了那个 e。 内核要冷,人格才能暖。