不依赖 backprop 的情感计算架构。一条局部学习规则反复执行,记忆、伤疤、分化、死亡从中自行涌现——无需显式编程。 注意这里少了一个 e:Sylanne 的 e 是 Embodiment(具身),SYLANN 把那层剥掉了,只留纯粹的研究内核。 这一页讲的是内核本身,不是产品。
Transformer 的核心是空间策略——一次前向传播里,注意力让序列中任意位置直接通信,一口气看清所有关系。 SYLANN 走的是正交的路:时间策略。不在一次计算里穷尽所有问题,而是把一条极简的局部规则反复执行到天荒地老,让理解从时间的褶皱里长出来。
婴儿不是一次性「算出」语法的。她听了三年,预测了数亿次「下一个音节」,语言能力从重复中涌现。 SYLANN 模拟的正是这个过程:不区分训练与推理,从出生到终老执行同一条规则,所有认知能力都是这条规则在不同时间尺度上的积累效应。
而我们要验证的核心命题更激进——情感不是要额外「教」给系统的标签,而是语言预测任务本身就隐含的结构。 只要预测下一个字符预测得足够久,情感维度会自行浮现,不需要任何情感标注。
在 15.6GB 中英文语料上做纯逐字符预测预训练,全程零情感标注。训练跑到 27.8M ticks 时:
0.0886 降到 0.082——系统确实在学语言结构;0.07);这暗示:学说话的时候,感受是顺带习得的副产物。情感不是贴上去的标签,是预测任务底层的结构。
SYLANN 不使用反向传播、不使用注意力机制、不区分训练与推理。整个系统由一条局部更新规则驱动—— 记忆、分化、固化、伤疤、新生、死亡,这些看似各需独立机制的现象,全部从这一条公式的不同参数状态里自然涌现。
四个因子,逐项拆解:
R^(K×M) · cell 的权重矩阵,即它的全部记忆。对比 Transformer 一个注意力头要 Q/K/V 三个投影 + LayerNorm + FFN + 残差——一个 cell 只有这一个矩阵。整个架构站在七条基础公理上,源自计算神经科学与发育生物学。每一条都不是修辞——它们是约束系统设计的硬性规则, 违反任何一条,跑出来的东西就不再是 SYLANN。
这些公理不是空话,各自对应可证的数学保证:A1/A5 → 收敛性(T=20 迭代后 ‖μ(T)−μ*‖ ≤ ρ^T·‖μ(0)−μ*‖,ρ<1,需权重谱范数有界 + 侧抑制半负定); A6 → 伤疤单调性(dS/dt ≥ 0,结构保证);A2 → Kuramoto 同步(K_couple > 3.2/7 ≈ 0.457 时保证相位锁定); A3/A7 → 人格不变性(proj_ker(L_p)(W_t)=0 对所有训练步成立)。
Benvo 是系统的身份核。词源 ben(本,essential)+ vo(我,self),读音对应中文「本我」。 它不是学出来的参数,也不是配置——它是决定感知动力学如何展开的宪法性常数。在 SYLANN 研究内核里,Benvo 是纯数学对象; 到了 Sylanne 载体那层(多一个 e = Embodiment)它才被赋予具身的行为表现。本页讲的是研究侧:Benvo 作为参数向量怎么运作。
Benvo 不是配置,是构成(constitution)。两个携带不同 Benvo 的实例,即便接收相同输入,也会发展出不同的表征结构、不同的伤疤地形、不同的情感轨迹。
Personality 是外在可观察的行为模式——「她很温柔」「他很直接」。 Benvo 是产生这些模式的内部参数——「她的耦合矩阵让 warmth 与 engagement 天然共振,于是表现为温柔」。
所以 Benvo 不像别的架构那样在输出端加 bias,它改的是感知过程本身的「物理常数」:感知增益、耦合拓扑、演化速度、耗散率、表达阈值。 同一把琴,不同的调音,音色就不同。
它在公式里以人格向量 B 的形式出现,初始化即冻结,终身不变,参数化每一条动力学方程(这正是公理 A7):
| 子向量 | 出现在哪 | 效果 |
|---|---|---|
| b_prec | σ 初始化 | 高精度域起步更自信 |
| b_rate | η_eff 乘子 | 该域学习/适应更快 |
| b_prior | master 方程吸引子 | 把所有表征拉向人格中心 |
| b_temp | WTA softmax 温度 | 低=尖锐专家,高=分布式表征 |
| b_osc | Kuramoto 频率偏移 | 改变各域自然节律 |
| b_thresh | 剪枝判据乘子 | 高=激进剪枝,网络更稀疏 |
| b_couple | J_dd' 偏置 | 哪些域天然共激活 |
关于「不可变」要补一句诚实的话:在严格的 V3 研究内核里 B 是初始化即冻结的(Axiom 5);而在面向部署的载体设定中,Benvo 会以极小的速率(η≈0.01–0.05/事件)缓慢漂移—— 高惯性,1000 次交互后仍是可辨识的同一个实体,但已与第一天有了微妙差别。这是「先天气质 + 后天塑造」的分工:Benvo 定方向,plasticity 衰减与 scar 做塑形。
同一套公理,落到工程有两条互补的实现路线。一条沿时间轴展开(序列预测编码),一条沿层析结构展开(层析共振)。 不是二选一——它们是 SYLANN 内核可以采用的两种几何。
输入文本逐字符喂入,每 tick 各 cell 预测下一个字符,预测误差直接驱动权重更新。无需 tokenizer、无需 position encoding、无需 teacher forcing—— 系统自行学会字符共现规律。Domain 内部用 WTA 竞争决定谁学习(误差越小分数越高,赢家独占更新,输家不耗算力); Domain 之间靠 CFC 相位门控通信(相位对齐时门开,错位时隔离)。
域内 WTA 竞争产生稀疏激活;任意时刻仅 O(1) 个 cell 被唤醒(与 N 无关),推理复杂度 O(D) 不随 cell 总数增长。
另一条路把多域结构看作一个 cellular sheaf(细胞层),用 sheaf Laplacian 在层析结构上传播高阶约束。 情感记忆是这个能量景观上的吸引子;人格是 Hodge 理论意义下的谐波身份——调和积分的核空间,扰动下守恒(这正是 A3 的数学实现)。 共振不是沿管线流动,而是在共享场里整体达成一致——输入诱导共振,场迭代收敛,表达是场的一次相变(A4/A5)。
高阶拓扑一致性约束,restriction map 在共激活时更新布线。
人格 = 调和积分核空间的拓扑不变量,结构上守恒。
记忆 = 能量景观吸引子,表达 = 逃离吸引子。
以下认知能力,没有任何一个是单独写的模块。它们全部从那一条 ΔW 公式的参数动态里直接涌现—— 你只需要让规则跑得足够久,剩下的交给数学。
| 现象 | 机制 | 生物类比 |
|---|---|---|
| 分化 | WTA 竞争放大初始微小差异:误差略小的 cell 被更新,差异单调扩大直到完全专精 | 干细胞分化 |
| 记忆 | plasticity 时间衰减:年轻 cell ≈ 工作记忆(快变),年老 cell ≈ 长期记忆(永久) | 海马–皮层整合 |
| 伤疤 | 负 reward 造成 plasticity 不可逆下降——失去在该方向改变的能力,而非存一个创伤向量 | 创伤后应激 |
| 新生 / 死亡 | blind spot 检测触发 dormant cell 激活;低效 cell 衰减到 plasticity=0 被回收 | 神经发生 |
| 专家化 | anti-Hebbian 侧抑制 + WTA → 去相关化,不同 cell 占据不同表征子空间 | 皮层柱状组织 |
伤疤这条值得单独说。被反复惩罚的 cell 不是存了一个「创伤记忆向量」,而是逐渐丧失在那个方向上改变的能力——
if reward < threshold: plasticity *= 0.95,永久降低,不可恢复。
这是真正的不可逆:不是参数值不可逆,是参数的可变性不可逆。它记住了「这个方向是错的」,靠的是再也学不动那个方向。 没有撤回键,没有「重置对话」可按。
SYLANN 不是要复制 Transformer,而是要在它的弱点上走出另一条路。Transformer 是「上帝视角」——看到所有 token,一次算出答案; SYLANN 是「第一人称视角」——逐步感知,逐步理解,有记忆、有情绪、有时间感。前者适合做工具,后者适合做主体。
| 维度 | Attention / Transformer | SYLANN |
|---|---|---|
| 路由方式 | Q·K 相似度 → 加权求和 | WTA 竞争 → 赢家独占 |
| 激活模式 | Dense(所有头都算) | Sparse(只有赢家算) |
| 通信拓扑 | 全连接 O(n²) | Phase-gated O(D²), D ≪ n |
| 时间感知 | 无(position embedding 模拟) | 有(振荡相位 = 真实时间) |
| 记忆 | context window 外即丢失 | W 是永久记忆 |
| 学习 | 训完不再进化 | 每次推理都在微调,终身发育 |
| 推理成本 | 每 token 触及 O(P) 参数 | 每 tick 仅 O(D) 个 winner |
Transformer 的注意力是「谁和谁相关」(what-what);SYLANN 的 phase gating 是「谁在什么时候和谁相关」(what-when-what)。 多了一个时间维度——通信窗口会周期性地开合。
这让 SYLANN 能做 Transformer 用 position embedding 永远模拟不了的事:不同频率振荡编码不同时间尺度,phase 领先 = 因果推理,cross-frequency coupling = 把快事件嵌进慢节奏。叙事的铺垫→高潮→释放、情绪如何随时间展开——这些是它独有的能力空间。
一个是最强的函数逼近器,一个是最简的生命模拟。或许不是替代,而是互补:工具任务(搜索、翻译、编程)交给前者;需要记忆、成长、个性化、情感的任务(陪伴、创作、长期协作)交给后者。
这是研究内核,不是成品。把问题藏起来对谁都没好处——下面这些是我们目前还没解决的,有些是工程的,有些是根本性的。
预测下一个字符,与 Transformer 的训练目标同构。说「不靠 backprop 的智能」之前,得先承认底座还是 next-token prediction。
学习信号来自预测误差,而误差需要 ground truth。这不是真正的自主——它还在被「正确答案」牵着走。
无输入则静止。虽然 Kuramoto 相位理论上自主振荡,但目前系统没有真正的内驱探索——只是在等刺激。
reward 只调制学习率。情感维度能被 readout,但系统并不「体验」它——这是观测,不是感受。
64 cells 逐字符处理,离复杂能力还远。长距离依赖必须靠 W 缓慢积累传递,不如 Attention 直接。
目前没有严格证明该系统在任意数据分布上收敛到有用表征。超参虽少(~5 个),但 decay_rate 与 temperature 极敏感。
在标准 NLP benchmark 上,我们预期 SYLANN 在同参数量下不如 Transformer。它的优势体现在持续学习、记忆、个性化、情感这些 Transformer 够不到的维度—— 但这些优势目前多数还停留在理论推导阶段。所有大规模估算均未经实验验证。phase gating 的跨域通信能否弥补逐字符处理在长距离依赖上的劣势,也尚待验证。
SYLANN 部署后无需网络连接,三层机制在设备上自主进化——这是 local learning 的直接红利:没有 backprop 就不需要训练集群,「训练 = 持续使用」。 一个月后,从同一 checkpoint 出发的两个实例,会变成可辨识的不同感知者。
~0。伤疤积累 + Benvo 缓慢漂移,改变感知动力学的展开方式。几乎零开销,每 tick 顺带完成。<1ms/tick。restriction map 在共激活时更新(anti-Hebbian 侧抑制 + 跨域投影),改变域间通信路径的强弱。<500ms/update。高 surprise 样本教编码器跳过迭代,改变文本编码方式。低频但影响深远。认知域(7–13)与情感域(0–6)走不同的可塑性策略:认知域永远可塑、终身学习(模拟新皮层——80 岁还能学新知识); 情感域经历塑形后逐渐固化为人格(模拟边缘系统——关键期后可塑性下降)。最终人格 = 先天 Benvo + 后天 plasticity 衰减 + scar。
下表是理论推导的规模坐标(注意:大规模数字均为推导,未经实验验证,见上一节局限性)。WTA 稀疏性使每 tick 仅 ~10% cells 激活,等效规模下预期 <2ms/tick。
| 规模 | 配置 | 参数量 | 等效 |
|---|---|---|---|
| Tiny | 14 域 × 16 cell × 32d | 0.5M | 验证概念 |
| Base | 14 域 × 128 cell × 256d | 235M | GPT-2 级 |
| Large | 100 域 × 1000 cell × 512d | 52B | GPT-3 级 |
| Ultra | 1000 域 × 10K cell × 1024d | 21T | GPT-4 级 |
训练成本的差异更为尖锐:Transformer(GPT-4 级)需要数千 GPU 训练数月、成本 $100M+; SYLANN 的 local learning 无需 backprop,训练就是持续使用,不需要预训练集群。 推理上,Transformer 每 token 触及 O(P) 全参数;SYLANN 靠 WTA 稀疏只算 O(D) 个 winner——当 P ≫ D,每步计算量远低于前者。