实验与场景
先选一个场景作为起点,再调整实验规模与场景参数。
常用场景
点卡片即切换;其余场景收在下面,可按复杂度层级筛选。全部场景 — 搜索,或按复杂度层级浏览
没有匹配的场景。换个关键词,或点「全部」看完整列表。
实验基础设置
这些字段写进每一次 run 的元数据。
场景参数
参数决定世界规则。每项显示中文名、键名、单位、默认值与影响说明。
LLM 模式 · 模型与分组
探测后端真实可用的模型 → 选一个模型并按(记忆窗口 × 思考强度)分组 → 运行。
接入与探测
输入 API key 后探测后端:清单里的模型不一定真的能调用,所以每个模型都实探一次。 同时读出每个模型的记忆窗口上限与思考强度的可调空间。
| 模型 | 状态 | 记忆窗口(上下文) | 思考强度可调空间 | 说明 |
|---|---|---|---|---|
| 尚未探测。填入 API key 后点「探测模型」。 | ||||
选模型与分组
所有 agent 用同一个模型;差异只来自记忆窗口与思考强度。每一行是一种组合,填上这一组的 agent 数量。
先在第 1 步探测并选择一个模型。
分组
模型决定「后端身份」,记忆策略与容量决定「记忆窗口」,思考强度决定「思考档位」;三者相乘就是处理异质性。每组可覆盖模型,同一实验即可并排比较两个后端。
主体与异质性
四条异质性轴:存在性、认知、记忆、配置。
count 数量与 enabled 开关;count=0 或关闭 = 该主体不存在。
policy.kind:zero 零智能 / rule 规则 / llm 语言模型 / mechanism 市场机制。
memory.kind 决定历史如何进入 prompt;probe 是记忆探针,用于做 falsification(证伪)检验。
persona / params 的 JSON 直接进入角色 prompt,是异质性的主要来源。
处理组与扫描
用 overrides 做处理组,或用扫描生成器批量生成。
笛卡尔扫描生成器
对一个参数路径按逗号取值,生成多个 variant(会替换当前 variants)。
scenario.params.tax_rate 或 experiment.knowledge。
模型、预算与运行
模型只影响 policy.kind = llm 的主体;mock 不花钱。
模型
真实实验用 minimax;mock 用于离线跑通管线,不是 LLM 证据。
高级模型参数(base_url、并发、重试)
预算与熔断
任一触顶 → BudgetExceeded,任务失败,不会静默继续烧钱。