AI Product Strategy · Research / System Design · 个人项目
关系型 AI 的行为边界,应该交给模型自述,还是交给系统定义?
我对比“模型自述维持关系”与“系统强制阶段、权限、证据”两条路径,用固定场景验证权限是否被遵循,再决定哪些边界必须收归系统层。
Decision Context
长期使用一个 AI,不等于关系机制已经可靠。
如果记忆、亲密度和安全边界只存在于模型的自述里,系统很难解释为什么某个行为今天被允许、明天又被撤回。问题因此从“更会聊天”转成:哪些行为权限必须被确定性地定义、约束和验证?
Question / Alternatives
模型自维护,还是系统强制?
路径 A|模型自述
让模型根据对话自行维持人格、记忆与安全边界。灵活,但难以稳定复核和撤回。
路径 B|系统强制
由阶段、权限与证据定义可执行边界,模型只能在当前授权内行动。
原型选择
采用 6 个状态、阶段×权限矩阵与 Can Act 判定,让权限变化可解释、可收回。
Evidence / Validation
30 组固定场景,把系统选择变成可检查的行为。
机制
阶段 + 权限 + 证据;记忆与安全边界在系统侧保留确定性 fallback。
验证
30 组固定场景、多版本调试,权限遵循率从 60.0% 提到 86.7%。
失败带来的判断
三类系统性失败说明,关键记忆、安全和权限不应只依赖模型自述。
Recommendation
把权限、记忆与安全收归确定性系统层。
建议:
模型可以参与表达和互动,但关系阶段、可执行权限、证据要求与撤回机制应由系统定义并验证。这样做不是为了让系统更复杂,而是让用户知道边界从何而来、何时可以改变。
Boundary / What we cannot claim
验证的是系统侧行为一致性,不是关系成功。
不能声称:60.0%→86.7% 是权限遵循率,不是留存、付费、用户满意度或情感体验成功。Orin 是非雇主的个人研究,不代表商业产品 roadmap,也不外推为真实用户关系结果。
Decision Impact / Next Action
下一步验证哪些系统边界值得继续投入。
继续验证
在更多边界场景中检查授权、纠正、撤回与修复是否保持一致。
保持克制
不把原型演示当作用户关系或商业价值证明。