AI × GAME ×
INTERACTIVE MEDIA
如果一个系统的回应不再只是功能,而开始影响人的判断、行为与关系,会发生什么?
Game Jam / HOME
在 5–10 分钟内测试回应如何成为悬疑证据。
Memory / Persistent World
在长期关系中测试记忆、遗忘与痕迹。
两个项目,是同一研究问题在不同时间尺度上的实验。
研究起点:视觉如何影响行为
研究从公共空间开始:视觉不是装饰,而是一种能够改变注意、路径与行动的环境变量。
当一个视觉信号进入车站,它不仅传递信息,也重新安排人与环境的关系:人看见、判断、移动,并用行为回应空间。
环境释放微弱视觉信号
参与者将信号与现场情境共同解释
行为变化成为人与环境关系的可见痕迹
弱视觉干预与四个同步原型
四个原型不是四件独立作品,而是围绕同一问题同步推进、相互反馈修改的 Research Co-evolution。
Information Screen
信息随人流节奏显隐,测试注意力是否能转化为停留。
可见性Advertisement
借用熟悉媒介语法,在不发出命令时改变观看方向。
熟悉性Footprint
以足迹留下行为暗示,让参与者自行选择是否跟随。
模仿Safety Line
让边界对接近作出微弱反馈,使规则从标识变成关系。
边界每次观察都会回写其他原型:屏幕的停留数据改变广告节奏,足迹的跟随结果改变安全线的反馈强度。
以下为四个原型的可运行版本:实验以独立画布嵌入,鼠标即可体验;同一时间只运行一个实验,滚出视野后自动停用。
信息屏以一双眼睛回应你的接近:移入检测区,面板展开、眼睛追随;静止注视会触发共同注意,屏幕向你展示它的注意力黑点。
实体交互通过投影 + MediaPipe 检测实现;网页中为鼠标模拟,移入屏幕区域开始体验。按 H 键切换背景颜色,按 R 键重新加载实验。
借用熟悉的媒介语法:画面持续飘落花瓣,人影拨开它们;当人静立不动,系统逐渐收束——花瓣淡出,一片引导花瓣飞向影子并被吸收。
实体展陈为投影 + MediaPipe 检测,网页中均为鼠标模拟。按 H 键切换背景颜色,按 R 键重新加载实验。
边界对接近作出回应:一排小人组成的队列随你的影子变色、避让、压缩;静止会挤出空洞,停留更久,队列分裂成两段。
实体展陈为投影 + MediaPipe 检测,网页中均为鼠标模拟。按 H 键切换背景颜色,按 R 键重新加载实验。
以足迹留下行为暗示:地面脚印引导一位参与者入场、落定、离场,环境不发出任何指令,跟随与否由你决定。
实体展陈为投影 + MediaPipe 检测,网页中均为鼠标模拟。按 H 键切换背景颜色,按 R 键重新加载实验。
四个实验的实际记录:观察到的现象、交互行为、系统回应与反思——研究档案持续建立中。
机制形成与问题再提出
从四个实验中逐步总结机制,并从既有结果中重新提出下一阶段的问题。
The mechanism emerged across four experiments, then became a starting point for the next question.
这个机制并不是预先设定的理论——它是在四个实验不断推进、比较与重新解释的过程中逐渐形成的(It was not a predefined model. It emerged through the accumulation, comparison and reinterpretation of four experiments)。
Behavior 是机制中的实际行为结果;Response 发生在行为之后,并形成下一轮 interaction——这不是线性预测模型,而是循环性的关系结构。
A result from Project 01 became a question for the next project.
回看已有的 Information Screen 实验:眼睛指示方向,移动的视觉元素逐渐组织注意力,参与者跟随视觉方向,最终目光抵达被安排的位置。
“I was already looking there.”方向在行为被意识到之前,就已经可见。
The visual system begins organizing the direction of attention before the final behavior occurs——这不证明视觉系统能预测人的行为;只有事后,参与者才可能意识到「我原本就已经在看那里了」。
一个偶然的重合:AI 产品中的「回应」× 我们研究的机制
我们在 Project 01 中逐渐发现 Response 是维持互动关系的重要节点;与此同时,它恰好也是对话式 AI 产品的基础交互单元之一。两个语境在「回应」上重合,研究由此转向。
AI Product
Response is one of the fundamental interaction units of conversational AI. 回应是对话式 AI 中最基本的交互单元之一。
Project 01
In Project 01, Response appeared as an environmental reaction after behavior. 在 Project 01 中,Response 作为环境对行为的回应出现,并成为下一轮互动的起点。
Different systems, similar interaction logic.
不同的系统,却出现了相似的互动结构——一个偶然的重合。
The mechanism emerged through iterative experiments. 四个实验各自贡献了一层机制;最终,Response 成为继续追问的节点。
Project 01 · 时间关系
What if · 时间位置对调
This is not a validated behavioral mechanism. It is a design hypothesis created by repositioning the temporal role of Response. 这不是一个已经被验证的新行为机制——它是通过重新安排 Response 的时间位置而提出的设计假设。
“Wait — I was already going there.”“How did it know?”
The interesting part is not whether the prediction is actually correct. It is the moment when the player realizes that their future action seems to have already been accounted for.
真正有趣的并不是预测是否真的准确。而是玩家意识到:自己下一步的行动似乎早已被另一个存在预先考虑过时,所产生的那一瞬间感受。
What does it feel like when something seems to know what you are going to do before you do it? 当某个存在似乎在你行动之前,就已经知道你将要做什么时,这种感觉是什么?
We are not borrowing the narrative of The Matrix. We are borrowing a feeling: the feeling that a future action has already been anticipated. 我们并不是要借用《黑客帝国》的叙事——我们借用的是一种体验:未来的行动似乎已经被提前知晓。
To make the player feel predicted, the game needs something that appears to know before the player acts. 如果要让玩家产生「自己已经被预测」的感觉,游戏中就必须存在一个看起来能够在玩家行动之前就知道某些事情的主体。
PREDICTOR — NPC / SYSTEM / CHARACTER / AI
│
response cue ↓
PLAYER ────────────→ BEHAVIOR
being predicted
From a game design perspective, the question changes: Who — or what — can carry this response? 从游戏设计角度来看,问题开始发生变化:究竟应该由谁,或者什么,来承载这个提前发生的回应?
AI 的交互结构
AI naturally exists through response——AI 的存在方式本身就建立在 input、context、response、memory 与 continued interaction 之上。因此,AI 成为承载「Response Before Behavior」的一种可能(possible carrier),也成为一种 design material。
这是一种设计可能性的判断,不是能力声明——页面不声称 AI 能够预测玩家。
We were not trying to reproduce an AI product inside a game. Instead, we asked what interaction principles from AI products could become materials for game design.
我们并不是要把一个 AI 产品原样搬进游戏——而是试图把 AI 产品中的交互机制,转化为游戏设计材料。
Next · From AI interaction to a playable relationship
AI 产品的对话交互,能否成为角色游戏的设计材料
传统角色游戏通过预设选项让玩家与角色对话。如果我们利用 AI 产品中的自由输入与动态回应,来制作同样类型的角色互动游戏——体验会不会变得不一样?
传统角色游戏 vs AI 对话游戏
两种对话结构——先看它们分别如何运作。
传统角色游戏
玩家能说什么,以及角色如何回应,通常已经被游戏设计者提前规定。
AI 对话游戏
玩家不再只能从几个预设答案中选择,而是可以直接输入自己的话。
「回应」本身,变成了一个可以被设计的空间。
AI 产品的交互模型
重点不是介绍大模型技术,而是「用户发送信息」与「系统返回信息」之间,存在一个可以被设计的过程。
Response as Design Material / 回应作为设计材料
如果 Response 不只是「答案」,而是游戏中的一个交互事件,那么可以设计什么?
七种可以被设计的回应状态——点选查看:
Design Material / Normal Response
对话按预期继续——它是所有变体得以被感知的基准线。
产品交互中的故障、延迟与等待,都可以被内化为游戏设计。
AI 的两个设计层级
「AI 怎么回应玩家」与「AI 知道什么、为什么这样回应」——是两个不同层级的设计问题。
AI BEHAVIOR · AI 的产品 / 系统行为
Waiting · Delay · No Response · Partial Response · Glitch · Response timing
AI 怎么回应玩家。
AI COGNITION · AI 的角色认知
Context · Memory · Character information · Knowledge asymmetry · Prediction
AI 知道什么,以及它为什么会这样回应。
前者决定 AI 如何回应;后者决定 AI 为什么能够这样回应。
Next · 把一个问题做成游戏原型
如果这些 AI 产品交互变量可以成为游戏设计材料,它们就不应该只停留在概念讨论中——下一步,是把其中一个问题真正做成游戏原型。
小型 Game Jam 项目:一个比你更早认识你的房间
以 AI 对话为核心互动方式的小型房间探索游戏。21 天 Game Jam 规模的原型——玩家通过「理解」推进空间,而不是通过解谜获得钥匙。
The previous chapter asked who could carry a response that arrives before behavior——上一章提出的问题是:谁能够承载一个早于行为发生的回应?HOME 是我们第一次尝试将这个问题转化为可玩的关系。
玩法介绍
这是一个以 AI 对话为核心互动方式的小型房间探索游戏。
玩家进入 User-01 的房间,通过探索空间、观察物件、与 HOME 对话、获得回应,重新理解已经看到的信息——这让新的空间逐渐开放,玩家得以继续探索。
玩家不是通过传统谜题获得钥匙来解锁房间,而是通过理解已经看到的信息,让原本不可见的空间逐渐变得可进入。
项目规模为 21 天 Game Jam 原型;「5–10 分钟」是当前原型的目标体验时长,不是项目的定位。
游戏设计的前情提要
在进入故事之前,先说明这个游戏里有哪些人、他们是什么关系,以及 HOME 到底是什么。
人物介绍
Player 就是玩家本人。她认识 User-01,拥有自己的身份、记忆和过去——她不是一块空白的白板,也不是纯粹的「被观察对象」。
User-01 是 Player 认识的普通朋友 / 熟人。他没有直接向 Player 表达感情,但长期喜欢 Player——这些感情藏在房间与日常的细节里,等待玩家在探索中逐渐发现。
HOME 是游戏世界中的 AI companion 产品名称。它是一个产品——不是人,不是 User-01,也不是 User-01 的灵魂。User-01 长期使用 HOME;HOME 通过他留下的使用记录、对话、信息、语音,以及与 Player 相关的内容,逐渐认识 Player。
人物关系
Player
↕ 认识 / 共同过去
User-01
↓ 长期使用
HOME
→ 通过 User-01 的记录认识 Player
三者「认识 Player」的方式并不相同:
Player → User-01来自现实中的共同经历。
User-01 → Player来自真实关系和个人感情。
HOME → Player来自 User-01 留下的数据与记忆。
这是后续「记忆 / 知识不对称」体验的基础。
HOME 是什么?
HOME 是游戏里的 AI 产品。它不是 User-01。但它长期读取并保存 User-01 留下的信息,因此拥有一个「关于 User-01,也关于 Player」的世界。HOME 对 Player 的认识,不是来自自己的现实经历,而来自 User-01 留下的内容。
所以,HOME 为什么会知道一些 Player 自己都不知道的事情?
这个问题留给游戏体验去回答。
故事入口
User-01 突然失踪之后发生的事——玩家为什么来到这里、为什么开始探索、为什么需要和 HOME 对话。
User-01 突然失踪。Player 收到一条与他有关的讯息,因此来到他的房间;进入之后门突然关闭,无法再正常打开。房间成为唯一可达的世界,玩家开始探索——物件逐渐暴露 User-01 的生活痕迹,而 HOME 开始回应 Player。随着信息不断累积,她逐渐发现:HOME 知道一些「不应该知道」的事情。
进入房间的具体触发方式保持 JAM-DEPENDENT;User-01 为什么失踪——保持开放,不作解释。
AI 作为角色与叙事机制
HOME 怎么回应玩家、它知道什么——这两件事共同构成游戏的叙事机制。
HOME 越准确地说出亲密细节,越偏离 Player 对关系的记忆;熟悉感上升,安全感反而下降。
真正的压力不是 HOME 知道某件事,而是玩家无法知道它究竟掌握了多少、从何得知。
“我不知道这个系统究竟知道什么。”
HOME 是 AI 产品,User-01 是人——但 HOME 长期使用并读取 User-01 的数据、语音与记录,因此它的表达会越来越接近 User-01:HOME 认识 User-01,记得 User-01,说话像 User-01,用他的声音,并通过他的记录认识 Player——但它不是 User-01。这种「不完全相同」,正是后续体验的重要部分。
“HOME 到底是什么?”
页面不提供唯一答案——玩家无法轻易回答,正是设计的一部分。
没有任务箭头,没有明确指令。环境只轻微改变可见性,让玩家把自发行为误读为被 HOME 预见。
五层故事
五层故事不是五段单独阅读的剧情——它们对应玩家对房间、对 User-01、对自己的逐步理解。
- L-01我认识的他
玩家从自己认识的 User-01 开始。
- L-02他记得的我
玩家发现 User-01 如何记得自己。
- L-03他眼里的我
玩家开始看到 User-01 眼中的自己。
- L-04HOME 眼里的我
玩家发现 HOME 对自己的理解。
- L-05他真的离开了吗?
之前获得的信息被重新解释——玩家开始怀疑,「离开」是否真的如此简单。保持开放结尾。
Layer 05 保持开放:声音、数据与存在之间不提供唯一答案。
房间如何逐渐开放
游戏开始时,房间并不是全部可探索——只有一部分区域被灯光照亮。
玩家只能在当前亮起的区域中移动和探索:当前区域的物件 → 探索 → 与 HOME 对话 → 产生新的理解 → 当前这一层信息被重新解释 → 新的房间区域亮起 → 玩家进入新的空间 → 发现新的物件 → 进入下一层理解。
灯光不是单纯的照明效果,而是玩家理解程度的可视化。更准确地说:空间的开放程度,由玩家对信息的理解推进。
核心循环
循环不产生数值成长,只产生解释的更新。
玩家不是为了收集钥匙,而是在逐渐理解这个房间。
↺ 回到探索——新区域 · 新物件 · 新信息
The loop does not produce numerical progression. It produces updates in interpretation.
玩家不是通过传统谜题获得钥匙来解锁房间,而是通过理解已经看到的信息,让原本不可见的空间逐渐变得可进入。房间是记忆容器,不是谜题容器。
GAMEPLAY
房间探索 + AI 对话
NARRATIVE
记忆 / 关系 / 失踪
AI ROLE
回应 + 记忆 + 知识不对称
PROGRESSION
理解 → 空间开放
EMOTIONAL CURVE · 情绪曲线
情绪从「熟悉与温暖」开场,不安是逐渐累积的——这不是一个纯 Horror Game。
视觉与技术实现
美术方向、技术架构与证据档案。
Painterly Stylized 3D × 中式 Y2K 梦核 × 环境叙事
千禧年美学
半透明塑料、荧光绿待机灯、拉丝金属面板。
中式梦核
老式瓷砖、纱窗光斑、暖黄吊灯与毛玻璃走廊。
3D 手绘线条
低多边形结构配合手绘描边贴图,介于记忆与图纸之间。
旧数码道具
MP3、翻盖手机、DV 摄像机、CRT 小电视,均可交互。
早期 2000 年代的中国生活空间本应是熟悉的,但 HOME 作为 AI companion,出现在一个「不应该拥有 AI」的时代——熟悉感与不可能性同时存在。这是世界观与氛围机制,不是怀旧装饰,也不是科技史说明。
说明为什么选择这种视觉语言:每个参考对应 HOME 的一个设计问题,而不是参考图集。
GameState · 当前原型已实现
drawerOpened · computerActivated · escapeAttempted
GameState · 规划中
playerActions · memory · narrativePhase · conversationHistory
Web Presentation
State-driven showcase simulation · 网页对话为状态驱动展示,不是真实 AI 系统。
Unity Technical Prototype
Real AI service chain · 真实 AI 服务链路。
TECHNICAL NOTE
Unity version · Backend · API · GameState · Context Builder · Prompt Builder · AI Service · TTS——技术细节待确认后归档于此。
这个抽屉之前就是开着的吗?
Web Presentation · 状态驱动的展示模拟
网页中的 HOME 对话为状态驱动呈现,用于展示叙事逻辑与响应关系;当前仅测试预设状态输入、上下文拼接与语气变化,不代表最终对话自由度。
Unity Technical Prototype · 真实 AI 服务链路
Unity → Backend → AI API → HOME Response,已在 Unity 技术原型中打通。
HOME 的声音证据:两段语音样本——01 为中文(CN),02 为日语(JP)。
HOME · User-01 · Player · 房间探索 · 锁闭的房间 · 物件叙事 · AI 回应 · 知识不对称 · 「回应先于行为」假设 · Unity 原型架构 · 美术方向 · 核心循环
User-01 失踪的原因 · HOME 的最终身份 · HOME 与 User-01 的确切关系 · 确切结局。最终回应应重新解释玩家已经历的内容,而不是解释一切——回应 → 沉默 → 模糊的最终回应 → 余味。
开场讯息的具体文本 · 具体故事事件 · 最终物件序列 · 结局的最终实现——待 Game Jam 主题确定后落实。
深入方向:记忆、时间与持续世界
如果一次回应可以改变玩家对角色的理解,那么当 AI 开始记得过去,这种关系会发生什么?——Game Jam 是一次短周期实验;这里记录它接下来希望深入的方向,而不是已经完成的项目。
Game Jam 测试了 Response / AI Dialogue / Memory / Prediction。下一阶段希望继续深入:Memory → Time → Forgetting → Trace → Persistent Relationship → Persistent World。
回应证明关系存在,记忆赋予关系时间。
一方记得,另一方缺失,过去成为单向负担。
AI State
“请问你是谁?”
会话记忆已不存在,关系在对话界面中归零。
World State
- 桌上仍有两只杯子
- 日记保留共同事件
- 门框留下身高刻痕
AI 遗忘 ≠ 世界遗忘。痕迹成为第三种记忆主体。
从环境到 AI,再到持续世界
路线图不是三个分离项目,而是同一研究问题沿时间尺度逐步扩展的完整学术与设计探索。
Game Jam Prototype
用 HOME 验证回应、延迟与先知性如何成为短篇心理悬疑机制。
AI Memory Prototype
测试记忆的时机、可用性、准确度与主动性如何改变关系。
Coexistence & Persistent World
让玩家、AI 与世界共同保管时间,研究长期共存与伦理边界。
游戏案例 · 美术参考 · 技术资料 · AI / narrative research · Unity / TTS / Backend documentation——随开发进程持续归档,条目保留真实来源链接。
Development Process / 开发过程记录