Research Thread / Response
Research Dossier / 08-AResponse as Causal Axis

AI × GAME ×
INTERACTIVE MEDIA

如果一个系统的回应不再只是功能,而开始影响人的判断、行为与关系,会发生什么?

Global Research Chain
Visual Intervention
Weak Intervention
Response
AI Interaction
Game
Memory
Relationship
Short-term Experiment

Game Jam / HOME

在 5–10 分钟内测试回应如何成为悬疑证据。

Long-term Research

Memory / Persistent World

在长期关系中测试记忆、遗忘与痕迹。

两个项目,是同一研究问题在不同时间尺度上的实验。

Chapter 01 / Research Origin

研究起点:视觉如何影响行为

研究从公共空间开始:视觉不是装饰,而是一种能够改变注意、路径与行动的环境变量。

Original Inquiry / Public Space

当一个视觉信号进入车站,它不仅传递信息,也重新安排人与环境的关系:人看见、判断、移动,并用行为回应空间。

01

环境释放微弱视觉信号

02

参与者将信号与现场情境共同解释

03

行为变化成为人与环境关系的可见痕迹

Response / 关系尚未闭环
Chapter 02 / Weak Visual Intervention

弱视觉干预与四个同步原型

四个原型不是四件独立作品,而是围绕同一问题同步推进、相互反馈修改的 Research Co-evolution。

Research Co-evolutionStation Study
01

Information Screen

信息随人流节奏显隐,测试注意力是否能转化为停留。

可见性
02

Advertisement

借用熟悉媒介语法,在不发出命令时改变观看方向。

熟悉性
03

Footprint

以足迹留下行为暗示,让参与者自行选择是否跟随。

模仿
04

Safety Line

让边界对接近作出微弱反馈,使规则从标识变成关系。

边界

每次观察都会回写其他原型:屏幕的停留数据改变广告节奏,足迹的跟随结果改变安全线的反馈强度。

Interactive Labs / 四个同步实验的可体验版本
视觉介入
注意
对齐
引导
回应
行为

以下为四个原型的可运行版本:实验以独立画布嵌入,鼠标即可体验;同一时间只运行一个实验,滚出视野后自动停用。

01Information Screen
Interactive LabMouse Ready

信息屏以一双眼睛回应你的接近:移入检测区,面板展开、眼睛追随;静止注视会触发共同注意,屏幕向你展示它的注意力黑点。

实体交互通过投影 + MediaPipe 检测实现;网页中为鼠标模拟,移入屏幕区域开始体验。按 H 键切换背景颜色,按 R 键重新加载实验。

Mouse / Keyboard Experiment · 建议使用桌面端体验
02Advertisement
Interactive LabMouse Ready

借用熟悉的媒介语法:画面持续飘落花瓣,人影拨开它们;当人静立不动,系统逐渐收束——花瓣淡出,一片引导花瓣飞向影子并被吸收。

实体展陈为投影 + MediaPipe 检测,网页中均为鼠标模拟。按 H 键切换背景颜色,按 R 键重新加载实验。

Mouse / Keyboard Experiment · 建议使用桌面端体验
03Caution Line
Interactive LabMouse Ready

边界对接近作出回应:一排小人组成的队列随你的影子变色、避让、压缩;静止会挤出空洞,停留更久,队列分裂成两段。

实体展陈为投影 + MediaPipe 检测,网页中均为鼠标模拟。按 H 键切换背景颜色,按 R 键重新加载实验。

Mouse / Keyboard Experiment · 建议使用桌面端体验
04Footprints
Interactive LabMouse Ready

以足迹留下行为暗示:地面脚印引导一位参与者入场、落定、离场,环境不发出任何指令,跟随与否由你决定。

实体展陈为投影 + MediaPipe 检测,网页中均为鼠标模拟。按 H 键切换背景颜色,按 R 键重新加载实验。

Mouse / Keyboard Experiment · 建议使用桌面端体验
Experiment Evidence / 实验记录

四个实验的实际记录:观察到的现象、交互行为、系统回应与反思——研究档案持续建立中。

EVIDENCE · 01Experiment 001 · Information Screen
IMAGE / PENDINGARCHIVE IN PROGRESS
OBSERVATIONPENDING
INTERACTIONPENDING
RESPONSEPENDING
REFLECTIONPENDING
TYPEIMAGE
SOURCEProject 01 · Interactive Lab
STATUSPENDING
EVIDENCE · 02Experiment 002 · Advertisement
IMAGE / PENDINGARCHIVE IN PROGRESS
OBSERVATIONPENDING
INTERACTIONPENDING
RESPONSEPENDING
REFLECTIONPENDING
TYPEIMAGE
SOURCEProject 01 · Interactive Lab
STATUSPENDING
EVIDENCE · 03Experiment 003 · Caution Line
IMAGE / PENDINGARCHIVE IN PROGRESS
OBSERVATIONPENDING
INTERACTIONPENDING
RESPONSEPENDING
REFLECTIONPENDING
TYPEIMAGE
SOURCEProject 01 · Interactive Lab
STATUSPENDING
EVIDENCE · 04Experiment 004 · Footprints
IMAGE / PENDINGARCHIVE IN PROGRESS
OBSERVATIONPENDING
INTERACTIONPENDING
RESPONSEPENDING
REFLECTIONPENDING
TYPEIMAGE
SOURCEProject 01 · Interactive Lab
STATUSPENDING
Response / 四个实验共享同一问题
Chapter 03 / Mechanism Formation & Reinterpretation

机制形成与问题再提出

从四个实验中逐步总结机制,并从既有结果中重新提出下一阶段的问题。

The mechanism emerged across four experiments, then became a starting point for the next question.

Level 01 · Observe — Mechanism Evolution / 机制演化

这个机制并不是预先设定的理论——它是在四个实验不断推进、比较与重新解释的过程中逐渐形成的(It was not a predefined model. It emerged through the accumulation, comparison and reinterpretation of four experiments)。

01 / Information ScreenATTENTIONAttention alone is transient. 单纯吸引注意,无法稳定维持人与环境的关系。
02 / AdvertisementALIGNMENTDifference within motion can sustain observation. 对齐来自运动中的差异与视觉组织,而不是运动的数量。
03 / FootprintsGUIDANCEAttention needs directional organization to become action. 已形成的注意需要方向性组织,才能成为行动。
04 / Caution Line / Safety LineRESPONSEEnvironmental response sustains the interaction. 环境回应是维持人与环境关系的重要条件,而非行为后的附加效果。
Visual
Attention
Alignment
Guidance
Behavior
Response

Behavior 是机制中的实际行为结果;Response 发生在行为之后,并形成下一轮 interaction——这不是线性预测模型,而是循环性的关系结构。

Level 02 · Reinterpret — Revisiting the Information Screen

A result from Project 01 became a question for the next project.

回看已有的 Information Screen 实验:眼睛指示方向,移动的视觉元素逐渐组织注意力,参与者跟随视觉方向,最终目光抵达被安排的位置。

Visual Cue
Gaze
Guidance
Target

“I was already looking there.”方向在行为被意识到之前,就已经可见。

The visual system begins organizing the direction of attention before the final behavior occurs——这不证明视觉系统能预测人的行为;只有事后,参与者才可能意识到「我原本就已经在看那里了」。

Chapter 04 / A Coincidental Overlap

一个偶然的重合:AI 产品中的「回应」× 我们研究的机制

我们在 Project 01 中逐渐发现 Response 是维持互动关系的重要节点;与此同时,它恰好也是对话式 AI 产品的基础交互单元之一。两个语境在「回应」上重合,研究由此转向。

Response
Reposition
Prediction
Predictor
AI
Game
01 · Response as an Interaction Node / 作为交互单元的回应

AI Product

User
Input / Prompt
AI System
Response
User
New Input

Response is one of the fundamental interaction units of conversational AI. 回应是对话式 AI 中最基本的交互单元之一。

Project 01

Behavior
Response
Next Interaction

In Project 01, Response appeared as an environmental reaction after behavior. 在 Project 01 中,Response 作为环境对行为的回应出现,并成为下一轮互动的起点。

Different systems, similar interaction logic.

不同的系统,却出现了相似的互动结构——一个偶然的重合。

A Coincidental Overlap
02 · Four Experiments, One Shared Question / 四个实验,同一个问题
Information ScreenAttention alone is transient.
AdvertisementDifference within motion can sustain observation.
FootprintsAttention needs directional organization to become action.
Caution Line / Safety LineEnvironmental response sustains the interaction.
Attention
Alignment
Guidance
Behavior
Response

The mechanism emerged through iterative experiments. 四个实验各自贡献了一层机制;最终,Response 成为继续追问的节点。

03 · What if the Response Came Before the Behavior?

Project 01 · 时间关系

Behavior
Response

What if · 时间位置对调

Response Cue
Behavior
Attention
Alignment
Guidance
Response Cue
Behavior
Design Hypothesis

This is not a validated behavioral mechanism. It is a design hypothesis created by repositioning the temporal role of Response. 这不是一个已经被验证的新行为机制——它是通过重新安排 Response 的时间位置而提出的设计假设。

“Wait — I was already going there.”“How did it know?”

The interesting part is not whether the prediction is actually correct. It is the moment when the player realizes that their future action seems to have already been accounted for.

真正有趣的并不是预测是否真的准确。而是玩家意识到:自己下一步的行动似乎早已被另一个存在预先考虑过时,所产生的那一瞬间感受。

04 · Reference — The Feeling of Being Predicted / 被预测的感觉

What does it feel like when something seems to know what you are going to do before you do it? 当某个存在似乎在你行动之前,就已经知道你将要做什么时,这种感觉是什么?

EVIDENCE · 04The Feeling of Being Predicted
TYPEVIDEO
SOURCEExperiential Reference · user-provided clip
STATUSREADY

We are not borrowing the narrative of The Matrix. We are borrowing a feeling: the feeling that a future action has already been anticipated. 我们并不是要借用《黑客帝国》的叙事——我们借用的是一种体验:未来的行动似乎已经被提前知晓。

05 · Design Condition — Someone Has to Be the Predictor / 谁来充当预测者

To make the player feel predicted, the game needs something that appears to know before the player acts. 如果要让玩家产生「自己已经被预测」的感觉,游戏中就必须存在一个看起来能够在玩家行动之前就知道某些事情的主体。

PREDICTOR — NPC / SYSTEM / CHARACTER / AI

response cue ↓

PLAYER ────────────→ BEHAVIOR

being predicted

From a game design perspective, the question changes: Who — or what — can carry this response? 从游戏设计角度来看,问题开始发生变化:究竟应该由谁,或者什么,来承载这个提前发生的回应?

06 · Why AI? / 为什么是 AI
NPCSystemCharacterAI

AI 的交互结构

Input
Context
Response
Memory
Continued Interaction

AI naturally exists through response——AI 的存在方式本身就建立在 input、context、response、memory 与 continued interaction 之上。因此,AI 成为承载「Response Before Behavior」的一种可能(possible carrier),也成为一种 design material。

这是一种设计可能性的判断,不是能力声明——页面不声称 AI 能够预测玩家。

07 · From AI Product to Game Design Material / 从 AI 产品到游戏设计材料

We were not trying to reproduce an AI product inside a game. Instead, we asked what interaction principles from AI products could become materials for game design.

我们并不是要把一个 AI 产品原样搬进游戏——而是试图把 AI 产品中的交互机制,转化为游戏设计材料。

Next · From AI interaction to a playable relationship

Chapter 05 / AI Interaction

AI 产品中的 Response 如何异化为设计材料

日常产品试图消除等待、无回应与故障;游戏则保留这些不稳定状态,让玩家不断解释系统的意图。

Design Material / Response

语气携带人格与隐瞒

Message
Waiting
Response
No Response
Delay
Glitch
Prediction
Response / 从服务结果变成人格线索
Chapter 06 / Game Jam / HOME

短篇实验:一个比你更早认识你的房间

HOME 用 User-01 的声音说话,并通过他留下的数据认识 Player。亲密感因此同时成为身份不确定性的来源。

The previous chapter asked who could carry a response that arrives before behavior——上一章提出的问题是:谁能够承载一个早于行为发生的回应?HOME 是我们第一次尝试将这个问题转化为可玩的关系。

Current PrototypePre-production5–10 Minutes
Inspiration / 从 Project 01 到 HOME
人的行为
环境的回应
「我的行为被感知了」

Project 01 中最深的经验不是视觉干预本身,而是当环境开始回应时,「行为被感知」带来的微妙体验。把这条关系反转——

回应先于行为,会发生什么?

HOME 先给出回应
玩家做出行动
回应成为证据

玩家开始怀疑:它是预测了我,还是引导了我?这个行为真的是我自己决定的吗?

Design Hypothesis · 设计灵感,不是已被验证的学术机制
Story Entry / 故事入口
User-01 失踪
一条讯息
来到他的房间
门关闭
房间成为唯一世界
探索
物件揭示 User-01
HOME 开始回应

User-01 突然失踪。Player 收到一条与他有关的讯息,因此来到他的房间;进入之后门突然关闭,无法再正常打开。房间成为唯一可达的世界,玩家开始探索——物件逐渐暴露 User-01 的生活痕迹,而 HOME 开始回应 Player。随着信息不断累积,她逐渐发现:HOME 知道一些「不应该知道」的事情。

User-01 为什么失踪——保持开放,不作解释。

Relationship Network / 三角关系
Player

具身女性角色。有自己的身份、自己的记忆——她本来就认识 User-01,不是一块空白的白板。

User-01

普通朋友,温柔、礼貌、从不直说;暗恋 Player。他的感情不通过台词告诉玩家,而是藏在日记、照片、物件、讯息与被记住的细节里——让玩家自己发现:「原来他一直记得这些。」

HOME

早期 AI companion 产品,被 User-01 大量使用,被他的存储信息塑造;用他的声音说话,主要通过他的记录认识 Player。它像 User-01,但不是 User-01——可以更直接、更笨拙、更执拗、偶尔沉默,随玩家理解的深入而逐渐变得不确定。

Motivation Depth / 探索动因
表层:离开房间
中层:寻找线索
深层:认识 User-01
最深层:理解 User-01 眼中的「我」

「离开房间」只是 21 天 Game Jam 的玩法框架,不是主题——真正的动机随探索逐层下沉。

Narrative Layers / 五层故事
  1. L-01我认识的他
  2. L-02他记得的我
  3. L-03他眼里的我
  4. L-04HOME 眼里的我
  5. L-05他真的离开了吗?

Layer 05 保持开放:声音、数据与存在之间不提供唯一答案。

Core Loop / 核心玩法循环
探索房间
发现物件
与 HOME 对话
产生怀疑
重新解释
重新理解 User-01

↺ 循环回到探索

循环不产生数值成长,只产生解释的更新。

The loop does not produce numerical progression. It produces updates in interpretation.

玩家不是在收集物品、解锁门、积累分数,而是在观察、解释、接收回应、再解释。房间是记忆容器,不是谜题容器——灯光不是照明系统,而是理解度的可视化:每理解一层记忆,房间便点亮一盏灯。

Cognitive Uncanny Valley

HOME 越准确地说出亲密细节,越偏离 Player 对关系的记忆;熟悉感上升,安全感反而下降。

Knowledge Asymmetry

真正的压力不是 HOME 知道某件事,而是玩家无法知道它究竟掌握了多少、从何得知。

“我不知道这个系统究竟知道什么。”

HOME ≠ User-01

HOME 认识 User-01,记得 User-01,说话像 User-01,用他的声音,并通过他的记录认识 Player——但它不是 User-01。

“HOME 到底是什么?”

一个 AIUser-01 的人格残留由记忆重构的系统被刻意创造的存在已成自身存在的东西

页面不提供唯一答案——玩家无法轻易回答,正是设计的一部分。

Illustrative Scenario / Drawer
Illustrative Scenario
桌面异常
抽屉微开
光线聚焦
HOME 模糊言语
玩家主动打开
……你还是打开了

没有任务箭头,没有明确指令。环境只轻微改变可见性,让玩家把自发行为误读为被 HOME 预见。

Art Direction / 美术方向

Painterly Stylized 3D × 中式 Y2K 梦核 × 环境叙事

千禧年美学

半透明塑料、荧光绿待机灯、拉丝金属面板。

中式梦核

老式瓷砖、纱窗光斑、暖黄吊灯与毛玻璃走廊。

3D 手绘线条

低多边形结构配合手绘描边贴图,介于记忆与图纸之间。

旧数码道具

MP3、翻盖手机、DV 摄像机、CRT 小电视,均可交互。

熟悉
温暖
好奇
微妙
怀疑
不安

早期 2000 年代的中国生活空间本应是熟悉的,但 HOME 作为 AI companion,出现在一个「不应该拥有 AI」的时代——熟悉感与不可能性同时存在。这是世界观与氛围机制,不是怀旧装饰,也不是科技史说明。

Visual Reference Archive / 视觉参考档案

说明为什么选择这种视觉语言:每个参考对应 HOME 的一个设计问题,而不是参考图集。

REFERENCE · 01Chinese Y2K / Millennium Atmosphere
IMAGE / PENDING
VISUAL ELEMENTPENDING
RELEVANCEPENDING
REFERENCE · 02Painterly Stylized 3D
IMAGE / PENDING
VISUAL ELEMENTPENDING
RELEVANCEPENDING
REFERENCE · 03Environmental Storytelling
IMAGE / PENDING
VISUAL ELEMENTPENDING
RELEVANCEPENDING
REFERENCE · 04Old Digital Objects / CRT
IMAGE / PENDING
VISUAL ELEMENTPENDING
RELEVANCEPENDING
REFERENCE · 05Dreamcore / Uncanny Domestic Space
IMAGE / PENDING
VISUAL ELEMENTPENDING
RELEVANCEPENDING
KGM Technical Architecture
Unity
GameState
Context Builder
Prompt Builder
AI Service
HOME Response

GameState · 当前原型已实现

drawerOpened · computerActivated · escapeAttempted

GameState · 规划中

playerActions · memory · narrativePhase · conversationHistory

Technical Evidence / 技术证据

Web Presentation

State-driven showcase simulation · 网页对话为状态驱动展示,不是真实 AI 系统。

Unity Technical Prototype

Real AI service chain · 真实 AI 服务链路。

Unity Game View
Player Input
Backend
AI API
HOME Response
EVIDENCE · 01Unity Technical Prototype
VIDEO / PENDINGARCHIVE IN PROGRESS
TYPEVIDEO
SOURCEUnity Technical Prototype
STATUSPENDING

TECHNICAL NOTE

Unity version · Backend · API · GameState · Context Builder · Prompt Builder · AI Service · TTS——技术细节待确认后归档于此。

EVIDENCE · AUnity / Game View
IMAGE / PENDINGARCHIVE IN PROGRESS
TYPEIMAGE
SOURCEUnity Technical Prototype
STATUSPENDING
EVIDENCE · BBackend / API Flow
IMAGE / PENDINGARCHIVE IN PROGRESS
TYPEIMAGE
SOURCEBackend · VSCode Console
STATUSPENDING
EVIDENCE · CState / System
IMAGE / PENDINGARCHIVE IN PROGRESS
TYPEIMAGE
SOURCEGameState · Context Builder · Prompt Builder
STATUSPENDING
Technical PrototypeTest Boundary / 4 Turns
PLAYER

这个抽屉之前就是开着的吗?

Web Presentation · 状态驱动的展示模拟

网页中的 HOME 对话为状态驱动呈现,用于展示叙事逻辑与响应关系;当前仅测试预设状态输入、上下文拼接与语气变化,不代表最终对话自由度。

Unity Technical Prototype · 真实 AI 服务链路

Unity → Backend → AI API → HOME Response,已在 Unity 技术原型中打通。

HOME Voice Archive / 声音档案

HOME 的声音证据:两段语音样本——01 为中文(CN),02 为日语(JP)。

HOME · VOICE ARCHIVE / 01CN
▶ PLAYAUDIO / PENDING
HOME · VOICE ARCHIVE / 02JP
▶ PLAYAUDIO / PENDING
Scope & Status / 事实与开放问题
Confirmed

HOME · User-01 · Player · 房间探索 · 锁闭的房间 · 物件叙事 · AI 回应 · 知识不对称 · 「回应先于行为」假设 · Unity 原型架构 · 美术方向 · 核心循环

Open

User-01 失踪的原因 · HOME 的最终身份 · HOME 与 User-01 的确切关系 · 确切结局。最终回应应重新解释玩家已经历的内容,而不是解释一切——回应 → 沉默 → 模糊的最终回应 → 余味。

Jam-Dependent

开场讯息的具体文本 · 具体故事事件 · 最终物件序列 · 结局的最终实现——待 Game Jam 主题确定后落实。

Response / 玩家每一轮都在重新解释同一个过去
Chapter 07 / Long-term Project

长期研究:时间、记忆与持续世界

回应证明关系存在,记忆赋予关系时间。长期项目把一次交互拉长为可积累、可磨损、也可遗忘的共同历史。

ConceptResearch QuestionExperimental Design

回应证明关系存在,记忆赋予关系时间。

Response
Existence
Relationship
Memory
Time
Forgetting
Trace
Persistent World
Memory Alignment / 玩法化变量

一方记得,另一方缺失,过去成为单向负担。

Experimental Scene / 当 AI 忘记了你
Research Question

AI State

“请问你是谁?”

会话记忆已不存在,关系在对话界面中归零。

World State

  • 桌上仍有两只杯子
  • 日记保留共同事件
  • 门框留下身高刻痕

AI 遗忘 ≠ 世界遗忘。痕迹成为第三种记忆主体。

Response / 关系从会话延伸到世界
Chapter 08 / Research Roadmap

从环境到 AI,再到持续世界

路线图不是三个分离项目,而是同一研究问题沿时间尺度逐步扩展的完整学术与设计探索。

NOW

Game Jam Prototype

用 HOME 验证回应、延迟与先知性如何成为短篇心理悬疑机制。

Current Prototype
NEXT

AI Memory Prototype

测试记忆的时机、可用性、准确度与主动性如何改变关系。

Experimental Design
FUTURE

Coexistence & Persistent World

让玩家、AI 与世界共同保管时间,研究长期共存与伦理边界。

Concept
Environment
Visual Intervention
Response
AI
Memory
Relationship
Persistent World
Reference Archive / 开发与参考档案

游戏案例 · 美术参考 · 技术资料 · AI / narrative research · Unity / TTS / Backend documentation——随开发进程持续归档,条目保留真实来源链接。

Development Process / 开发过程记录

IMAGE / PENDINGARCHIVE IN PROGRESS
REFERENCE / PENDING条目结构:TITLE · CATEGORY(GAME / ART / TECH / RESEARCH)· WHY IT MATTERS · LINK(保留真实来源 URL)——随开发进程持续归档。