本文整理自 QCon 北京 2026 吕菲分享《从WIMP到RMCP交互范式演变》通过AI音视频总结工具Ai好记进行转录整理以下为视频转文字整理后的会议笔记内容。我们每天在用电脑和手机时窗口、图标、菜单、鼠标指针这四个东西已经默认到感觉像呼吸一样自然。但有没有想过这套我们用了40年的交互范式可能正在被一种全新的模式取代什么是WIMP范式WIMP是四个家伙的缩写Window窗口、Icon图标、Menu菜单、Pointer指针/鼠标。这四样东西定义了1970年代至今整整40多年的人机交互方式。它真正把计算机从少数人才能用的专业工具变成了人人都能用的日常工具。WIMP的发展脉络1973年Xerox PARC在Alto计算机上首次使用窗口和鼠标1981年施乐推出第一台商用机Star——「天才的概念和商业的失败」1984年苹果Macintosh让它走向大众1985年微软Windows进一步普及WIMP为何成功它完美解决了认知心理学家唐纳德·诺曼提出的两大交互鸿沟执行鸿沟——用户知道想做什么但不知道怎么让机器执行。WIMP通过图标和菜单把功能摆在用户面前用户不用记住命令只要识别按钮就行。评估鸿沟——机器执行完操作用户怎么知道执行结果窗口弹窗、进度条给用户及时反馈。吕菲的原话「GUI界面的最大贡献是将回忆命令变成了识别功能。记住一个命令需要学习识别一个图标靠直觉就行」。WIMP的局限性四十年后的今天WIMP的瓶颈越来越明显。桌面隐喻束缚。从设计之初就基于办公室桌面场景扩展到移动端、车载、VR/AR空间后隐喻的解释力明显不足。输入输出带宽不匹配。信息输出端一直在增长——高清屏幕、HDR、高帧率输入还是集中在鼠标和键盘。不支持自然交互。最后一个PPointer鼠标指针把交互定死在了点击反馈循环上语音、手势、姿态等自然交互方式没有接口能接进来。后WIMP时代学术界30年的探索从1990年代开始学术界就开始探索下一代交互范式但到现在也没形成一套能跟WIMP相提并论的统一范式。吕菲梳理了四条主要探索路径1990年 Non-WIMP来自两位学者在ACM SIGGRAPH的论文核心想法是完全不使用WIMP范式探索跳出桌面领域的新交互形态。1993年 Non-Command UIvan Dam提出用户不必发出明确的命令计算机主动理解人的意图。现在看来这个想法已经部分被AI实现了——大模型正在让我们从「命令」转向「表达」。1997年 Post-WIMPGreen和Jacob提出的概念——超越WIMP但不是完全替代可能是并存关系。这个定位更务实也是目前学界的主流判断。2008年 Reality-Based InteractionJacob在ACM CHI上进一步提出核心思想是让人类跟计算机的交互就像跟自然世界交互一样。自然的动作、自然的反馈。智能交互的困境自然反而难用今天智能音箱、体感游戏、多模态AI产品已经普及了自然语言交互把操作门槛降得很低。但吕菲提出了一个非常尖锐的问题自然交互带来了新的困境。问题一功能预设性消失GUI界面里每个按钮都在告诉你它能做什么——「这是保存」、「这是删除」、「这是设置」。但语音交互或手势交互里功能是隐形的。你不知道说哪句话能触发什么功能也不知道做什么手势。用户面对空白界面的第一反应往往是「现在能做什么」。问题二认知负担逆增长GUI最大的贡献是让用户从回忆命令变成识别功能。但语音交互似乎在逆转这个过程——用户需要记住唤醒词、记住操作指令、记住特定的说法。认知负担反而更高了。核心矛盾「自然交互的灵活性与界面引导的缺失是一对根本矛盾。交互方式越自由用户越不知道边界在哪」。从RMCP看未来方向吕菲团队提出RMCPRich Multimodal Conversational Paradigm的概念方向。核心思路不是用某一种交互方式替代WIMP而是在不同场景、不同设备上使用最合适的交互方式。范式核心交互方式适合场景CLI键盘命令行专业工具、开发环境WIMP/GUI窗口、图标、菜单、鼠标桌面办公、通用操作Touch手势触控移动端、平板RMCP多模态对话语音视觉触控AI助手、智能空间NUI体感、视线、脑机VR/AR、无障碍场景关键的判断是未来不会是某一种范式统治一切而是多种范式共存。GUI适合需要稳定操作的办公场景对话适合快速查询的场景手势适合远距离操控的场景。产品设计时需要根据场景选择响应范式。给技术团队的启发不要盲目追求自然交互。自然不等于好用交互方式越自由就需要越强的引导机制。多模态是方向但不是终点。整合语音、视觉、触控需要更复杂的系统架构和更周到的体验设计。WIMP不会消失。40年积累的认知基础用户已经习惯了新的交互方式应该跟它互补而不是完全替代。AI对交互设计的影响才刚开始。大模型让对话式交互的质量大幅提升但对话本身不是最终形态交互范式还会有新的演化。常见问题QWIMP模式真的会消失吗A学术界的共识是不会。WIMP会跟新的交互模式共存就像命令行到今天也没有完全消失一样。Q多模态交互的技术门槛高吗A主要是架构复杂度。融合语音、手势、触控多个通道需要做通道同步和意图融合比单一通道复杂得多。QRMCP跟LUI语言用户界面是一回事吗A不同。LUI是单一的语言通道RMCP是多模态融合不只用语言还包括视觉、触控、手势。以上内容由Ai好记转录整理。Ai好记是一款音视频转图文笔记的AI音视频转录总结工具支持解析B站、抖音、小红书、小宇宙等平台链接及本地/网盘音视频文件转录后自动视频转文字生成精华速览、思维导图和结构化笔记等内容形式帮助你把几小时的视频内容变成可搜索、可复习的图文笔记。