交互的演进

人机交互在往越来越自然的方向发展。所谓自然，就是越来越接近于两个人直接的面对面沟通。

交互的演进

输入设备

主要包括键盘、鼠标、麦克风、摄像头。

键盘

• 键盘输入的管理机制和窗口系统的设计密切相关，焦点窗口就是键盘输入的目的地
• 从功能上说，键盘有两个能力：一是输入文本，二是触发命令
• 输入文本需要输入光标指示目的窗口，目的窗口必然是焦点窗口
• 触发命令则不一定在焦点窗口，比如热键，触发截屏、获取QQ消息等

鼠标

• 鼠标输入的管理机制与键盘一样，和窗口系统设计密切相关
• 鼠标事件总是交给鼠标位置所属窗口处理，但有例外场景，比如拖放
• 移动时代，鼠标完全消失，触摸屏+手指的组合完全取代鼠标

麦克风

• 麦克风是非常有潜力的下一代输入设备，如智能汽车、智能音箱
• 语音交互在IoT领域还停留在触发命令为主，输入文本也有越来越多的使用场景，但优势还在日常用语和长文本，特殊领域和个性化场景的输入效果不好

摄像头

• 摄像头除了引入语音，也加入了手势、表情、动作
• 从表达能力来说，这是最丰富的最自然的表达方法
• 目前这种交互方式还在萌芽阶段

输出设备

输出设备主要负责向用户反馈信息。比如：显示器（显卡）、音箱（声卡）、打印机。输出设备的演化并不大，最主要的输出设备还是以显示器为主。

显示器

• 显示器经历了CRT到液晶屏多代更新，支持色彩更多，分辨率越来越高，但没有发生实质性变化
• 窗口系统是为了操作系统能让不同软件可以在同一显示器屏幕上呈现，每个软件有一个或多个窗口
• 移动设备由于屏幕太小，操作系统让顶层窗口全屏占据整个屏幕，所以屏幕管理比较简单
• 显示设备管理的另一大挑战是绘制子系统，软件需要绘制能力才能实现窗口内容的呈现
• 操作系统里的GDI负责绘制，主要涉及2D图形（路径、画刷、画笔）、3D图形（模型、材质、光照）、文本相关（字体）、图像处理（位图、图像格式编解码器）
• 操作系统提供通用的界面元素，通常称之为控件，如静态文本、按钮、单选、复选、输入框、进度条等等

音箱

• 音箱设备管理很简单，可以很容易的做到多个软件同时操作设备而有合理结果
• 特定情况下允许某个软件禁止其他软件播放出来的声音，比如接听电话

打印机

• 软件使用打印机的过程基本上是互斥的。一个软件在打印文档的时候，其他的软件只能等待它打印完毕后，才能进行打印
• 打印机的使用是以文档为互斥的单位，为了避免软件之间出现长时间的相互等待，操作系统往往在打印机的管理程序中引入很大的打印缓冲
• 软件操作打印机的时候，并不是等待打印机真把内容打印出来，而是把文档打印到打印缓冲中就完成打印

总结

• 不同输入和输出设备的管理方法差异非常大，没有太大的共性可言
• 人机交互演化的核心变化是输入设备的变化，交互在朝着自然（Nature）和智能（Intelligence）的方向发展
• 在未来，必然将由操作系统来实现智能交互的基础架构