在 Windows 10 上开发的语音助手必须实现下面的用户体验指导原则,以便为 Windows 10 上的语音激活提供可能的最佳体验。 本文档将指导开发人员了解语音助手与 Windows 10 Shell 集成所需的关键工作。
Windows 10 中支持的语音激活视图摘要
良好聆听体验最佳做法
应用内语音激活设计指南
锁定时语音激活设计指南
语音激活预览设计指南
Windows 10 中支持的语音激活视图摘要
Windows 10 根据设备上下文推断客户上下文的激活体验。 以下摘要表简要概述了屏幕打开时可用的不同视图。
视图(可用性)
设备上下文
助手正在响应
即使状态更改迅速,也应考虑为状态提供 UX,因为在 Windows 生态系统中,持续时间是可变的。 视觉反馈以及简短的音频打钟声或鸟鸣(也称为“耳标”)都是解决方案的一部分。 同样,与音频说明耦合的可视卡可提供良好的响应选项。
应用内语音激活设计指南
当助手应用具有焦点时,客户意向清楚地与应用进行交互,因此所有语音激活体验都应由主应用视图处理。 客户可能会调整视图大小。 为了帮助说明助手 shell 交互,本文档的其余部分采用名为 Contoso 的财务服务助理的具体示例。 在此关系图和后续关系图中,客户所说的内容将显示在左侧的卡通语音气泡中,而助手响应显示在右侧的卡通气泡中。
应用内视图。 语音激活开始时的初始状态:
应用内视图。 语音激活成功后,聆听体验开始:
应用内视图。 所有响应都将保留在应用体验中。
锁定时语音激活设计指南
19H2 中可用,在 Windows 语音激活平台上构建的助手可用于在锁定时响应。
客户选择加入
默认情况下,始终禁用锁定时语音激活。 客户通过“Windows 设置”>“隐私”>“语音激活”选择加入。 有关监视和提示此设置的详细信息,请参阅
锁定时实现指南
。
不是锁屏的替代
尽管通知或其他标准应用锁屏集成点仍可供助手使用,但 Windows 锁屏界面仍始终定义初始客户体验,直到语音激活发生。 检测到语音激活后,助手应用会暂时显示在锁屏上方。 为了避免客户混淆,当在锁定时激活时,助手应用程序不得显示 UI 来要求提供任意类型的凭据或登录信息。
锁定时语音激活后的体验
当屏幕打开时,助手应用程序为全屏,且锁屏上不显示任何标题栏。 较大的视觉对象和强大的语音说明,并具有强大的语音主界面,支持客户距离太远看不到 UI 时或正忙着其他(非 PC)任务时的方案。
当屏幕保持关闭时,助手应用可以播放耳标来指示助手正在激活,并提供仅语音体验。
助手必须实现本部分中的关闭指南,使客户在下次要使用 Windows PC 时可以更轻松地登录。 以下是助手必须实现的特定要求:
锁定时显示的所有助手画布都必须在右上方包含一个“X”,用于关闭助手。
按任意键还必须关闭助手应用。 键盘输入是客户想要登录的传统锁应用信号。 因此,不应将任何键盘/文本输入定向到应用。 相反,应用程序应在检测到键盘输入时自行关闭,以便客户可以轻松登录到其设备。
如果屏幕关闭,则应用必须自行关闭。
这可确保客户下次使用电脑时,登录屏幕将准备就绪并等待他们使用。
如果应用正在“使用中”,则它可以继续在锁定时使用。 “使用中”构成了任何输入或输出。 例如,当流式传输音乐或视频时,应用可以继续在锁定时使用。 允许执行“后续”和其他多回合对话框步骤,使应用在锁定时保持运行。
有关关闭应用程序的实现详细信息,请参阅
锁定时实现指南
。
锁定时的隐私和安全性注意事项
很多 PC 是便携的,但并不总是在客户可接触到的范围内。 它们可能被暂时留在旅馆房间、飞机座位或工作区中,这些场所中的其他人可能会物理接触到这些 PC。 如果锁定时启用的助手未准备就绪,可能会受到所谓的“
evil maid
”(邪恶女仆)攻击。
因此,助手应遵循此部分中的指南来帮助保持体验安全。 如果未对 Windows 用户进行身份验证,则会发生锁定时交互。 这意味着,通常情况下,在助手中的输入还应视为未经身份验证。
助手应实现技能允许列表,以确定在锁定时访问确认安全的技能。
说话人 ID 技术可以在缓解某些风险的情况下发挥作用,但说话人 ID 并不是 Windows 身份验证的合适替代品。
允许的技能列表应考虑三类操作或技能:
对于 Contoso,有关公开发行股票信息的常规信息在未经身份验证的情况下是安全的。 特定于客户的信息(例如,拥有的共享数)很可能在使用说话人 ID 时是安全的。 但是,在未经 Windows 身份验证的情况下,不允许购买或销售股票。
为了进一步确保体验,Windows 将始终阻止 Web 链接或其他应用程序之间的启动,直到客户登录。作为最后的缓解措施,Microsoft 保留从允许的助手列表中删除应用程序的权利(如果严重的安全问题没有得到及时解决)。
语音激活预览设计指南
锁定后,如果助手应用没有焦点,Windows 将提供一个干扰较少的语音激活 UI,帮助客户保留在流中。 对于在启动完整应用时会造成严重影响的错误激活,此操作尤其适用。 核心理念是,每个助手在 Shell 中都有另一个主页,即助手任务栏图标。 当发生后台激活请求时,将在助手任务栏图标上方显示一个小视图。 助手应在此画布中提供小的聆听体验。 处理请求后,助手可以选择调整此视图的大小以显示上下文中答案,或转交主应用视图以显示更大、更详细的视觉对象。
为了保持最小,预览没有标题栏,因此助手必须在右上角画一个 X 以允许客户关闭视图。请参阅
关闭应用程序
以了解按下关闭按钮时要调用的特定 API。
为了支持语音激活预览,助手可能会邀请客户在首次运行时将助手固定到任务栏。
语音激活预览:初始状态
Contoso 助手在任务栏上有一个主页:即卷状圆形图标。
激活过程中,助手请求后台激活。 助手会获得一个小预览窗格(默认宽度为 408,高度为 248)。 如果服务器端语音激活确定信号为误报,则可以关闭此视图以将中断的可能性降至最低。
确认最终激活后,助手会显示其聆听 UX。 助手必须始终在语音激活预览的右上方绘制一个关闭 X。
语音激活预览中可能会显示快速答案。 TryResizeView 将允许助手请求不同的大小。
转交。 助手随时可能会转交给其主应用视图,以提供更多信息、对话框或需要更多屏幕空间的答案。 有关实现的详细信息,请参阅
从紧凑视图过渡到完整视图
部分。
开始开发你的语音助手