重塑鼠标指针，迎接人工智能时代
我们正在开发更无缝、更直观的人工智能交互方式，尤其是在鼠标指针方面。尽管计算机技术已经经历了巨大变革，鼠标指针却在过去的半个世纪中几乎没有演变。
我们探索了一系列新的 AI 驱动功能，帮助指针不仅理解它所指向的内容，还能明白这些内容对用户的重要性。
我们旨在解决一个普遍困扰用户的问题：传统 AI 工具通常处于独立的窗口当中，用户不得不将自己的工作内容拖拽到其中。但我们希望将 AI 变得直观，无需打断用户的工作流程。例如，想象一下指向一张建筑物的图片，然后请求：“给我显示路线”。当 AI 系统已经理解上下文时，这样的请求再简单不过。
今天，我们将分享未来用户界面的基本原则，并展示由 Gemini 支持的 AI 驱动的指针的实验演示。你可以访问 Google AI Studio，通过简单的指向和语音指令来 [编辑图片](https://aistudio.google.com/apps/bundled/ai-pointer-create?showPreview=true&showAssistant=true&fullscreenApplet=true) 或 [在地图上查找地点](https://aistudio.google.com/apps/bundled/ai-pointer-find?showPreview=true&showAssistant=true&fullscreenApplet=true)。
### 我们的互动原则
我们制定了四个原则，旨在将用户传递上下文和意图的工作转移到计算机身上，用更简单、更直观的交互取代繁琐的文本提示。以下是我们方法和原则的说明：
#### 保持流畅
AI 功能应该在所有应用中协同工作，而不是强迫用户在它们之间进行“AI 绕行”。我们的原型 AI 驱动指针能够在用户工作时随处可用。例如，用户可以指向 PDF 文件并请求将内容总结为要点，或者高亮一个食谱，询问所有成分的加倍计算。
#### 展示与说明
目前的 AI 模型通常需要用户给出精确的指令，而 AI 驱动的指针可以通过平滑捕捉指针周围的视觉和语义上下文，简化这一过程，使计算机能够“看到”和理解用户所需的内容。在我们的实验系统中，只需指向，AI 就会知道用户需要帮助的单词、段落或图像的特定部分。
#### 拥抱 "这个" 和 "那个" 的力量
在日常交流中，人们很少用冗长的段落表达自己。我们可能会说：“修复这个”、“把那个移动到这里”或“这是什么意思？”，并依赖肢体语言和共享的上下文来填补理解的空白。一个理解这种结合上下文、指向和话语的 AI 系统，可以让用户用自然的简短表达提出复杂请求，而无需繁琐的提示。
#### 将像素转换为可操作实体
几十年来，计算机仅能追踪我们指向的位置。而 AI 现在可以理解用户指向的内容，这将像素转变为可交互的结构化实体，例如地点、日期和对象，使用户能够即时进行交互。比如，涂鸦的照片可以变成互动待办事项清单；旅行视频中的静态画面可以成为前往那家好餐厅的预定链接。
通过建立能够适应人类行为的技术，而不是强迫用户去适应技术，使得与 AI 的合作在未来显得真正直观、流畅和自然。
### 在产品中应用这些设计
我们目前正在将这些原则整合，重塑 Chrome 和新的 [Googlebook](https://blog.google/products-and-platforms/platforms/android/meet-googlebook) 笔记本电脑体验。现在，用户无需编写复杂的提示，可以直接用指针询问 [Gemini in Chrome](https://gemini.google/overview/gemini-in-chrome/) 关于网页上他们关心的部分。例如，他们可以在页面上选择几个产品并要求进行比较，或者指向他们想在客厅中可视化新沙发的位置。同样，我们也将很快在 Googlebook 中推出 Magic Pointer，使用户能够随手用 Gemini 进行更直观的体验。由于还有许多其他潜在的优秀应用，我们会继续在多个平台上测试未来的概念，包括 [Google Labs 的 Disco](https://labs.google/disco)。
**在 Google AI Studio 尝试 AI 驱动的指针**
[编辑图片](https://aistudio.google.com/apps/bundled/ai-pointer-create?showPreview=true&showAssistant=true&fullscreenApplet=true) [在地图上查找地点](https://aistudio.google.com/apps/bundled/ai-pointer-find?showPreview=true&showAssistant=true&fullscreenApplet=true)
---
原文链接：[点击查看](https://deepmind.google/blog/ai-pointer/)
我们探索了一系列新的 AI 驱动功能，帮助指针不仅理解它所指向的内容，还能明白这些内容对用户的重要性。
我们旨在解决一个普遍困扰用户的问题：传统 AI 工具通常处于独立的窗口当中，用户不得不将自己的工作内容拖拽到其中。但我们希望将 AI 变得直观，无需打断用户的工作流程。例如，想象一下指向一张建筑物的图片，然后请求：“给我显示路线”。当 AI 系统已经理解上下文时，这样的请求再简单不过。
今天，我们将分享未来用户界面的基本原则，并展示由 Gemini 支持的 AI 驱动的指针的实验演示。你可以访问 Google AI Studio，通过简单的指向和语音指令来 [编辑图片](https://aistudio.google.com/apps/bundled/ai-pointer-create?showPreview=true&showAssistant=true&fullscreenApplet=true) 或 [在地图上查找地点](https://aistudio.google.com/apps/bundled/ai-pointer-find?showPreview=true&showAssistant=true&fullscreenApplet=true)。
### 我们的互动原则
我们制定了四个原则，旨在将用户传递上下文和意图的工作转移到计算机身上，用更简单、更直观的交互取代繁琐的文本提示。以下是我们方法和原则的说明：
#### 保持流畅
AI 功能应该在所有应用中协同工作，而不是强迫用户在它们之间进行“AI 绕行”。我们的原型 AI 驱动指针能够在用户工作时随处可用。例如，用户可以指向 PDF 文件并请求将内容总结为要点，或者高亮一个食谱，询问所有成分的加倍计算。
#### 展示与说明
目前的 AI 模型通常需要用户给出精确的指令，而 AI 驱动的指针可以通过平滑捕捉指针周围的视觉和语义上下文，简化这一过程，使计算机能够“看到”和理解用户所需的内容。在我们的实验系统中，只需指向，AI 就会知道用户需要帮助的单词、段落或图像的特定部分。
#### 拥抱 "这个" 和 "那个" 的力量
在日常交流中，人们很少用冗长的段落表达自己。我们可能会说：“修复这个”、“把那个移动到这里”或“这是什么意思？”，并依赖肢体语言和共享的上下文来填补理解的空白。一个理解这种结合上下文、指向和话语的 AI 系统，可以让用户用自然的简短表达提出复杂请求，而无需繁琐的提示。
#### 将像素转换为可操作实体
几十年来，计算机仅能追踪我们指向的位置。而 AI 现在可以理解用户指向的内容，这将像素转变为可交互的结构化实体，例如地点、日期和对象，使用户能够即时进行交互。比如，涂鸦的照片可以变成互动待办事项清单；旅行视频中的静态画面可以成为前往那家好餐厅的预定链接。
通过建立能够适应人类行为的技术，而不是强迫用户去适应技术，使得与 AI 的合作在未来显得真正直观、流畅和自然。
### 在产品中应用这些设计
我们目前正在将这些原则整合，重塑 Chrome 和新的 [Googlebook](https://blog.google/products-and-platforms/platforms/android/meet-googlebook) 笔记本电脑体验。现在，用户无需编写复杂的提示，可以直接用指针询问 [Gemini in Chrome](https://gemini.google/overview/gemini-in-chrome/) 关于网页上他们关心的部分。例如，他们可以在页面上选择几个产品并要求进行比较，或者指向他们想在客厅中可视化新沙发的位置。同样，我们也将很快在 Googlebook 中推出 Magic Pointer，使用户能够随手用 Gemini 进行更直观的体验。由于还有许多其他潜在的优秀应用，我们会继续在多个平台上测试未来的概念，包括 [Google Labs 的 Disco](https://labs.google/disco)。
**在 Google AI Studio 尝试 AI 驱动的指针**
[编辑图片](https://aistudio.google.com/apps/bundled/ai-pointer-create?showPreview=true&showAssistant=true&fullscreenApplet=true) [在地图上查找地点](https://aistudio.google.com/apps/bundled/ai-pointer-find?showPreview=true&showAssistant=true&fullscreenApplet=true)
---
原文链接：[点击查看](https://deepmind.google/blog/ai-pointer/)
评论
暂无评论。