语音界面对于提升客户体验至关重要，尤其是在客户支持呼叫自动化、游戏、互动教育和语言学习等领域。然而，构建支持语音的应用程序仍面临诸多挑战。
构建语音应用程序的传统方法需要多个模型的复杂协调，例如将语音转换为文本的语音识别、理解和生成响应的语言模型以及将文本转换回音频的文本转语音。
这种碎片化的方法不仅增加了开发的复杂性，而且无法保留自然对话所必需的关键语言背景，例如语调、韵律和说话风格。这可能会影响那些需要低延迟和对言语和非言语线索进行细致理解以实现流畅对话处理和自然话轮转换的对话式AI应用。
为了简化语音应用程序的实施，今天我们推出了Amazon Nova Sonic ，它是Amazon Bedrock中Amazon Nova基础模型 (FM)系列的最新成员。
Amazon Nova Sonic 将语音理解和生成功能统一到一个模型中，开发者可以使用该模型创建自然、类人化的对话式 AI 体验，并实现低延迟和业界领先的性价比。这种集成方法简化了开发流程，并降低了构建对话式应用程序的复杂性。
其统一的模型架构无需单独的模型即可实现富有表现力的语音生成和实时文本转录。其结果是一种自适应语音响应，可根据输入语音的韵律（例如语速和音色）动态调整其传递方式。
使用 Amazon Nova Sonic 时，开发人员可以访问函数调用（也称为工具使用）和代理工作流，以便与外部服务和 API 进行交互并在客户环境中执行任务，包括使用检索增强生成 (RAG)将知识基础与企业数据结合起来。
在发布时，Amazon Nova Sonic 可以为各种说话风格和声学条件下的美式英语和英式英语提供强大的语音理解能力，并且很快将推出更多语言版本。
Amazon Nova Sonic采用负责任的人工智能 (AI) 开发，处于创新的前沿，具有内置的内容审核和水印保护功能。
Amazon Nova Sonic 实际应用
本次演示的场景是电信行业的一个联络中心。一位客户联系我，希望改进他们的订阅计划，Amazon Nova Sonic 负责处理此次对话。
通过使用工具，该模型可以与其他系统交互，并使用带有Amazon Bedrock 知识库的代理 RAG来收集更新的客户特定信息，例如帐户详细信息、订阅计划和定价信息。
该演示展示了语音输入的流式转录，并将流式语音响应显示为文本。对话情绪以两种方式显示：一个时间图，用于说明其演变过程；另一个饼图，用于表示总体分布情况。此外，还有一个 AI 洞察部分，为呼叫中心客服人员提供上下文提示。网页界面上显示的其他有趣指标包括客户与客服人员之间的总体通话时间分布以及平均响应时间。在与支持代理的对话过程中，您可以通过指标观察并从声音中听到客户情绪如何改善。
视频中包含一个示例，展示了 Amazon Nova Sonic 如何顺利处理中断，停下来倾听，然后以自然的方式继续对话。
现在，让我们探索如何在您的应用程序中集成语音功能。
使用 Amazon Nova Sonic
要开始使用 Amazon Nova Sonic，您首先需要在Amazon Bedrock 控制台中切换模型访问权限，就像启用其他 FM 一样。导航到导航窗格的“模型访问权限”部分，在Amazon模型下找到Amazon Nova Sonic，然后为您的账户启用它。
Amazon Bedrock 提供了新的双向流式传输 API ( )，帮助您在HTTP/2InvokeModelWithBidirectionalStream协议之上实现实时、低延迟的对话体验。借助此 API，您可以将音频输入流式传输到模型并实时接收音频输出，从而使对话自然流畅。
您可以使用具有以下型号 ID 的新 API 来使用 Amazon Nova Sonic：amazon.nova-sonic-v1:0
会话初始化之后，您可以配置推理参数，模型通过事件驱动架构在输入和输出流上运行。
输入流中有三种关键事件类型：
系统提示– 设置对话的整体系统提示
音频输入流——实时处理连续音频输入
工具结果处理——将工具使用调用的结果发送回模型（在输出事件中请求工具使用后）
类似地，输出流中有三组事件：
自动语音识别 (ASR) 流- 生成语音到文本的记录，包含实时语音识别的结果。
工具使用处理——如果有工具使用事件，则需要使用此处提供的信息进行处理，并将结果作为输入事件发回。
音频输出流- 要实时播放输出音频，需要一个缓冲区，因为 Amazon Nova Sonic 模型生成音频的速度比实时播放的速度更快。
您可以在Amazon Nova 模型手册存储库中找到使用 Amazon Nova Sonic 的示例。
语音提示工程
在为 Amazon Nova Sonic 制作提示时，您的提示应该优化内容以实现听觉理解而不是视觉阅读，重点关注听到而不是看到时的对话流畅性和清晰度。
在定义助理的角色时，应注重对话属性（例如热情、耐心、简洁），而不是文本导向的属性（详细、全面、系统）。一个好的基准系统提示可能是：
You are a friend. The user and you will engage in a spoken dialog exchanging the transcripts of a natural real-time conversation. Keep your responses short, generally two or three sentences for chatty scenarios.
更一般地说，在创建语音模型提示时，避免请求视觉格式（例如项目符号、表格或代码块）、语音特征修改（口音、年龄或唱歌）或声音效果。
须知：
Amazon Nova Sonic现已在美国东部（弗吉尼亚北部） AWS 区域 推出。访问Amazon Bedrock 定价页面，查看定价模型。
Amazon Nova Sonic 能够理解不同说话风格的语音，并生成富有表现力的语音，包括男性和女性的声音，以及不同的英语口音，包括美式和英式。即将推出对更多语言的支持。
Amazon Nova Sonic 能够优雅地处理用户打断，不会丢失对话上下文，并且对背景噪音具有很强的鲁棒性。该模型支持 32K 个令牌的音频上下文窗口，并支持滚动窗口以处理较长的对话，默认会话限制为 8 分钟。
以下AWS SDKs支持新的双向流式传输 API：
Python 开发者可以使用这款新的实验性 SDK，它能更轻松地使用 Amazon Nova Sonic 的双向流式传输功能。我们正在努力添加对其他 AWS SDK 的支持。
我要感谢Reilly Manton和Chad Hendren，他们在电信行业的联络中心设置了演示，还要感谢Anuj Jauhari，他帮助我了解语音到语音模型的丰富部署环境。
您可以在Amazon Nova 模型手册存储库中找到更多 Java、Node.js 和 Python 示例，包括常见的集成模式，例如使用 Amazon Bedrock 知识库或LangChain 的RAG 。
要了解更多信息，这些文章详细介绍了如何使用新的双向流 API 并提供了引人注目的演示：
无论您是在创建客户服务解决方案、语言学习应用程序还是其他对话体验，Amazon Nova Sonic 都能为您提供自然、引人入胜的语音交互基础。立即访问Amazon Bedrock 控制台开始使用。了解更多信息，请访问用户指南的 Amazon Nova 部分。