《最in数字人》第二期 | 超低延迟数字人！响应时间小于1秒！
2023-11-28
一场谈话中 ，，，沉默的时间超过4秒 ，，，气氛就会变的尴尬
人与人的对话尚且如此 ，，，更别说数字人了
因此 ，，，交互速度成为我们衡量一个“全拟真人类个体”是否合格的重要技术指标之一
通常情况下 ，，，AI驱动的交互型数字人交互反应时长在7-8秒左右
有些“人工智障”甚至要达到20几秒
但是现在 ，，，这个难题被攻克了
我们的全拟真人类个体响应时间还不到1秒！
《最in数字人》第一期中 ，，，我们介绍了“全拟真人类个体”的概念及五大要素
本期内容小编将透露降低数字人交互延迟的奥秘！
降低交互延迟“四步曲”
超低延迟“江凌枫” ，，，共享诗词对答丝滑体验
这位侠气十足的古装帅哥 ，，，是我们的全拟真人类个体“江凌枫”
跟他的对话可以用“纵享丝滑”来形容 ，，，全程秒问秒答
主打一个绝不让任何人尴尬！
和数字人对话有几步？
回想一下我们平时回答别人问题的时候 ，，，大脑运转大概分为三步：
1.理解对方的问题
2.构思答案
3.说出答案
数字人的大脑和人类大脑的区别在于 ，，，人的大脑不是被设计出来的 ，，，而是经过浩瀚的历史长河 ，，，通过选择和演化而产生的 。。 。而数字人的大脑 ，，，是通过不断的学习训练变得越来越聪明 ，，，反应速度越来越快 。。 。
这看似简单的三个步骤对数字人来说 ，，，需要海量的学习数据 ，，，通过庞大的计算 ，，，调用一系列工具才能实现 。。 。而这个过程中 ，，，每个环节都可能是造成数字人反应延迟 ，，，让对话出现尴尬的沉默的原因 。。 。
总体来说 ，，，给江凌枫“大脑加速” ，，，让他能够做到秒级响应 ，，，需要ASR语音识别、 、 、TTS语音合成、 、 、Audio2Face语音转表情、 、 、大模型部署四大方面的技术提效 。。 。
秒问秒答的江凌枫有何过人之处？
步骤一 ASR语音识别
ASR语音识别的主要任务就是把语言信号转换成文本 ，，，让数字人理解我们在说什么 。。 。在这个过程中 ，，，通过选择在本地部署ASR语音识别引擎的方式 ，，，能更好地应对网络延迟问题 ，，，从而加速整个识别过程 ，，，同时还保护了用户的语音数据隐私 。。 。
步骤二 TTS语音合成
TTS语音合成环节 ，，，则是将上一步生成的文本转换为语音的过程 ，，，让数字人把回答说给我们听 。。 。
值得一提的是 ，，，在这个环节 ，，，我们采用了流式传输的方式 ，，，通过将字符进行拆分重组 ，，，分段传回合成语音的方式再次提升了数字人的反应速度 。。 。
举个例子 ，，，如果是非流式传输 ，，，一句简单的“你好 ，，，我是江凌枫”需要等所有文字全部转成语音后才能统一输出 ，，，而采用了流式传输 ，，，数字人可以先将“你好”的语音输出 ，，，并同时进行“我是江凌枫”的语音合成并输出 ，，，巧妙地提升数字人回应速度 。。 。而且 ，，，这种将一句话分段输出形成消息队列的方式 ，，，可以在“你好”输出完成被“消费”掉以后 ，，，不再储存于整个队列中 ，，，解决大模型负担 ，，，实现语音合成输出环节的提速 。。 。
TTS语音合成这一步骤也是在本地完成的 ，，，在保护用户隐私的前提下 ，，，极大程度上减少了与远程服务器通信带来的延迟问题 。。 。
步骤三 Audio2Face语音转表情
人在说话的时候会有自然的表情变化 ，，，要让数字人实现更真实的交互自然也要具备这种能力 。。 。Audio2Face语音转表情过程 ，，，就是让数字人根据语义所表现内容做出面部肌肉运动、 、 、眨眼等相应表情变化的关键 。。 。
这个环节中 ，，，我们着重解决的是当多个数字人同时在任务中 ，，，由于实例分配不及时导致的延迟问题 。。 。在布置Audio2Face实例过程中 ，，，我们自主研发的A2FServer、 、 、负载均衡服务器两大神器起到了重要作用 。。 。
A2FServer不仅能够自主匹配实例 ，，，还能实现持续连接 ，，，避免暂停交互数字人与实例自动断开连接的情况发生 。。 。负载均衡服务器可以汇总数字人需要连接的端口、 、 、公网、 、 、内网、 、 、状态、 、 、是否被占用等信息 ，，，使数字人可随时查看实例状态并调用 ，，，降低表情转化的时间 。。 。
步骤四 大模型部署
大模型是数字人“中枢神经” ，，，在实时交互的过程中承担了自然语言处理、 、 、对话生成、 、 、个性化交互、 、 、知识获取与问答、 、 、创造性文本生成、 、 、自动化文本生成、 、 、多轮对话处理等任务 。。 。
为了让大模型拥有更好的运行环境 ，，，提升整体效率 ，，，技术团队采用了高效的硬件和软件架构 ，，，利用先进的多维并行、 、 、异构内存管理和低延时推理解决方案 ，，，来加速训练和推理任务 ，，，最大程度地提高模型任务的效率 。。 。在有效降低AI大模型训练、 、 、微调和推理成本的同时 ，，，还优化了模型任务的性能表现 ，，，降低了对GPU的需求 。。 。通俗来说就是 ，，，大模型具备了完美的运行环境 ，，，灵活度自然也变得更好了 。。 。
除此之外 ，，，为了满足不同场景的应用需求 ，，，我们还选择了基于国内数据的预训练基座大模型 ，，，并对它进行垂直领域的训练和细致调整 ，，，不仅提升模型在特定任务中的准确性和适用性 ，，，还使其更符合专业需求 。。 。就好像当我们花大部分的时间深入研究、 、 、学习“金融”知识 ，，，当涉及该领域的内容时 ，，，能够更快速做出反应并给出精准答案 。。 。通过这样的训练 ，，，使数字人交互延迟的问题得到进一步解决 。。 。
总结
通过ARS语音识别、 、 、TTS语音合成、 、 、Audio2Face语音转表情、 、 、大模型部署四个方面的有效技术提升 ，，，最终为我们呈现出了“有记忆、 、 、有灵魂、 、 、多感情、 、 、多感知、 、 、超写实”的全拟真人类个体 ，，，使得数字人在交互过程中达到“秒级反应” ，，，真正实现了超低延迟的互动体验 。。 。