分为离线和在线两大部分,体验感极佳。离线部分可用于在没有网络的情况下,控制各大智能设备(智能单品、智能家居、智能酒店、智能安防等设备).离线语音指令最多可达二百条在线部分通过在线连接:听新闻、讲故事、听音乐、问天气、在线翻译、查信息等各种在线服务
采用双麦麦克风阵列,识别效率极高,具有内外强降噪、强识别、声源定位、回声消除、打断唤醒等功能特点。
主要应用于智能音箱、智能家居/家具/家电、智能安防、智能车载、智能工控等对环境要求比较严格的场所,要求具有超高体验度的多功能人工智能产品上。
目录
1、模组简介..................................................................1
1.1前言........................................................................................1
1.2概述........................................................................................1
1.3应用场景................................................................................2
2、模组硬件描述.........................................................2
2.1硬件实物图............................................................................2
2.2硬件尺寸实图........................................................................3
2.3硬件参数................. ..............................................................4
2.4硬件接口描述........................................................................5
2.5使用注意事项........................................................................6
3、方案软件描述................................................... ......7
3.1方案软件接口.......................................................................7
4、使用说明................................................................8
4.1在线使用说明.......................................................................8
4.2离线使用说明.......................................................................8
1、模组简介
1.1前言
智能语音交互是基于语音输入的新一代交互模式,可以通过自然语言实现人机交互。智能语音交互应用在娱乐、游戏、金融、教育、健康医疗、家居控制和玩具等方面,给人们提供方便舒适的全新体验。
双麦离在线方案是基于第四代语音识别技术(DMAP_RNN)实现,具备功耗低,识别率高,响应迅速,易定制的特点。
本方案描述主要包括离线方案的应用系统,硬件和软件部分。
1.2概述
双麦离在线模组主要有信号层处理、解码层处理,和对接层处理功能。配套提供语音唤醒服务,回声消除服务,方向定位服务,命令交互服务,同时兼容多种语言类型服务(20种方言、80国语言互译)。
1.3应用场景
语音交互模块主要应用领域有智能玩具、智能音箱、智能家居/家具、智能车载、智能便携设备。
模块使得在嘈杂环境下采集的语音数据清晰,确保了语音识别率高达97%以上、操作出错率低、播放准确悦耳等良好体验。
2、模组硬件描述
2.1硬件实物图
2.2硬件尺寸图
2.3硬件参数
1-产品尺寸:53*42*3mm(PH2.0 插针) 53*40*3mm(PH2.0 邮票孔)
2-供电电压:3.3~5V。
3-供电电流:150mA/5V
4- 功耗: 0.004~0.3W
5-识别距离: 3~5 米@50dB(通常室内环境)
6-识 别 率: 97%@50dB(通常室内环境)
7-拒 识 率:<0.1%
8-反应时间:<1s@50dB(通常室内环境)
9-控制通讯:UART(2400~3M)/USB2.0
10-交互模式: MOD#1-(1*唤醒词+1*命令词)*100 条
MOD#2-(1*唤醒词+N*命令词)*100 条
MOD#3-(N*唤醒词+N*命令词)*100 条
11-词条数目:100 条/100 字
12-识别技术:Based DMAP-DNN-HMM
2.4硬件接口描述
2.4.1 控制接口:
1. 串口 UART:默认波特率 9600。范围 2400~3Mbps
2. 单线协议:可选
3. USB 协议:可选
2.4.1 音频数据接口:
1. IIS 输入输出
2. 麦克风接口*4
3. Line-In 接口
4. 扬声器接口 SPK(兼容放大前 Line-Out 接口)
5. UAC(USB 接口)
2.5 使用注意事项
2.5.1 音频部分:
1. 模组 AUDIO 部分(MIC 和功放)不要有干扰,防止产品噪声;
2. 模组 AUDIO 功放部分,模组本身带有一组单声道功放接口, 亦可选择直接输出左右声道,左右声道则直接输出 到 SPK 接口,其中 SPK-为左声道输出接口,SPK+为右声道输出接口
3. 如果使用板载功放,回声消除已经调测;如果使用外置功放, 需要外部接入回声消除参考信号。
3、模组软件描述
3.1软件接口
本模组由 MIC 输入语音音频,把语音转换成交互结果(控制命令) 和文本,结果信息默认为控制命令和状态消息,默认由串口部分输出。 其他信息或者协议格式需要根据项目定制开发。
3.1.1 接口类型:
接口类型:URAT 双工,1 位起始位,8 位数据位,1位停止位 接口电压:3.3V
通讯速率:2400~3Mbps(Default:9600bps)
接口规格:PH2.0 半孔/插针/连接线
其他协议:USB/单线/PWM 定制可选
4、模组使用说明
4.1在线使用说明(一次唤醒一次交互)
1. 安装 “⼩飞在线”APP
2. 登录账号后,点击左上⻆的添加设备
3. 找到“离在线公版”设备,点击进⼊设备配⽹流程
4. 输⼊WIFI帐号和密码,点击下⼀步
5. 请用唤醒词(默认“小宝管家”)唤醒语音模组,然后使用命令词“进入配网模式”使模组进入配网模式。听到设备语⾳提示后,在APP点击勾选选项,点击下⼀步按钮
6. 选择设备热点,点击下⼀步
7. 等待完成配⽹,即可交互。
1. 进⼊APP“发现”,点击上⾯的领取⾳乐畅听卡按钮
2. 根据提示绑定酷狗账号即可
3. 唤醒词唤醒模组说“我要听歌”,成功播放⾳乐即代表成功开通。
4. 常用技能(听音乐、听新闻、讲故事、背唐诗、查天气、查时间、查位置、查日期、做翻译、做运算等等 )
4.2离线使用说明(一次唤醒多次交互)
1. 标准DEMO离线命令词如下(可按需订制唤醒词和命令词):
序号 |
命令词 |
播报语句 |
命令词类型 |
通信串口 |
|
1 |
小宝管家 |
我在呢/嗯 |
唤醒词 |
|
|
2 |
进入配网模式 |
进入网络配置模式,请打开APP,按照流程指引设置网络 |
命令词 |
01 |
|
3 |
打开空调 |
好的.已为您打开空调 |
命令词 |
02 |
|
4 |
关闭空调 |
好的.已为您关闭空调 |
命令词 |
03 |
|
5 |
增大风速 |
风速已增大 |
命令词 |
04 |
|
6 |
减小风速 |
风速已减小 |
命令词 |
05 |
|
7 |
升高一度 |
好的.升高一度 |
命令词 |
06 |
|
8 |
降低一度 |
好的.降低一度 |
命令词 |
07 |
|
9 |
全自动 |
好的.全自动 |
命令词 |
08 |
|
10 |
制热模式 |
好的.制热模式 |
命令词 |
09 |
|
11 |
制冷模式 |
好的.制冷模式 |
命令词 |
0A |
|
12 |
送风模式 |
好的.送风模式 |
命令词 |
0B |
|
13 |
节能模式 |
好的.节能模式 |
命令词 |
0C |
|
14 |
关闭节能模式 |
好的.节能模式已关 |
命令词 |
0D |
|
15 |
除湿模式 |
好的.除湿模式 |
命令词 |
0E |
|
16 |
关闭除湿 |
好的.除湿已关 |
命令词 |
0F |
|
17 |
电加热 |
好的.电加热 |
命令词 |
10 |
|
18 |
关闭电加热 |
好的.电加热已关 |
命令词 |
11 |
|
19 |
空气清新 |
好的.空气清新 |
命令词 |
12 |
|
20 |
空气净化 |
好的.净化空气 |
命令词 |
13 |
|
21 |
关闭空气清新 |
好的.空气清新已关闭 |
命令词 |
14 |
|
22 |
睡眠模式 |
好的.睡眠模式 |
命令词 |
15 |
|
23 |
关闭睡眠模式 |
好的.睡眠模式已关闭 |
命令词 |
16 |
|
24 |
定时一小时 |
好的.定时一小时 |
命令词 |
17 |
|
25 |
定时两小时 |
好的.定时两小时 |
命令词 |
18 |
|
26 |
定时二小时 |
好的.定时二小时 |
命令词 |
19 |
|
27 |
左右摆动 |
好的.左右摆动 |
命令词 |
1A |
|
28 |
上下摆动 |
好的.上下摆动 |
命令词 |
1B |
|
29 |
停止摆动 |
好的.摆动停止 |
命令词 |
1C |
|
30 |
最小风 |
好的.最小风 |
命令词 |
1D |
|
31 |
中等风 |
好的.中等风 |
命令词 |
1E |
|
32 |
高速风 |
好的.高速风 |
命令词 |
1F |
|
33 |
最大风 |
好的.最大风 |
命令词 |
20 |
|
34 |
强劲风 |
好的.强劲风 |
命令词 |
21 |
|
35 |
风小点 |
好的.风小点 |
命令词 |
22 |
|
36 |
风大点 |
好的.风大点 |
命令词 |
23 |
|
37 |
十六度 |
十六度 |
命令词 |
24 |
|
38 |
十七度 |
十七度 |
命令词 |
25 |
|
39 |
十八度 |
十八度 |
命令词 |
26 |
|
40 |
十九度 |
十九度 |
命令词 |
27 |
|
41 |
二十度 |
二十度 |
命令词 |
28 |
|
42 |
二十一度 |
二十一度 |
命令词 |
29 |
|
43 |
二十二度 |
二十二度 |
命令词 |
2A |
|
44 |
二十三度 |
二十三度 |
命令词 |
2B |
|
45 |
二十四度 |
二十四度 |
命令词 |
2C |
|
46 |
二十五度 |
二十五度 |
命令词 |
2D |
|
47 |
二十六度 |
二十六度 |
命令词 |
2E |
|
48 |
二十七度 |
二十七度 |
命令词 |
2F |
|
49 |
二十八度 |
二十八度 |
命令词 |
30 |
|
50 |
二十九度 |
二十九度 |
命令词 |
31 |
|
51 |
三十度 |
三十度 |
命令词 |
32 |
|
52 |
打开台灯 |
好的.台灯已开 |
命令词 |
33 |
|
53 |
关闭台灯 |
好的.台灯已关 |
命令词 |
34 |
|
54 |
最高亮度 |
好的.最高亮度 |
命令词 |
35 |
|
55 |
中等亮度 |
好的.中等亮度 |
命令词 |
36 |
|
56 |
最低亮度 |
好的.最低亮度 |
命令词 |
37 |
|
57 |
调亮一点 |
好的.已调亮 |
命令词 |
38 |
|
58 |
调暗一点 |
好的.已调暗 |
命令词 |
39 |
|
59 |
照明模式 |
好的.照明模式 |
命令词 |
3A |
|
60 |
阅读模式 |
好的.阅读模式 |
命令词 |
3B |
|
61 |
夜灯模式 |
好的.夜灯模式 |
命令词 |
3C |
|
62 |
红色模式 |
好的.红色模式 |
命令词 |
3D |
|
63 |
绿色模式 |
好的.绿色模式 |
命令词 |
3E |
|
64 |
蓝色模式 |
好的.蓝色模式 |
命令词 |
3F |
|
65 |
彩色模式 |
好的.彩色模式 |
命令词 |
40 |
|
66 |
打开主卧灯 |
好的.主卧灯已开 |
命令词 |
41 |
|
67 |
关闭主卧灯 |
好的.主卧灯已关 |
命令词 |
42 |
|
68 |
打开花园灯 |
好的.花园灯已开 |
命令词 |
43 |
|
69 |
关闭花园灯 |
好的.花园灯已关 |
命令词 |
44 |
|
70 |
打开客房灯 |
好的.客房灯已开 |
命令词 |
45 |
|
71 |
关闭客房灯 |
好的.客房灯已关 |
命令词 |
46 |
|
72 |
打开餐厅灯 |
好的.餐厅灯已开 |
命令词 |
47 |
|
73 |
关闭餐厅灯 |
好的.餐厅灯已关 |
命令词 |
48 |
|
74 |
打开厕所灯 |
好的.厕所灯已开 |
命令词 |
49 |
|
75 |
关闭厕所灯 |
好的.厕所灯已关 |
命令词 |
4A |
|
76 |
打开背景灯 |
好的.背景灯已开 |
命令词 |
4B |
|
77 |
关闭背景灯 |
好的.背景灯已关 |
命令词 |
4C |
|
78 |
打开阳台灯 |
好的.阳台灯已开 |
命令词 |
4D |
|
79 |
关闭阳台灯 |
好的.阳台灯已关 |
命令词 |
4E |
|
80 |
打开书房灯 |
好的.书房灯已开 |
命令词 |
4F |
|
81 |
关闭书房灯 |
好的.书房灯已关 |
命令词 |
50 |
|
82 |
音量增大 |
好的.已调大音量 |
命令词 |
51 |
|
83 |
增大音量 |
好的.增大音量 |
命令词 |
52 |
|
84 |
大声点 |
大声点 |
命令词 |
53 |
|
85 |
大点声 |
大点声 |
命令词 |
54 |
|
86 |
音量减小 |
好的.已调小音量 |
命令词 |
55 |
|
87 |
减小音量 |
好的.已减小音量 |
命令词 |
56 |
|
88 |
小声点 |
小声点 |
命令词 |
57 |
|
89 |
小点声 |
小点声 |
命令词 |
58 |
|
90 |
最大音量 |
好的.已调到最大音量 |
命令词 |
59 |
|
91 |
最大声 |
好的.最大声 |
命令词 |
5A |
|
92 |
音量最大 |
音量已最大 |
命令词 |
5B |
|
93 |
最小音量 |
好的.最小音量 |
命令词 |
5C |
|
94 |
最小声 |
最小声 |
命令词 |
5D |
|
95 |
音量最小 |
音量已最小 |
命令词 |
5E |
|
96 |
打开语音 |
好的.语音已打开 |
命令词 |
5F |
|
97 |
开启语音 |
好的.开启语音 |
命令词 |
60 |
|
98 |
启动语音 |
好的.启动语音 |
命令词 |
61 |
|
99 |
关闭语音 |
好的.已调静音模式 |
命令词 |
62 |
|
100 |
停止语音 |
好的.停止语音 |
命令词 |
63 |
|
101 |
结束语音 |
好的.结束语音 |
命令词 |
64 |
|
Uart 为通信使用 IO 口,固件默认波特率为 9600,8bit,可以在 pc 上利用串口工具查看输出的协议。 |
|||||
2. 目前公版送给上位机的串口信息为一个字节的十六进制消息(即命令词ID),波特率为9600。