基于多模态信息融合的语音意图理解方法

郑彬彬; 贾珈; 蔡莲红

0
0
浏览
下载

摘要
关键词
基金信息
论文图表
同行评议
相关论文
评论

基于多模态信息融合的语音意图理解方法

首发时间：2011-08-02

郑彬彬 ¹
郑彬彬（1985- ），女，硕士研究生，主要研究方向：语音意图理解
贾珈 ¹
贾珈，助研，主要研究方向：人机语音交互
蔡莲红 ¹

1、清华大学计算机科学与技术系

摘要：为从语音中获取包括字面含义和说话人情绪状态在内的全面意图信息，提出了一种基于多模态信息融合的语音意图理解方法，并对其中的关键词抽取、命令解析、基于文本/韵律特征的情绪状态检测以及多模态信息融合等关键算法进行了设计。该方法从识别文本和语音信号中抽取不同模态的信息并进行融合，能够有效地从语音中获取丰富的意图信息，有助于建立自然的人机交互环境。

关键词：语音意图理解多模态信息抽取多模态信息融合

For information in English, please click here

A Speech Intention Understanding Method Based on Multimodal Information Integration

Zheng Binbin ¹
郑彬彬（1985- ），女，硕士研究生，主要研究方向：语音意图理解
Jia Jia ¹
贾珈，助研，主要研究方向：人机语音交互
Cai Lianhong ¹

1、Department of Computer Science and Technology, Tsinghua University

Abstract：In order to obtain comprehensive speech intention information containing both the literal meaning and speaker’s affective state, a speech understanding method based on multimodal information integration is proposed. Key algorithms including keywords extraction, command analyzing, text/prosody-based affective state determination and multimodal information integration are designed. The method is able to effectively obtain rich intention information by extracting information of different modality from recognition text and speech signal and merging them together, which is helpful to establish a natural human-computer interaction environment.

Keywords： speech intention understanding multimodal information extraction multimodal information integration

基金：

1. 国家自然科学基金（61003094，90920302，60931160443）

论文图表：

引用

导出参考文献

.txt

.ris

.doc

郑彬彬，贾珈，蔡莲红. 基于多模态信息融合的语音意图理解方法[EB/OL]. 北京：中国科技论文在线 [2011-08-02]. https://www.paper.edu.cn/releasepaper/content/201108-15.

No.****

同行评议

未申请同行评议

全部评论

0/1000

论文编号	201108-15
论文题目	基于多模态信息融合的语音意图理解方法
文献类型
收录期刊	上传封面中文期刊英文期刊期刊名称（中文）期刊名称（英文）年，卷（）上传封面中文专著英文专著书名（中文）书名（英文）出版地出版社出版年上传封面中文译著英文译著书名（中文）书名（英文）出版地出版社出版年上传封面中文论文集英文论文集编者.论文集名称（中文） [c]. 出版地出版社出版年， - 编者.论文集名称（英文） [c]. 出版地出版社出版年，- 上传封面中文文献英文文献期刊名称（中文）期刊名称（英文）日期-- 在线地址http:// 上传封面中文文献英文文献文题（中文）文题（英文）出版地出版社,出版日期-- 上传封面中文文献英文文献文题（中文）文题（英文）出版地出版社,出版日期--
英文作者写法：中外文作者均姓前名后，姓大写，名的第一个字母大写，姓全称写出，名可只写第一个字母，其后不加实心圆点“.”, 作者之间用逗号“，”分隔，最后为实心圆点“.”, 示例1：原姓名写法：Albert Einstein,编入参考文献时写法：Einstein A. 示例2：原姓名写法：李时珍；编入参考文献时写法：LI S Z. 示例3：YELLAND R L,JONES S C,EASTON K S,et al.