英语论文艺术论文会计审计论文土建类论文农业科学论文代写论文专区公文范文代发论文代写作业论文检索代写论文价格论文格式留学生论文高中教学论文哲学论文政治论文经济学论文理工科学论文护理学论文管理科学论文教育学论文其他资料计算机科学论文医药学论文法律论文日本语论文文学媒体论文文化历史学论文社会学论文代写体育论文

英语翻译论文英美文学论文英语语言学论文英语其它商务英语论文英美文化论文

学科教育论文信息技术论文德育管理论文素质教育论文图书馆学论文教育心理学论文小学语文高效课堂论文小学语文电教论文小学英语电教论文小学数学电教论文中学英语电教论文中学音乐电教论文小学电教教育论文小学科学电教论文中学数学电教论文初中数学电教论文生物自然教学论文历史教学论文地理教学论文教育理论论文教育管理论文基础教育论文中等教育论文高等教育论文职业教育论文英语教学论文语文教学论文政治教育论文数学教学论文物理教学论文化学教学论文体育教学论文美术论文音乐论文中学化学电教论文

药学论文医学论文题目医学论文投稿医学论文格式医学其他泌尿科论文眼科论文外科论文医学硕士论文呼吸消化论文医院管理论文临床医学论文中医学论文医患关系论文

建筑工程论文土木工程论文城市规划论文建筑论文

工商管理论文管理基本理论论文成本管理论文档案管理论文企业研究论文管理理论论文企业文化论文项目管理论文MPA论文经济管理论文风险管理论文行政管理论文图书馆管理论文公共管理论文工程管理论文旅游管理论文市场营销论文人力资源管理论文秘书文书论文物流供应链管理论文信息管理论文电子商务论文战略管理论文代写mba论文

财政税收论文技术经济学论文农业经济论文债务市场论文投资决策论文融资决策论文宏观经济论文经济相关论文货币银行论文保险论文金融证券论文国际贸易论文中国经济论文经济学理论论文行业经济论文国际经济论文发展战略论文国民经济核算论文

财务分析论文MPACC论文财务控制论文会计研究论文财务管理体制论文成本会计论文审计论文电算化会计论文CPA行业论文管理会计论文会计理论论文会计毕业论文

国际法论文法学史论文公司法论文合同法论文经济法论文知识产权法论文司法制度论文法学理论论文国际商法论文宪法论文行政法论文刑法论文民法论文诉讼法论文

软件工程论文计算机网络论文计算机应用论文计算机安全论文计算机专业论文计算机论文范文

汉语言学论文古代文学论文现当代文学论文新闻传播学论文

中国古代史论文中国近代史论文传统文化论文文化战略论文宗教文化论文

农村研究论文人口问题论文伦理道德论文心理学论文社会其他民俗学论文

民主制度论文毛泽东思想论文政治学论文国际关系论文科学发展观论文马克思主义论文资本主义论文社会主义论文政治哲学论文邓小平理论论文

逻辑学论文中国哲学论文西方哲学论文国学论文美学哲学论文

音乐舞蹈论文环境艺术设计论文园林艺术论文网页设计论文室内设计论文戏剧论文动漫设计论文平面设计论文美学论文艺术理论论文电影电视论文美术绘画论文传播学论文

海量音频检索算法的软件分布式实现

时间:2018-10-10 17:49来源:硕士论文作者:lgg 点击:
本文是一篇软件工程论文,软件工程是研究和应用如何以系统性的、规范化的、可定量的过程化方法去开发和维护软件,以及如何把经过时间考验而证明正确的管理技术和当前能够得到的最好的
本文是一篇软件工程论文,软件工程是研究和应用如何以系统性的、规范化的、可定量的过程化方法去开发和维护软件,以及如何把经过时间考验而证明正确的管理技术和当前能够得到的最好的技术方法结合起来。(以上内容来自百度百科)今天为大家推荐一篇软件工程论文,供大家参考。
 
第一章 绪论
 
大数据时代来临,信息大爆炸,音频数据(包括语音、音乐和各种各样的环境声音)大量涌入我们的日常生活中。如何从海量音频数据库中迅速而准确地获取自己最需要的音频数据成为音频搜索应用发展中亟待解决的关键问题。由于存在大量低质量的元数据,传统的基于文本的音频检索效率已经不能满足人们的需求。因此开发高效的基于内容的音频检索方法逐渐成为国内外学者的研究热点。基于内容的音频检索着重于研究高鲁棒性的音频特征提取算法和检索算法的优化,在音频检索性能上已经有了明显的提升。但针对海量音频数据,检索性能仍有待提高。而海量的音频数据和检索请求带来的成本和服务质量压力可以通过提高分布式音频检索算法效率来化解。即使检索算法效率很小的提高,也会带来很大的累积成本的降低和服务质量的提升。因此,检索算法效率的提高是业界永恒的主题。本文以目前高效的采样-计数音频检索方法为对象,研究音频检索算法的分布式实现方法和技术。
 
1.1 本文研究的背景与意义
互联网技术和多媒体技术的不断发展,音频信息已经成为我们生活中传递信息和交流互动最普遍的方式[1]。但音频信息多样化,数据量庞大,而我们往往只对某些特定的音频片段感兴趣。因此,快速准确地检索出用户所需要的音频片段成为学术界和工业界的研究热点。针对文本的检索,Google、Yahoo、Baidu 等已经针对海量文本数据研究出了高效的基于文本的检索算法。用户只需要输入自己所需要搜索信息的关键字,然后就可以在海量文本数据中快速、准确地查询检索出所需要的文本信息。但当把这些成熟的基于文本的检索算法应用于音频检索的时候,就是用户输入关于该音频的文字描述,然后通过基于文本的音频检索方法来查询检索出音频文件的文本描述,最后给出文本匹配结果。但这种检索效果已经不能满足用户需求。这是由于基于文本的音频检索系统[2]是采用描述性的元数据标记内容,例如歌名、歌手、创作者、专辑名称、音乐风格、音乐类型等。当用户进行搜索时,需要详细了解自己所搜索的音频元数据。例如当我们在商场听到一段音乐,想要下载这首歌时,但我们不知道这首歌的歌名、歌手等音频信号的元数据,则无法进行搜索。而且目前音频处理技术不能自动的对音频内容做标注,标注的工作还是主要由人工手动完成,所以工作量极大且十分耗时。并且不同的人对于音频信息内容的理解也各不相同,这样导致人工标注的元数据不完整、不一致和不准确,比如对于同一首歌的音乐风格或类型,不同的人标注的关键字可能不同,可能有的人认为是古典风,而有的人则认为是民族风。不同人对元数据的不同标注,从而降低元数据的质量,大量的低质量的元数据严重影响检索效率。因此,基于内容的音频检索系统应运而生,采用音频指纹作为相应的元数据进行索引,消除对容易出错的元数据的依赖,提高检索效率[3]。另外,音频检索在音频解析系统、数字音频内容篡改鉴定、音频资源归类统计、新闻节目检索、广播监控、哼唱检索、音乐识别等众多领域都有着非常广泛的应用[4]。
..........
 
1.2 相关研究现状
国内外研究机构和学者对音频检索的研究主要分为两类:(1) 基于内容的音频检索算法的研究,(2) 分布式音频检索算法实现的研究。基于内容的音频检索是将待检索音频片段中的所有子指纹与音频数据库中所有音频的子指纹一一进行比较,从而获得音频片段详细信息的过程。它主要包含两部分:音频指纹的提取和检索匹配。因此,提高基于内容的音频检索算法的效率主要着重于两个方面:一是提取高鲁棒性的音频指纹,二是设计高效、准确的音频检索算法。在提取音频指纹方面:Shazam[6]将通过傅里叶变换后的频谱图中振幅较大且能量值较大的点作为候选点形成散点图,再从散点图中选取锚点和锚点的目标空间,将锚点与目标空间中的点的频率值和时间差作为 key 音频指纹,锚点的时间值和音频 ID 作为 value。Yu[7, 8]将音频指纹的频率、能量、振幅等数值属性进行一系列过滤、压缩、变换作为 key 音频指纹,将 key 对应的音频 ID,时间信息等结合起来作为 value。Haitsma[9]提出 Philips 音频指纹,对音频信号进行重叠分帧,傅里叶变换等,计算频带能量差,确立 32 位的子指纹作为 key,将包含该子指纹的音频 ID 及存储位置信息作为 value。
.........
 
第二章 相关技术介绍
 
音频指纹和检索算法是决定音频检索系统性能的关键因素,所以音频检索的分布式实现也需要在这两点的基础之上进行改进,即在采用高鲁棒性的音频指纹和高效的检索算法的基础上对分布式音频检索系统进行优化。本章首先对音频指纹进行概述,简单介绍音频指纹的基本概念、应用领域、优点和指纹特性。其次研究分析了音频指纹提取算法,并对经典的 Philips 音频指纹提取算法过程详细叙述。然后对国内外一些高效的基于内容的音频检索算法和相似度匹配方法进行综述介绍。最后对目前最流行的分布式架构Hadoop 进行展开介绍,给出 Hadoop 的生态系统框架及 MapReduce 计算模型,为后文音频检索的分布式实现奠定基础。
 
2.1 音频指纹
音频指纹是在音频原始信号的重要声学特征的基础上提取出的一组唯一标识音频内容的特征,它是对音频内容的详细描述,是音频信号的唯一标识,对于具有相同内容的两个不同的音频文件,从中提取出的音频指纹是一样的[23-26]。音频指纹是基于内容的音频检索的基础,基于内容的音频检索系统的性能与所使用的音频指纹直接相关。比如当需要识别一段未被标识的音频片段时,首先提取出它的指纹,然后与音频指纹数据库中的所有音频指纹进行相似度匹配,对于具有高鲁棒性和高区分性的音频指纹,不仅可以准确、快速地筛选出较为相似的音频,并且在音频信号衰减的情况下,仍能准确识别出正确的音频内容。本节首先对音频指纹的定义、应用领域、优点及指纹特性进行简单概述,然后研究分析音频指纹提取算法的基本过程,并对经典的 Philips 音频指纹提取算法过程进行详细描述。
..........
 
2.2 基于内容的音频检索方法
基于内容的音频检索[38, 39](CBAR,Content Based Audio Retrieval)是被广泛认可的音频搜索方法,主要由两部分构成:音频指纹提取技术和音频检索算法[40-43]。例如,用户提交一个音频片段查询请求,通过基于内容的音频检索返回与该查询片段最相似的音频或音频集。本文在上一节对音频指纹及音频指纹的提取算法进行了详细介绍,本节简单介绍基于内容的音频检索框架,并对高效的音频检索算进行综述,分析检索算法的优缺点。
 
2.2.1 基于内容的音频检索框架
基于内容的音频检索框架和传统的基于文本的音频检索框架类似,都需要经过信息采集、构建数据库、信息索引和信息匹配这四个关键步骤[44]。但基于内容的音频检索在信息采集阶段和构建数据库阶段需要对音频信号进行数字化,提取与人耳听觉感知相关的音频内容的声学特征作为音频指纹,构建音频指纹数据库,将音频指纹作为信息进行检索,打破了传统的基于文本的音频检索不能对音频内容进行检索的局限性。基于内容的音频检索框架如图 2-3 所示。基于内容的音频检索需要在检索前,提取参考音频的指纹建立音频指纹数据库,当检索时,提取待检索音频片段的子指纹与音频指纹数据库中的子指纹进行相似度匹配,将最相似的音频或音频集作为最终结果。
...........
 
第三章 分布式采样-计数音频检索算法.......27
3.1 分布式音频检索系统框架..............27
3.2 采样-计数音频检索算法....29
3.3 索引结构的设计.... 33
3.4 索引和数据库的分布式结构.......... 37
3.5 本章小结................ 42
第四章 性能测试与分析...... 43
4.1 实验环境.... 43
4.2 实验方案设计......... 43
4.3 检索算法性能指标.............. 44
4.4 实验结果与分析..... 45
4.5 本章小结.... 52
第五章 总结与展望.............. 53
5.1 全文总结.... 53
5.2 工作展望.... 53
 
第四章 性能测试与分析
 
4.1 实验环境
本文实验使用 5 台服务器搭建一个 Hadoop 集群,其中 1 台作为主节点,其余 4 台作为数据节点。5 台服务器的配置为 1.7GHz 八核 CPU,64G 内存,1TB 硬盘,64 位Centos Linux 7 操作系统。Philips 指纹采用指纹长度为 0.37 秒,重叠率为 31/32,间隔长度为 11.6 毫秒的音频指纹。本文为了提高音频指纹的提取效率,在音频指纹提取的预处理阶段,将所有音频转换成单声道,采样率为 8000Hz 的 wav 格式的音频。由于 Philips 指纹间隔为 11.6 毫秒,间隔采样点的数量为 92.8(0.0116   8000=92.8),不是一个整数,为了更方便和准确地计算频带能量差,将指纹间隔长度设定为 16 毫秒,指纹长度为 0.512 秒(16   32=512毫秒)。采用 5 种不同规模的音频数据库,分别为 5000,10000,50000,100000,500000首的音频数据集。从含 5000 首音频的音频数据集中抽取 2000 首音频数据,把它们裁剪成长度为 20s 的音频片段作为测试集。评估基于序列化 Fibonacci 哈希表的分组索引的分布式采样-计数音频检索算法的性能。
..........
 
总结
 
由于音频检索方法的广泛应用价值,使得如何从海量音频数据库中快速、准确地检索出所需的音频信息成为当前研究的热点。因此,基于内容的音频检索算法应用而生,其中提取高鲁棒性的音频指纹和设计高效的检索算法成为基于内容的音频检索算法效率提高的两大重要因素。而对于不断扩增的音频数据库,音频检索算法的效率提升空间越来越有限,并且对于单机检索存储空间也很有限,而分布式技术可以打破这种局限性。本文根据音频检索算法的分布式实现的两大关键因素进行改进。在指纹索引结构的选择上,采用序列化的 Fibonacci 哈希表结构,通过 Fibonacci 哈希函数压缩稀疏的哈希表,减少哈希桶的数量。将 Fibonacci 哈希表序列化,缩小每个哈希桶所占的内存,节省内存空间。在指纹索引和数据库的划分上,提出一种分组索引的分布式结构,充分利用了全局索引减少每个数据节点的查询量,缩小哈希表的长度与本地索引降低集群的通信开销的优点,提高检索效率。并且结合采样-计数音频检索算法,在保证具有较高的准确率和召回率的同时,快速过滤掉大部分不相关音频,有效缩短检索时间。实验结果表明,序列化的 Fibonacci 哈希表结构相比 Yu 的序列化哈希表节省 40%的内存,分组索引的分布式检索方法比 Yu 的全局索引的分布式检索方法平均检索时间减少 98.9%,比Yu 的本地索引的分布式检索方法平均检索时间减少了 98.7%。
..........
参考文献(略)
(责任编辑:gufeng)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
论文代写请联系:

论文代写电话:
论文代写电话:
email:@qq.com
论文代写qq:

\
论文代写 价格合理
QQ在线客服
中华论文网
咨询QQ
4006227154
13795489978