英语论文艺术论文会计审计论文土建类论文农业科学论文代写论文专区公文范文代发论文代写作业论文检索代写论文价格论文格式留学生论文高中教学论文哲学论文政治论文经济学论文理工科学论文护理学论文管理科学论文教育学论文其他资料计算机科学论文医药学论文法律论文日本语论文文学媒体论文文化历史学论文社会学论文代写体育论文

英语翻译论文英美文学论文英语语言学论文英语其它商务英语论文英美文化论文

学科教育论文信息技术论文德育管理论文素质教育论文图书馆学论文教育心理学论文小学语文高效课堂论文小学语文电教论文小学英语电教论文小学数学电教论文中学英语电教论文中学音乐电教论文小学电教教育论文小学科学电教论文中学数学电教论文初中数学电教论文生物自然教学论文历史教学论文地理教学论文教育理论论文教育管理论文基础教育论文中等教育论文高等教育论文职业教育论文英语教学论文语文教学论文政治教育论文数学教学论文物理教学论文化学教学论文体育教学论文美术论文音乐论文中学化学电教论文

药学论文医学论文题目医学论文投稿医学论文格式医学其他泌尿科论文眼科论文外科论文医学硕士论文呼吸消化论文医院管理论文临床医学论文中医学论文医患关系论文

建筑工程论文土木工程论文城市规划论文建筑论文

工商管理论文管理基本理论论文成本管理论文档案管理论文企业研究论文管理理论论文企业文化论文项目管理论文MPA论文经济管理论文风险管理论文行政管理论文图书馆管理论文公共管理论文工程管理论文旅游管理论文市场营销论文人力资源管理论文秘书文书论文物流供应链管理论文信息管理论文电子商务论文战略管理论文代写mba论文

财政税收论文技术经济学论文农业经济论文债务市场论文投资决策论文融资决策论文宏观经济论文经济相关论文货币银行论文保险论文金融证券论文国际贸易论文中国经济论文经济学理论论文行业经济论文国际经济论文发展战略论文国民经济核算论文

财务分析论文MPACC论文财务控制论文会计研究论文财务管理体制论文成本会计论文审计论文电算化会计论文CPA行业论文管理会计论文会计理论论文会计毕业论文

国际法论文法学史论文公司法论文合同法论文经济法论文知识产权法论文司法制度论文法学理论论文国际商法论文宪法论文行政法论文刑法论文民法论文诉讼法论文

软件工程论文计算机网络论文计算机应用论文计算机安全论文计算机专业论文计算机论文范文

汉语言学论文古代文学论文现当代文学论文新闻传播学论文

中国古代史论文中国近代史论文传统文化论文文化战略论文宗教文化论文

农村研究论文人口问题论文伦理道德论文心理学论文社会其他民俗学论文

民主制度论文毛泽东思想论文政治学论文国际关系论文科学发展观论文马克思主义论文资本主义论文社会主义论文政治哲学论文邓小平理论论文

逻辑学论文中国哲学论文西方哲学论文国学论文美学哲学论文

音乐舞蹈论文环境艺术设计论文园林艺术论文网页设计论文室内设计论文戏剧论文动漫设计论文平面设计论文美学论文艺术理论论文电影电视论文美术绘画论文传播学论文

JUNO分布式计算环境下多核作业支持与调度的软件工程研究

时间:2019-02-10 19:59来源:硕士论文作者:lgg 点击:
本文是一篇软件工程论文,软件工程学科是计算学科的分支,计算学科中理论、抽象、设计等三个学科形态,绑定、大问题的复杂性、概念和形式模型、一致性和完备性、效率、演化、抽象层次
本文是一篇软件工程论文,软件工程学科是计算学科的分支,计算学科中理论、抽象、设计等三个学科形态,绑定、大问题的复杂性、概念和形式模型、一致性和完备性、效率、演化、抽象层次、按空间排序、按时间排序、重用、安全性、折衷与决策等十二个基本概念,数学方法、系统科学方法在软件工程学科中占有重要地位。(以上内容来自百度百科)今天为大家推荐一篇软件工程论文,供大家参考。
 
第一章 绪论
 
本章主要介绍了 JUNO 实验多核作业支持与调度的研究内容与意义,分析了国内外高能物理实验多核的研究现状,并阐述本文的主要工作。
 
1.1 研究背景与意义
江门中微子实验(Jiangmen Underground Neutrino Observatory, JUNO)[1]是我国第二个大型中微子实验项目,实验的首要物理目标是确定中微子质量顺序以及精确测量中微子的振荡参数。中微子质量顺序是指第三代中微子(v3质量本征态)是否比第一代和第二代中微子(v1和 v2质量本征态)更重的问题[2]。JUNO 实验每年将产生原始数据约为 2PB,并通过专线网络传输到高能所计算中心。处理和分析这些数据需要建设一个大型的离线计算系统,用于产生模拟数据、数据处理产生的重建数据[3],并为物理学家提供良好的分析计算环境。为有效地处理江门中微子实验离线数据,高能所建立了实验计算系统,合作组成员将根据实际情况,提供了相应的计算资源。其计算环境将不仅包括本地集群,还包括合作组成员单位提供的异地计算资源共同执行江门中微子实验数据计算任务。高能物理实验的大数据量推动了网格计算的发展,是网格计算的受益者[4,5]。随着实验数据的累积,实验对计算与存储资源的需求持续增长。因此,JUNO 实验基于DIRAC(Distributed Infrastructure with Remote Agent Control)[6]框架构建了分布式计算环境,整合了来自全球不同合作单位的异地异构资源,实现多个合作组成员的计算资源协同工作。根据实验需求和分布式异构资源的特征,JUNO 采用了一种主、从站点相结合的分布式计算模型,主站点主要负责数据重建,主、从站点共同承担数据分析以及模拟数据的产生[7]。
........
 
1.2 国内外研究现状
随着高能物理实验数据量及事件复杂性不断的增加,为了满足每个实验作业的内存需求,缓解单核模式下内存的限制问题,各大物理实验已将多核模式应用到各自的分布式计算以及网格计算环境中。本节将从典型的高能物理实验中多核作业支持与调度的研究和分布式计算环境多核站点平台两方面进行介绍。
 
(1)CMS 实验的多核支持研究现状
在国外高能物理领域,大型强子对撞机(Large Hadron Collider, LHC)[16]是目前世界上能量最高的强子对撞机,CMS(Compact Muon Solenoid)[17]和 ATLAS(AToroidal LHC Apparatus)[18]是 LHC 上重要的实验。目前,在 CMS 和 ATLAS 上,已普遍开始使用多核作业处理实验数据,并在多核作业的调度效率和资源利用率上做了初步的研究。随着多核处理器在高能物理实验计算中的应用,LHC 在实验数据量和事件复杂性的增加,导致每个核拥有的内存难以满足每个事件的需求。在目前运行的 LHC 中,CMS 实验的数据重构和仿真算法以多核作业的方式在多核处理器上运行而受益很大。首先,CMS 提交和处理作业的全局池是单一的 HTCondor 资源池,主要是用来处理生产任务和分析任务。如图 1-1 所示,GlideinWMS 的前端(Frontend)和代理(Factory)通过引导作业来管理一个临时的计算资源池,它是依据引导作业的需求,匹配站点相应的计算资源。同时,HTCondor 的资源判定代理(Negotiator)将提交节点连接到执行节点(Startd)并执行引导作业。其中,CMS 采用具有内部资源动态分配功能的统一多核引导作业,实现了单核和多核作业的混合调度。该模式与使用单核和多核引导作业的组合相比,消除了单核和多核引导作业因竞争资源而产生的不利影响。然而,相比较单核引导而言,多核作业增加了资源分配、统计计算和监控等方面复杂性。在 2015 年,CMS 完成了多核模式的首次部署,CPU 规模可达约 30000 个核,在 2016 年完成了将近 90%核数部署。
..........
 
第二章 相关领域的研究与分析
 
本章首先研究分布式计算的体系结构,描述了 JUNO 分布式计算环境,然后介绍了江门中微子实验的离线数据处理以及多核相关的理论与概念,最后研究并分析了常见的作业调度算法。
 
2.1 分布式计算介绍
 
2.1.1 体系结构
为了处理和分析 JUNO 实验数据,产生模拟数据、数据处理产生的重建数据,中科院高能所基于 DIRAC 分布式计算框架搭建了 JUNO 分布式计算环境。作为分布式计算的一个提供完整解决方案的软件框架,DIRAC 为一个或多个用户需要访问的分布式计算资源提供了入口,并在用户和资源之间建立了一层使用机制,为异构资源的使用提供了公共接口,能够让用户透明和可靠地使用计算资源。体系结构是分布式计算环境的基础,分为较为重要的两个体系结构,一个是以协议为中心[24],一个是以服务为中心[25]。但所有体系都拥有一个基本的三层结构[26],如图 2-1 所示。分布式资源层:构成了分布式计算平台的硬件基础。它整合了分布在不同地理位置、合作组织及各个研究中心的分布式异构资源,例如 PCs,CLUSTER,GRID 和CLOUND 等所拥有的资源,并通过网络把这些资源与分布式计算平台建立连接。
...........
 
2.2 江门中微子实验
 
2.2.1 离线数据处理
江门中微子实验将建设一个有效质量为两万吨的液体闪烁体中心探测器[35]。探测器的基本概念如图 2-3 所示。实验的首要物理目标是确定中微子质量顺序以及精确测量中微子的振荡参数。此外,还进行其它多项科学目标前沿研究,包括超新星、太阳、大气等中微子的观测以及核子衰变方面。江门中微子实验的数据处理分为两个阶段,在线数据收集和离线数据处理。JUNO分布式计算环境主要负责第二阶段,主要包括 MC 模拟数据的产生、实验数据的收集和处理等。其中,蒙卡模拟是高能物理领域公认的重要研究方式。而蒙卡模拟产生的数据可用于实验的预研究,有助于实验装置的改进。在江门中微子实验中,蒙卡模拟主要包括物理产生子与探测器模拟和电子学与触发模拟[36]。蒙卡模拟产生的数据与探测器收集的数据一样,都是由一系列复杂电信号的原始数据组成,这些原始数据需要经过预处理才可进行分析研究,预处理包括数据的刻度修正以及事例的重建[37]。事例数据模型作为实验作业的重要部分,从数据处理阶段,在内存和数据文件中,分别为事例提供了暂时和持久化的格式。JUNO 实验离线数据处理的工作流如图 2-4 所示。
........
 
第三章 分布式计算环境的多核支持.........17
3.1 引导机制...........17
3.2 基于引导机制的资源分配策略.....19
3.2.1 问题分析 .........19
3.2.2 权值计算 .........21
3.2.3 资源分配策略 ...........22
3.3 基于引导代理的作业调度模式.....23
3.4 JUNO 多核支持模型 ............28
3.5 实验与分析.......33
3.6 应用场景...........35
3.7 本章小结...........37
第四章 多核作业调度算法的优化研究.....38
4.1 JUNO 实验的应用特征 ........38
4.2 基于资源需求的回填算法.............39
4.3 MP-RB 作业调度算法 ..........41
4.4 实验与分析.......46
4.4.1 实验数据及相关设置 .........46
4.4.2 实验结果分析 ...........48
4.5 本章小结...........50
第五章 JUNO 多核作业支持与调度的综合实验 .........51
5.1 多核模式部署.............51
5.2 实验数据及相关设置...........52
5.3 实验结果及分析.........55
5.4 本章小结...........58
 
第五章 JUNO 多核作业支持与调度的综合实验
 
在 JUNO 分布式计算环境下,本文第三章设计并实现一种多核支持模式,包括多核资源分配策略以及作业调度模式,在第四章对调度模式内的作业调度算法进行了改进,通过实验验证了该算法的有效性。为了把多核模式成功运用到实际高能物理实验数据的离线处理,需要从作业管理和分布式资源管理两方面对多核模式进行部署。因此,本章首先在作业管理中,融合了单核和多核模式,对多核资源进行了整合。其次,在站点资源分配过程中,现有研究分析出了引导作业生命周期的长短会影响站点资源利用率,未考虑作业与资源匹配的效率问题。为此,本章引入了作业与资源匹配的时间因子,并与引导作业的生命周期进行组合,在不同的模式下进行测试对比,得出了在作业调度过程中表现良好的参数选取范围。最后,在资源利用率方面对多核模式的性能进行了测试,验证了作业调度算法的实用性。
 
5.1 多核模式部署
分布式计算环境多核模式的部署主要集中在多核资源管理和作业调度,基于SLURM(Simple Linux Utility for Resource Management)[60]本文设计了一种可提供多核计算资源的分布式计算站点,包括 10 台服务器,共计 216 个 CPU 核,其结构如图5-1 所示。顶部是计算管理器,由守护程序 slurmctld 实现。其拥有监控资源和管理作业调度的功能。每个计算节点均拥有 slurmd 守护程序,用于监控任务状态。同时,作业匹配器可通过凭据(ssh 密钥或密码),利用 ssh 隧道与站点计算集群进行交互。在作业调度过程中,站点会依据不同的作业需求切换调度模式以及资源队列。为了方便站点切换,本文提供了一组参数(NP,WN,MT,MJ)。其中,NP 表示不同调度模式对应的整数,取值范围[1,n],n 为站点队列能够提供的最大资源数,默认取值为 1 即单核模式;WN 表示资源提供的方式,取值为 true 和 false,当值为 true时,资源作为一个整体进行分配,不可分割;MT 和 MJ 表示站点可接受的最大作业数及最大等待作业数。通常情况下,单核模式的取值为(1,false,100,100),多核模式的取值为(8,false,50,100)。
.........
 
总结
 
江门中微子实验是我国第二个大型中微子实验项目,每年产生的原始数据约为2PB,处理和分析这些数据需要建设一个大型的离线计算系统,用于产生模拟数据、数据处理产生的重建数据,并为物理学家提供良好的分析计算环境。中科院高能物理研究所整合了本地以及来自全球各个不同组织的异地异构资源,构建了一个大型的分布式的协同计算处理平台,并将它用于实验数据的处理、分析和存储。高能物理实验是典型的数据密集型应用,实验数据量及事件复杂性不断的增长,极大地增加作业对内存资源的消耗,计算环境中核数的逐渐增加,导致每个核的内存资源不断减少。因此,JUNO 实验计划利用多核模式来满足每个作业的内存需求。本文对分布式计算环境的多核作业支持与调度进行了研究,主要贡献表现为:
(1)根据 JUNO 实验需求,对分布式计算环境所需的多核作业支持进行了研究。在现有的引导代理机制下,设计了一种异构资源分配策略,该策略可依据任务队列的资源需求,主动发送引导代理作业到分布式站点,引导代理作业作为资源预留容器可通过“拉”模式动态匹配满足需求的用户作业。基于对现有作业调度模式的研究,依据 JUNO 作业的应用特征,提出了一种基于公用引导代理的多核作业调度模式,使作业的调度从站点转移到了代理内部,缓解了站点对作业调度和配置的复杂性。
(2)在公用引导代理的多作业调度模式下,对作业调度问题进行研究,提出了一种基于面向作业资源需求的调度算法。首先,对现有大型集群系统常见的作业调度算法及相关策略进行了研究,分析了面向资源需求的回填策略在资源利用率方面的缺陷,特别是当多用户不同类型作业情况下,资源碎片以及作业饥饿的问题。然后,结合了回填策略和优先级调度算法,在空闲资源面前,以满足资源需求的最佳大小作业优先的方式,减少了资源碎片的产生。同时,对二级优先级达到阈值的作业进行资源的预留,缓解了作业的饥饿问题,在一定程度上提升了整体资源利用率和作业执行效率。
..........
参考文献(略)
(责任编辑:gufeng)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
论文代写请联系:

论文代写电话:
论文代写电话:
email:@qq.com
论文代写qq:

\
论文代写 价格合理
QQ在线客服
中华论文网
咨询QQ
2628487918
15221741752