支持大数据、人工智能与超算融合 青云QingCloud布局“新算力”

2021-12-06 17:00:08

当下,数字经济背景下,伴随企业不断深入云化转型、科研体系深度接轨实体经济以及数据科学新领域的飞速发展,算力需求呈现出多样化、个化、巨量化趋势,原本服务于尖端科研的HPC也逐渐成为企业发展的重要力量。

然而,具有高维、时变、海量等特征的科学数据不仅需要超高能底层算力,更需要弹伸缩、简便运维提升综合算效,传统 HPC 集群在材料学、基因组学、生命科学、CAE 仿真、深度学、地理测绘、影视渲染等应用场景面临诸多不便。

日前,青云QingCloud(qingcloud.com,股票代码:688316)重磅上线EHPC高能计算台,基于尖端超算算力,结合公有云架构提供弹伸缩、按需计费的高价比方案。同时,打通云台丰富的产品和服务种类,创新云化超算的服务新模式,更好赋能新科研、助力新场景。

能计算是什么?

对于非IT专业人士而言,大家接触较多的信息和通信设备,通常是个人电脑和手机,很多人都不了解计算机界“皇冠上明珠”的高能计算 (HPC) 到底是什么样子?这次我们就带大家认识认识它。

其实,高能计算,指的是用大量服务器并行地对某一个任务执行运算,来解决工程和科学上的问题。它的用途很多,最核心的是用来模拟世界万物。宏观上,可以用卫星图像、遥感数据、气象数据利用高能计算来模拟地球、海洋和气候;微观上,青云能模拟分子原子来了解生命的原理,使药物的研发更快速、更精确。

比如,天气预报需要融合几十个纬度的数据,石油天然气勘探需要进行空间分析和建模,DNA测序需要对比成千上万个碱基对等,这些对任意一个单一计算机来说都负荷太大了,而高能计算可以很好应对。

青云QingCloud 云台&服务部高级总监陈海泉表示:“高能计算这一领域出现了一个新的场景,大数据和人工智能正在与超算融合。”

第一,高能计算跟尖端科研是密不可分的。科学家要让科技持续进步,一定要之前的研究人员对更大规模的数据做计算,并且不断提高计算精度。

第二,大数据驱动存储跟算力融合。以前建超算中心的时候,普遍是以算力为主导,但在存储方面出现新的挑战。

一方面,现在数据越来越多,比如卫星、无人机在不断产生大量的高精度照片。

另一方面,数据类型也在变多,比如可穿戴设备的普及、IoT 的广泛应用,都在不断产生各种新的、不同类型的数据。这些数据都需要利用大数据进行处理和分析。这一改变正在驱使数据中心和算力中心互相融合,并且数据量越大,对应的算力也需要更强。

第三,人工智能应用爆发。人工智能通常指的是机器学,机器学最常用的技术是深度学。深度学有两个阶段:第一阶段是对大量的数据进行计算,得到训练模型;第二阶段是通过已得到的训练模型,结合新的数据做推理计算,解决实际的问题,比如图像识别、自然语言识别等,都需要推理。其中,训练阶段需要进行大量的浮点运算,为了达到足够的算力,就需要用很多的GPU节点。

陈海泉表示介绍道:“青云看到的两个具体场景,都是大数据、人工智能与超算结合的场景。”

当青云提供了一个基础设施,它适应了人工智能、大数据和超算,以及不同的业务时,青云希望它能尽快复用。这就是青云提供的EHPC超算台—— QingCloud EHPC,可以全面地支持各种新的业务场景。

青云的超算布局

一直以来,HPC渲染创造了很多科幻电影中的经典场景,而在现实中,HPC早已成为各国“科技竞赛”中最尖端的领域之一。

从药品研制、天气预报、地震监测,到能源勘探、基因分析、人工智能,HPC帮助人们解决了科研、工作、生活中的许多难题。如今,随着技术创新发展、智能化持续加速,人们对算力的需求越来越大,应用场景从传统向物联网、人工智能等领域不断渗透,HPC在各个方面都面临着巨大的挑战。

为解决传统HPC资源利用率低、投入成本大、运维管理重、安全防护难等痛点,青云科技推出了青云弹能计算——QingCloud EHPC。相较于传统HPC,QingCloud EHPC提供了一种快捷、弹、安全以及互通的基于云台的高能计算服务,它能支持计算资源的弹定制,降低成本,提高资源利用率,具有极大的灵活

针对超算在尖端科技、大数据以及人工智能场景的支持,QingCloud EHPC也给出了相应的解决方案。

如超算最常见的仿真和建模业务,青云提供了低延时、高带宽的InfiniBand网络,高速并行文件存储以及CPU/GPU的算力组合,不仅能支持大规模求解运算,还能提供GPU桌面进行图形前后处理,完成一个闭环的业务场景。

对于大数据业务,QingCloud云台提供的对象存储容量达245PB,跟计算节点结合,可以用于大规模的数据处理和分析。计算节点到对象存储的网络带宽有1.6T,能够保证大数据计算的超高能。

对于人工智能训练业务,青云提供算力达850PFlops的A100 GPU资源池和全闪并行文件存储,并且能够结合容器台,提供能极致优化、轻量便捷、开源开放的人工智能台。

另外,使用方式也是超算中心一个痛点,传统的超算中心用户,在使用时,需要提交申请,并且有人工审批的环节,当他得到审批通过后,还需要自己安装VPN客户端连接超算中心提供的登录节点。

为了让整个超算使用更灵活,青云提供了偏传统的共享型超算集群和独享EHPC集群两种不同类型的超算集群。

其中,共享型超算集群给用户的计算节点是共享的,但登录节点是独享,所以用户自己软件的安装、执行、操作还是在自己的节点上,跟别的用户没有关联。

独享EHPC集群给用户一个root账号,用户使用会非常方便。它的优势是不仅能自由地安装自己需要的系统软件,甚至切换超算台的各种软件,或是大数据相关的Hadoop、MapReduce,用户可以自己随便安装;二是EHPC集群的节点是用户独享,可以自己合理安排使用时间。三是EHPC集群的计算、存储和网络类型,用户可以自由搭配。

除此之外,云计算给HPC带来的一个最大的变化是,把传统的审批制度变成用户自服务的形式,用户随时可以自己到云台注册账号,并且充值购买他需要的计算资源。

QingCloud EHPC 产品经理苗慧表示:“青云EHPC提供云上超算SaaS化服务,方便快捷让作业运行起来。通过青云的弹公网IP、公网带宽,将数据进行快速地上传、下载,与本地数据同步。”

写在最后

陈海泉总结道:“青云的超算云台可以支持大数据和人工智能融合的超算业务,并且以云服务的方式提供,让超算资源更便捷地交付给用户。”

目前,数字化创新对企业发展和业务创新都提出了更大挑战。青云意识到EHPC将云计算与高能计算的结合,对于数字经济发展有着重要意义。为此,青云科技将紧扣技术发展趋势,继续创新,不断更新迭代弹能计算能力,丰富和完善EHPC方案的能力,持续满足用户高能计算需求。

关闭
精彩放送