高性能计算介绍

zouyang

高性能计算介绍

来自：MACD论坛(bbs.macd.cn) 作者：zouyang 浏览：4812 回复：1

高性能计算介绍

　　高性能计算（HPC）是一个计算机集群系统，它通过各种互联技术将多个计算机系统连接在一起，利用所有被连接系统的综合计算能力来处理大型计算问题，所以又通常被称为高性能计算集群。

　　高性能计算方法的基本原理就是将问题分为若干部分，而相连的每台计算机（称为节点）均可同时参与问题的解决，从而显著缩短了解决整个问题所需的计算时间。

　　通常，解决大型计算问题需要功能强大的计算机系统，而现在，随着高性能计算的出现，使这一类应用从昂贵的大型外部计算机系统演变为采用商用服务器产品和软件的高性能计算机集群。因此，高性能计算系统已经成为解决大型问题计算机系统的发展方向。 那么，什么样的大型问题最适合使用高性能计算系统呢？一般来说，高性能计算是为了实现在下列情况下的计算系统：

　　能够突破性能极限的计算。

　　单个高端计算机系统不能满足其需求的计算。

　　需要通过专门的程序优化最大限度提高系统的I/O、计算和数据传送性能的计算。

　　1.2.高性能计算的发展

　　1.2.1. 矢量对称多处理

　　上世纪80年代，由定制设计的软硬件和Fortran编译器组成的大型单片机系统占据着高性能计算的统治地位。该系统可以完成所需工作，但计算机的快速演进使其在几年内即被弃用。它没有遵循摩尔定律，昂贵的成本抑制了它的发展，它只能解决少数用户的计算需求，显然不能为大众所接受。

　　矢量高性能计算包括以下组件：

　　定制CPU
　　定制内存
　　定制封装
　　定制互连
　　定制操作系统
　　成本极其昂贵：每gigaFLOP(每秒十万亿次浮点运算)约500万美元
　　技术演进统计：只有约1/3符合摩尔定律的预测

　　1.2.2. 大规模并行处理

　　上世纪90年代，HPC系统开始采用商业化处理器和内存，但这些系统仍需依赖定制的互连、封装、操作系统和系统管理工具。系统添加了一个Fortran编译器，同时其售价仅为80年代的1/25。该系统虽然更为强大，但由于某些硬件仍需定制，所以它仍无法完全遵循摩尔定律的原理。其中一个最典型的实例就是Sandia?沂笛槭也渴鸬腁SCII red系统。

　　商业化（COTS）CPU
　　商业化内存
　　定制封装
　　定制互连
　　定制操作系统
　　成本较高：每gigaFlop(每秒十亿次浮点运算)约20万美元
　　技术演进统计：只有约1/2符合摩尔定律的预测

　　1.2.3. 高性能计算机集群系统

　　目前几乎所有组件均已上市，并被商业化操作系统(如Linux)紧密连接在一起。现在，集群新硬件的快速推出进一步验证了摩尔定律。实际上，许多性能卓越的集群都在其原始配置基础上获得了显著提高。
　　（COTS）CPU
　　（COTS）内存
　　（COTS）封装
　　（COTS）互连
　　（COTS）操作系统
　　集群阵列拉近了它与高端超级计算机的性能差距。
　　COTS联网技术已经非常成熟。
　　成本适中：每gigaFLOP(每秒十亿次浮点运算)约4000美元
　　技术演进完全遵循摩尔定律

　　1.3. 高性能计算的市场预测

　　1.3.1. 截止到2005年的预测概览

　　在本世纪前5年内，技术系统和服务器市场收入的复合年增长率(CAGR)将可达到13.1%，届时市场收入将超过112亿美元。随着高端性能和企业级系统的扩展，预计所有市场都将实现增长。

　　全球高性能技术系统收入
　　定制技术计算机 超过1,000,000美元的系统 介于250,000美元与999,999美元之间的技术系统 低于250,000美元的技术系统

　　集群解决方案的增长幅度将会明显超过整个技术系统市场。集群增长的主要推动因素在于它能够以极低的购价将大量原始计算性能整合起来，因此，集群技术今后必将成为推动组件和性能增长的主要推动因素。

　　到2005年，服务器集群系统的收入预计会占到服务器市场总收入的14%。 这些系统的进一步普及要归功于以下几个方面：
　　商业化（COTS）系统的计算能力呈指数增长。
　　连接节点的商用技术发展迅速，现已能实现高速节点间的无瓶颈通信。
　　可支持高性能集群并行计算特性的软件开发工作已取得很大进展。

　　二、高性能计算体系结构:

　　2.1.高性能计算架构

　　高性能计算系统一般包含如下几个层次：

　　2.2. 高性能计算系统的应用

　　高性能计算系统的目的是解决大型计算问题，在现实生活中，许多科学研究和商业企业的计算方面的问题都可以通过高性能计算系统来解决。特别是在下面的领域，高性能计算系统能够帮助开发和研究人员进行建模和模拟。同时，以最快的数度计算出模拟的结果，为下一步的开发和最终结构的确定提供依据。
　　天气预报气象
　　制药企业的药理分析
　　科研人员的大型科学计算问题
　　石油勘探中对石油储量的分析
　　航空航天企业的设计和模拟
　　化工企业中对分子结构的分析计算
　　制造业中的CAD/CAM系统和模拟试验分析
　　银行和金融业对经济情况的分析
　　生物/生命科学中生物分子研究和基因工程计算

　　同时，高性能计算系统在下列的公共部门的应用也非常广泛：

　　国家/政府机构
　　国家实验室
　　高等院校

　　2.3. 通讯库和集群控制系统

　　我们知道，高性能计算系统实际上是一个计算机集群系统，它需要通过通讯和集群控制软件将整个系统紧密联系在一起。同时，还要负责初始化集群节点、在所需数量的节点上安装应用程序、并监视集群节点和互连的当前运行状况。

　　目前在市场上有多开放源代码的集群控制系统，也有许多高性能计算的用户开发自己的控制系统来适应其特殊的应用软件的需求。

　　2.4. 高性能计算的互联技术

　　高性能计算的互联技术在整个系统中非常重要，因为一般的高性能计算系统都需要讲几十台甚至几百台的计算机系统互相连接在一起，互联系统的性能有时会直接影响整个高性能计算系统的性能。

　　目前，一般的大型高性能计算系统使用Myrinet*系统作为主要的数据互联系统，而使用百兆或千兆以太网进行管理与控制。而在小型的高性能计算系统中，可以用直接使用千兆甚至百兆以太网作为互联系统。

　　2.5. 计算节点

　　计算节点是高性能计算系统中的单个计算机系统，是整个高性能计算系统的基础。基于英特尔架构的服务器系统是作为高性能计算节点的最佳选择。应为大多数高性能计算需要多线程同时执行，这样基于英特尔至强?处理器的计算节点可以满足需求。另外，大多数模拟类型程序需要进行大量浮点运算(FLOPS)，因而节点处理器支持大量浮点运算的能力就变得至关重要。当前的英特尔处理器(如英特尔至强?处理器)的处理速度已达到每秒二十亿次浮点运算。这意味着由1000枚处理器组成的集群的处理能力可与世界上一些功能最强大的超级计算机相媲美，而成本却低得多。

　　数据采掘则不同。根据数据库的体系结构，这些应用对I/O的潜在要求较高。而分布式驻留内存数据库例外。在该体系结构中，集群中的每个处理器都要参与一部分数据库处理。当一个查询请求被提交给数据库时，它同时被提交给集群中的所有处理器。由于所有处理器都只需处理一小部分数据库，因而解决查询的速度要比在传统体系结构中快得多。

　　三、设计高性能计算系统:

　　设计一个高性能计算系统是一件复杂的系统工程，涉及从软件到硬件的各个层面，而且每一个环节都相互关联。因此，设计和构建一个高性能计算系统应该使用系统的设计方法，按照一定的步骤来确定整个系统中的各个部分。

　　这一部分，我们按照系统的设计方法来对高性能计算的各个环节的设计和设备选型给出相应的建议。

　　3.1. 判断应用的特性

　　对于一个高性能计算的应用，我们可以从如下的几个方面来确定其类型：

　　3.1.1. 应用的粒度

　　由于高性能计算的应用需要在多个计算节点上同时运行，则在各个节点计算的同时，还需要相互间的通讯。所谓应用的粒度，是指在一个高性能计算应用中计算所花的时间与通讯所花的时间之比。这是高性能计算应用的一个重要的特征之一。

　　很显然，不同的应用其粒度也不一样。例如一个生成动画电影的高性能计算应用，用于每幅画面可以由任何一个计算检点独立计算生成，节点间的通讯量非常少，因此，这是一个粒度非常大的应用。反之，对于一个进行汽车模拟碰撞试验的高性能计算的应用，由于在每个节点上计算的任何部件的运动，都会对其它的部件的状态有影响，因而节点间的相互通讯会非常多，这类应用就是小粒度的应用。

zouyang

高性能计算已经成为主流
http://www.ibm.com/developerworks/cn/grid/gr-lxwd05/
Linux 和网格在金融服务中的应用
Dave Rosenberg, 项目总监

2005 年 7 月 14 日

观察一下金融服务领域的情况，您就会发现，网格在某些大型的企业中已经成为主流，这要感谢 Linux ® 服务器、开源软件（例如 Globus）的蓬勃发展，以及面向服务的架构的广泛采用。在 LinuxWorld New York Summit 会议上，一些通信记者倾听了技术前驱们对在金融领域使用网格的讨论。
在金融领域，网格计算已经不再只是早期采用者使用的一个边缘产品，它已经成为了主流。在本文中，IBM ®、Novell 和 Globus Consortium 对在金融服务领域采用网格的战略意义进行了讨论。这些讨论也涉及网格和 Linux，而且还解释了业务动力，这种动力不仅使 Linux 网格能够成为金融服务 IT 设施的日用品，而且能够用于其他主流的企业 IT 环境。

金融服务方面的网格先驱

在 5 月 25 日到 26 日召开的 LinuxWorld New York Summit 会议上，来自 IBM、Novell 和 Globus Consortium 的主要技术先驱们汇集在一起，讨论了网格计算在金融服务领域的主流趋势。网格已经在金融应用中得到了大量的应用，参与座谈的人员认为这将掀起新一轮的网格应用浪潮。参与座谈的人员包括：Carol Carson，Linux and Grid 总监，IBM； Carl Drisko，inux and Open Source Services 总监，Novell；Greg Nawrocki，Globus Consortium 主席。

网格之所以能够吸引金融服务的注意，有很多原因，其中包括：

金融服务中有很多任务都是并行的，例如风险分析/价格模拟。
金融服务领域市场在传统上采用的都是分布式系统。
这些组织通常拥有大量可用的资源。
其交互能力是基于开放标准的。
计算和数据的冗余性。

Linux：推进网格的采用

Carl Drisko 是 Novell 公司 Linux and Open Source Services 的总监，他从一些重要发现开始讨论，展示了对 Linux 的采用如何使应用程序从企业的边缘深入发展到企业架构内部，以及如何将一些基本服务，例如 DNS、文件和打印服务移动到应用服务器和大型应用程序中，比如 SAP、PeopleSoft 和 Oracle。

根据 Drisko 的说法，Linux 正在分享 UNIX ® 供应商的市场份额，这是因为以下原因：

降低成本
可靠性
性能
在性能方面，Drisko 着重提到 E*TRADE CTO Joshua Levine 在当天的演讲中已经提到过的内容：E*TRADE 发现自己的引用在更便宜的硬件上运行时速度提高了一倍。

Drisko 还指出一个事实：最终，企业中所有的程序都将在 Linux 上运行，包括桌面；最初这可能会先发生在一些技术性的工作站上，随着时间的推移，会不断扩展到只具备一些常识的用户身上。

“在 Novell，我们相信这种迁移已经从外部开始发生了。最初，是一些边缘服务器、网络、DNS 服务器、Web 服务器等开始采用 Linux ”，他说。“在某些方面，人们很早以前就开始使用 Linux 了。在桌面领域也同样如此。人们最初使用 Linux 的目的非常简单。那些从事于软件开发、工程的工作站、终端或系统管理的人，是最初开始应用 Linux 的人。”

“几年之后，情况就发生了变化。突然之间，您就可以在 Linux 平台上做更多事情了。这主要是因为在 Linux 系统上出现了一些其他类型的软件。这些软件逐渐发展为允许您在 Linux 平台上运行整个基础设施和业务，这些软件的核心就是一些类似 ERP 程序（SAP，PeopleSoft）、大型的数据库实现（例如 Oracle）的程序。因此您可以在 Linux 平台上运行任何类型的工作负载。”

Linux 被证明是网格计算的理想操作系统，这是由于以下原因：

日用品软件的价格，简单的计价模型，可以运行多个虚拟机而不用另行收费。
高性能 —— 性能通常比 Microsoft ® Windows ® 高 20%。
无数社区提供的开源软件；目前世界上 “最快的 500” 台计算机中有 60% 是在 Linux 上运行的，最快的机器也是在 Linux 上运行的。
“当我们了解是什么在支撑这些正在创建的大型网格时”，Drisko 说，“为特定的策略而使用 Linux 的一个主要动力是纯成本方面的考虑。您已经看到了朝向网格空间发展的主流运动，现在人们正在寻求更好地利用这些资源的方式。您将看到计算周期和存储正成为解决这个问题所必需的资源。您需要使用最廉价的硬件和软件来实现这种功能。您将拥有一个优秀的轻量级的操作系统，它运行得非常好，使用了很多优化机制，从而确保不同的任务流都可以很好地工作。网格是使 Linux 成为一种关键平台的一个原因。”

“为什么在其他动力中 Linux 是我们常见的选择。当您进将自己的程序部署到数千台机器上时，就要考虑软件的可用性，其中包括一些开源的软件，例如 Globus Toolkit。”

“总而言之，您会看到很多非常有趣的故事，它们将说明为什么要使用 Linux 作为网格环境的底层 OS。显然，这不是网格中的惟一值得关注的事情。虽然您正在使用的是异构的环境，但 Linux 版本可以在所有机器上运行，从大型机到手持终端，以及居于二者之间的所有平台。我们认为 Linux 将来会成为网格中的两个关键操作环境之一。”

网格计算正在以某种方式发生基本的改变，一些组织开始构建自己的 IT 基础设施。

在网格之前：单一架构  在网格之后：虚拟架构  
IT 资产有限，成本高昂
跨组织的协作是很大的挑战
由于手动调度和部署，只能进行有限的响应
创建虚拟应用操作、存储和协作环境
满足对资源池的动态需求
提供一种自主的、自管理的操作环境，它可以提供高度的可用性


Drisko 说，“当我们看到网格时，我们真正在谈论的是什么问题呢？大部分环境都有专门用来运行一个程序或执行一种功能的单台机器。您需要解决特定的问题，因此就要购买了一台计算机、一个操作环境以及软件，然后在这台机器上单独运行您的程序。如果您足够明智，那么应该再购买一台机器，用它来实现高可用性，因此您就具有了两个完全相同的环境。这样做可以使您所有的不同程序、所支持的部门以及您所在的位置数目加倍，让您获得很多单个的应用环境，它们会消耗硬件的处理能力，耗费资金，但是利用率却不高。在这种分离的单一架构中，您能够共享的内容是有限的，并且需要自己来管理所有的内容。”

“我们可以认为构建一个网格就像是开发一些中间件一样，使用一些东西将所有程序与底层的硬件资源连接在一起。对这些内容进行虚拟化，这让我们可以有效地共享资源，并动态满足对资源的需求。因此，我们可以认为网格能够帮助我们管理运行的环境、您需要多少资源等问题 —— ‘这里有一台可用的机器，让我们使用它好了。’这样，我可以更加有效地使用整个基础设施了。如果我可以访问使用这些程序所获得的数据，那么还可以通过这种机制来共享更多内容。这是目前很多需求的一种主动力，在金融机构的客户机中更是如此。”

Drisko 最后讨论了推动网格走出实验室、走入企业的业务推动力，以此结束了他的报告。

资产利用率 —— 典型的服务器的利用率只有 15-20%。
适用性 —— 业务的连续性，灾难恢复。
加速和应用程序的性能 —— 应用程序的执行速度通常提高 10-20%。
协作 —— 需要在企业内部或与外部合作伙伴共享数据的能力或处理能力。
“当我们在讨论网格时”，Drisko 说，“我们相信其中很多不同的部分都是虚拟的。当我们在讨论网格时，要讨论的是所有这些不同的内容，而不仅仅是操作系统的虚拟化和应用程序的虚拟化。我们正在探询如何调度各个部分，如果对存储进行虚拟化，如何适当地分发数据，以及如何管理所有的组件，并确保这些组件的性能。我们还要基于标准的轻量级 Web service 来实现这些，这样让我们可以利用所有这些不同的组件有效地进行交互。因此中间件部分有很多不同的部分 —— 它们决定了这些资源去往何处，并允许所有人共享这些组件。”

移向堆栈的上一层：虚拟化

Carol Carson 是 IBM 公司 Linux and Grid 的总监，他讨论了 stack 的上的一层：虚拟化。Carson 从一系列模型开始讨论，这些模型描述了各种入口点，网格和虚拟化就是使用这些入口点来实现性能优化和竞争优势的。

网格和虚拟化用来实现性能优化和竞争优势的入口点有很多。当一个组织通过这些阶段向前发展时，它们的业务也会实现增值。

在您开始对企业进行虚拟化时，就会实现一个全新级别的灵活性。您现在就有机会将大量的资源为您所用，而不用购买自己的计算力（compute capacity）。有很多软件可以帮助您实现这个目标。

“Provisioning 软件可以确保您所需要的资源都分配给了您”，Carson 说。“而 Orchestration 软件要不间断地对网格进行监视，从而判断您是否正在获得提供给您的计算力，服务器是否正常，以及任务负载的管理是否正在为您正常工作。当您开始移动到企业之外时，还可以获得更高的效率。能够与合作伙伴和供应商共享数据，这样您就不用在两个单独的组织中重复做同样的事，因此可以快速对市场作出响应。”

“当您了解了网格革命的新特性时，有很多关键的工具在整个过程中都是非常重要的。在同构的环境中，良好的集群调度非常关键，此外，良好的集群文件系统、文件和存储虚拟化也很关键。当您开始移动到异构环境中时，高级调度变得更加重要。现在您正在处理的是多个程序和多个资源，所有的地方都有出现竞争的可能。”

“具有集成安全性和配置也非常重要。您需要一些工具来确定自己需要多少服务器，并为这些服务器提供调度程序和协调软件来预测所需要的计算力。”

“任务负载的管理 —— 可以将任务移动到可以有效运行该任务的地方。信息虚拟化 —— 在进行移动时，这是最重要的事情之一，您需要能够从以前的各种数据中洞察新的业务需求。”

类资源虚拟化 —— 同构系统、存储和网络。
非资源虚拟化 —— 异构系统、存储和网络；基于网格的应用程序。
企业内虚拟化 —— 企业级的网格、信息和全球设施。
企业外虚拟化 —— 供应商、合作伙伴、客户和外部资源。
“当您走出部门时”，Carson 说，“诸如元调度之类的事情就变得非常重要了。大部分人都是从单一环境中成长起来的。例如，您可能正在使用 Data Synapse，而另外一些人可能正在使用 Platform，您需要进行通信。这就是为什么您开始转移到异构环境的虚拟化上来的原因，标准此时变得非常重要。因此我们非常关注 Global Grid Forum 和 The Globus Consortium 的工作，为的是能够真正实现让与这些不同组件进行通信的标准。”


构建网格：Globus Toolkit

Greg Nawrocki 是 Globus Consortium 的主席，他讨论了网格 stack 的另外一个层次的问题：在金融服务中使用网格。

“Globus Toolkit 通常被成为是网格中间件的实际标准”，Nawrocki 说，“传统上来讲，人们认为它是某个硬件上的一个程序的实例。但是更常见的情况是，您可以在不同类型的硬件上运行相同的程序，而这些硬件可能遍布于您的整个组织中。网格中间件的目标是减弱应用程序与操作系统之间的关联，使其变得尽可能与平台无关，并利用这些服务和程序来共享完全不同的资源。”

“最先在商业中使用网格的是金融服务领域。我认为他们选择网格的一个原因是在金融服务中很多任务与生俱来就是并行的，例如风险分析和 Monte Carlo 模拟。”

金融服务市场传统上都采用分布式系统。它们通常位于不同地点的不同办公室中，并采用了网络和安全模型。有关金融服务业界的另外一个特性是桌面的净化。通常有很多资源是闲置的。在午夜时分，当它们进行一些模拟运算时，就可以充分利用这些资源，而不用再出去购买新的计算机。

为什么 Globus Toolkit 4.0 对于金融服务是如此重要呢？

它是 Globus Toolkit 中测试最为充分的版本。现在它已经成为一个非常牢靠而且快速的程序。
它是基于一些 Web 服务标准的，这些标准在金融服务业界得到了广泛应用。

最后，与会人员讨论了更大规模地采用网格所需的文化运动。例如，对于大部分组织而言，是“租借”计算力还是购买计算力是不同的，这会带来有关记帐和服务水平协议等方面的更大挑战。

参与会谈的人员最后一致认为：网格和其他正在出现的技术的未来发展和实现与计算无关；它们与数据有关，还与完成这种转换之后，用户如何维护、提取和使用这些数据有关。


参考资料

LinuxWorld San Francisco 2005 将在 8 月 8 日到 11 日召开，这是一个有关网格、虚拟化、安全性等方面的会议。


Building the Business Case for Grid Computing 是 GlobusWORLD 2005 的一个会议主题。


请参阅有关 evolution of Grid in Financial Services 的讨论。


浏览 developerWorks 上所有 网格计算 的文章。


倾听 Grid Stack 系列文章中专家们怎样评论 网格安全性 的问题。


在 developerWorks 网格计算专区 寻找更多为网格开发人员准备的资源。


在 developerWorks Linux 计算专区 寻找更多为 Linux 开发人员准备的资源。


通过参与 developerWorks blogs 加入 developerWorks 社区。


关于作者

  除了是一个自由作家和咨询顾问之外，Dave Rosenberg 还负责 LinuxWorld 会议的运作。他理想中的技术是在基于 Linux 上的蜂窝电话上运行网格应用程序。

其他公司、产品或服务的名称可能是其他公司的商标或服务标志。