专用网络

　　每个集群节点通过专用高速网络连接到所有其他节点，这种专用高速网络也称为集群互联或高速互联 (HSI)。 Oracle 的 Cache Fusion 技术使用这种网络将每个主机的物理内存 (RAM) 有效地组合成一个高速缓存。 Oracle Cache Fusion 通过在专用网络上传输某个 Oracle 实例高速缓存中存储的数据允许其他任何实例访问这些数据。 它还通过在集群节点中传输锁定和其他同步信息保持数据完整性和高速缓存一致性。

　　专用网络通常是用千兆以太网构建的，但是对于高容量的环境，很多厂商提供了专门为 Oracle RAC 设计的低延迟、高带宽的专有解决方案。 Linux 还提供一种将多个物理 NIC 绑定为一个虚拟 NIC 的方法（此处不涉及）来增加带宽和提高可用性。

　　公共网络

　　为维持高可用性，为每个集群节点分配了一个虚拟 IP 地址 (VIP)。 如果主机发生故障，则可以将故障节点的 IP 地址重新分配给一个可用节点，从而允许应用程序通过相同的 IP 地址继续访问数据库。

　　Oracle 集群就绪服务

　　Oracle RAC 10g 引进了 Oracle 集群就绪服务 (CRS) — 一组用于集群环境的与平台无关的系统服务。 在 RAC 和 Oracle 并行服务器先前版本中，Oracle 依靠厂商提供的集群管理软件来提供这些服务。 虽然 CRS 与厂商供应的集群件协同工作，但 Oracle RAC 10g 所需组件只是 CRS。 实际上，必须在安装 RAC 之前安装 CRS。

　　CRS 维护着两个文件： Oracle Cluster Registry (OCR) 和 Voting Disk。 OCR 和 Voting Disk 必须以原始分区或集群文件系统文件的形式存在于共享磁盘上。
 
Oracle RAC 软件

　　Oracle RAC 10g 软件是 RAC 数据库的核心，每个集群节点上都必须安装。 幸运的是，Oracle Universal Installer (OUI) 可以完成在每个节点上安装 RAC 软件的大部分工作。 您只需在一个节点上安装 RAC — OUI 会完成其余的工作。

　　Oracle 自动存储管理 (ASM)

　　ASM 是 Oracle 数据库 10g 中的一个新特性，它以一种与平台无关的方式提供文件系统服务、逻辑容量管理器和软件 RAID。Oracle ASM 可以条带化和镜像磁盘，从而实现了在数据库被加载的情况下添加或移除磁盘以及自动平衡 I/O 以删除“热点”。它还支持直接和异步的 I/O，并使用 Oracle9i 中引入的 Oracle 数据管理器 API（简化的 I/O 系统调用接口）。

　　Oracle ASM 不是通用的文件系统，只能用于 Oracle 数据文件、重做日志、控制文件和 RMAN 快速恢复区。ASM 中的文件既可以由数据库自动创建和命名（使用 Oracle 管理文件特性），也可以由 DBA 手动创建和命名。由于操作系统无法访问 ASM 中存储的文件，因此对使用 ASM 文件的数据库执行备份和恢复操作的唯一途径就是使用恢复管理器 (RMAN)。

　　ASM 作为单独的 Oracle 实例实施，只有它在运行时其他数据库才能访问它。ASM 需要的内存不多： 对大部分系统来说只需 64MB。 在 Oracle RAC 环境中，ASM 实例必须运行在每个集群节点上。

　　4.2  ORACLE　RAC并行数据库性能发挥对硬件体系结构的要求

　　4.2.1 高速密集处理

　　数据库的性能依赖高速的数据处理能力，如果采用IA架构的服务器，达到相当的处理能力，其处理器的数目通常是AMD架构服务器的1.5倍左右，处理器数目的增多，性价比变差的同时，会要求服务器的空间变大，导致空间利用率变低。

　　4.2.2 高速IO系统

　　RAC并行数据库系统建立的初衷加快数据库服务器的响应速度，缩小客户端用户的数据访问时间。随着RAC数据库应用的逐步升级，持续、频繁、并发的数据访问以及复杂的数据操作，无疑会给后端数据库服务器带来巨大的压力。对于传统的服务器来说，处理器处理能力的限制以及I/O吞吐带宽的限制会严重影响到数据库服务器的对数据服务请求的响应速度。

　　4.2.3 硬件要能承受住高并发访问

　　随着越来越多的业务开始移交给计算机来处理以及越来越多的数据通过计算机来存储，事务的并发处理也越来越频繁的应用在高端商用数据库领域。保障后端数据库系统的健壮性和增强数据库的并发持续访问能力，也逐渐成为RAC对硬件系统的基本要求。

　　4.2.4 高可管理性

　　如何有效地降低系统管理的复杂度和强度，寻求企业投入与产出的最佳平衡点，也逐渐成为高端商用数据库用户关注的焦点。随着业务的日新月异以及数据库应用的日趋复杂化，传统的服务器已无法胜任复杂多样的业务变化。如果只简单依靠增加设备量来解决这个问题，随着设备量的增加、应用的复杂化，硬件的管理、系统的管理、应用的管理随之也变得复杂，这不仅给管理员带来许多管理上的不便，还带来了许多兼容性和可靠性的问题，企业也不得不为获得系统的易管理性追加更多的投入。

　　4.2.5 硬件复杂度低，易实施

　　目前集群系统在拥有高可扩展性、高性价比等诸多优点的同时，也有必须要解决的总是，那就是硬件复杂度过高，线缆众多，导致实施起来在硬件层次的架设上比较困难，信息服务集群要想高效运行，必须降低硬件复杂度，且实施起来较容易。

　　5 曙光TC2600刀片服务器介绍及技术特点

　　5.1 曙光TC2600刀片服务器介绍

　　TC2600 刀片服务器是曙光公司研发的第三代双核/四核刀片服务器产品，它在众多方面超越了传统机架式服务器，是高稳定、高可用、高扩展、高密度、高性能的新一代服务器产品。它推动服务器向更高计算密度、更多集成功能和更强管理能力的方向发展，提供更加卓越的计算处理性能、简单方便的部署使用和全方位的监控管理，可以显著提高数据中心和高性能计算中心的生产率和工作效率，最大限度地降低IT运营和管理维护成本。它采用整体优化的策略，有效降低了系统功耗，再加上其人性化的设计、超强的系统扩展能力、卓越的性价比和计算密度，可以覆盖更广泛的用户需求。与传统的服务器相比，TC2600刀片服务器可提供更有竞争力的整体解决方案，是满足更高计算性能需求和运行关键应用程序的理想平台。

　　5.2 曙光TC2600刀片服务器技术特点

　　5.2.1 模块化的设计

　　模块化的设计整合了服务器、KVM、电源、网络及散热系统于统一的智能管理平台之上，紧密融合形成了高效的TC2600刀片服务器体系结构；

　　5.2.2 高密度

　　TC2600降低了高性能计算中心、数据中心对于空间的要求，  只占7U机架空间的刀片机箱最多容纳10个刀片，仅需要传统解决方案70%的机架空间；

　　5.2.3 高计算能力

　　TC2600大幅增加了计算密集性，与传统解决方案相比，同样的机架空间可以多提供42.8%的计算处理能力；

　　5.2.4 降低复杂度

　　TC2600通过对各功能模块的整合，显著减少了连接线缆的数量，有效降低了各系统连接和集成的复杂度，仅冗余电源、KVM和网络三项，就节省了86％的线缆；

　　5.2.5 简化使用和管理

　　管理复杂度的降低可以极大地加快大规模系统部署和性能调优的速度，非常有助于简化系统管理，最大限度地提高IT 人员的工作效率；

　　5.2.6 升级方便

　　用户可以根据业务需求的变化，动态调整刀片服务器系统的配置，产品升级简单便利、经济高效；

　　5.2.7 降低总拥有成本

　　简便、集中、有效的管理，针对客户需求的动态适应，电源和散热策略的自动优化，空间的节省，部署效率的提升，都有助于降低用户的总拥有成本。

　　5.3  TC2600的技术优势

　　5.3.1 部署简化

　　曙光刀片服务器在部署方面、安装维护过程大大简化：由于所有计算刀片通过背板实现互联，而背板在与网络交换模块，存储交换模块以及监控管理模块互联，而这些互联完全是通过PCB布线完成的。这样做的至少有四点：

　　大量节省电缆线的成本；

　　对于安装过程而言，可以节省了传统机架式服务器的外部多如牛毛的布线工作，节省大量工作时间，降低安装成本；

　　有效的降低系统由于接入问题（虚接、错节）而引起的不稳定性因素，从而提高系统的稳定性与可靠性；

　　对于更换节点的维护工作而言，比传统的方便了许多。更换工作只是把旧刀片从机箱中拔出来，插入新刀片，就像更换热插拔硬盘一样方便，而不用考虑网络与光纤的再连接，对于传统的机架式服务器而言这也是一个比较繁琐的工作。

　　5.3.2 集成管理，便捷维护

　　曙光刀片服务器管理监控高度集成：通过统一的监控界面，监控所有刀片资源，包括机箱电源、风扇、计算刀片、背板、交换机。管理系统整合目前两大监控技术，即IPMI以及KVM (Over IP)，真正实现监视控制一体化。同时，为实现方便快捷的刀片服务器管理，通过优化的管理软硬件设计，改善可管理性，增强部署和可服务性，这些将降低总的所有权成本。

　　曙光刀片服务器监控管理系统实现以下功能，分别为：
 
　　对各部件的在线检测，工作状态监控，通过检测得知当前工作情况；

　　优异的电源管理策略，以及功率管理策略；

　　智能冷却系统管理策略；

　　刀片健康信息监测，系统资源监测；

　　实现所有本地控制操作，如KVM、Share Media、各部件上下电管理；

　　实现所有远程控制操作，如IP KVM、Virtual Media、部件远程上下电控制；

　　良好的人机交互界面，实现多元化报警、提供日志、数据分析、实现用户管理策略定制和部件故障预报警；

　　管理系统支持冗余，通过心跳实现监测和切换；

　　为其它管理软件提供通讯接口。 

　　其中真正解决计算刀片远程管理的主要依靠KVM over IP以及Virtual Media两项技术。所谓KVM Over IP，指透过Internet环境，以TCP/IP网络为接口传送视频信息，并远程操控散布在各地机房中的服务器的解决方案。相对于模拟式KVM，KVM over IP技术提供了相对弹性的管理方案，网管人员可以在全球任何地方，透过TCP/IP网络来远程管理任何机房中的刀片服务器。

　　基于IP的数字化KVM系统作为向标准化和灵活的集中化迈进的一部分，不仅克服了传统模拟KVM系统的局限性，也为管理不同种类的分布式网络提供了可能。KVM over IP系统，充分利用了现有的以太网和其他IP网络，取代了对专用电缆和信号系统的依赖。为确保路由能力，KVM系统必须使用真正的IP协议，而不是仅仅将IP网络用来传输专用模拟信号。
Share Media以及Virtual Media技术则实现了USB共享及远程化，即在远程通过一台主机连接到管理系统的网络，而不是计算刀片的网络，把远程机器的存储介质通过管理网络映射成计算刀片的USB设备，实现远程的系统安装，软件拷贝等。

　　配合KVM over IP以及virtual Media技术可以透过网络远程实现在本地刀片所有的操作，例如开关机、操作鼠标、键盘、显示器，安装各种软件等。采用曙光刀片服务器可以大大降低部署工作及其成本，而采用曙光刀片服务器监控管理系统则可以把管理员从机房解放出来，在远程进行所有的管理工作，大大降低系统的维护成本。