旧时王谢堂前燕，飞入寻常百姓家

——FC SAN与IP SAN全面比较

华为技术有限公司

目 录

1. FC与IP的驴象之争 3

2. FC与IP之技术原理 4

3. FC与IP之华山论剑 7

4. IP SAN之前路漫漫 8

5. FC与IP之误区澄清 10

1. FC与IP的驴象之争

计算资源、网络资源、存储资源是业界公认的信息系统三大件。计算以CPU/服务器为承载主体，是不同业务按需实现的基础，计算技术的发展直接引发了第一次信息化浪潮的出现。网络的普及一度引发了“网络就是计算机”的争论，网络将一个个信息孤岛连成一体，实现了众多业务的远程实现，进而产生了信息技术的第二次浪潮。存储其实一直伴随着信息技术的发展，以前一直处于从属地位，我们耳熟能详的U盘、硬盘、光盘实质上都是存储，不过一般意义上的存储指的主要还是独立的外部存储阵列和存储区域网。直到SAN的出现，海量数据和关键数据的高可靠性存储、高性能读写才得到了根本的改观。随着近年来一些灾难事件的陆续发生，越来越多的用户逐渐认识到“数据是应用的核心和根本”、“数据安全无小事”。存储阵列RAID保护、系统备份、数据容灾成为信息系统建设的热点。存储网络也作为面向数据的“第二网络”引发了信息化的第三次浪潮。

随着存储应用的日益广泛，规模效应日益凸显，存储产品的价格也逐渐降低，FC SAN存储从阳春白雪的贵族逐渐飞入“寻常百姓家”，反过来也进一步促进性整个行业的发展。

FC SAN与IP SAN这两个时下存储市场的冤家，从N年前就开始了驴象之争。FC SAN凭借其先天的江湖统治地位，一直占据着存储领域的至高点，效率、性能、安全性成就了FC SAN在客户心目中数据安全保护神的美名。IP SAN 携10G超带宽的优势欲与FC试比高！同时，IP SAN较低的成本、较好的网络适应能力也为其赢得市场的一席之地争取了更多话语权。二者孰优孰劣一直争论不断，也让很多用户在项目决策中一时难以取舍。

首先，我们需要明确选用存储的初衷。

从存储的发展来看，外部独立存储的出现就是为了解决大容量数据存储的性能问题，FC（光纤信道协议）成为此时的不二选择。此后，存储从DAS直连阵列发展到了存储网络的阶段，存储成为继通信网（面向应用业务）之后的一个独立的数据存储网络（面向数据自身及其安全保护），被称为“第二网络”或“网中网”。由于存储网络承载的是客户最重要的业务数据，因此其双控制器的可靠性架构、多种RAID机制、数据备份机制成为客户信息系统后花园中的基石和支柱。

IP SAN的出现，主要是解决对数据保护等级不是很严格，对数据访问速度要求不苛刻的应用场景中的海量数据存储。由于IP技术在互连网中的广泛应用，IP SAN很容易实现远程数据访问。但是，IP SAN的效率、性能和安全性相对FC SAN而言是它的短木板。

以下试从几个方面对两种SAN存储形态进行分别阐述。

2. FC与IP之技术原理

光纤通道按协议层进行分层，各层之间技术相互独立，留有增长空间，并且由被认可的标准化机构进行开发，分层结构共分5层,如图所示。

⑴ C-0(物理层底层):

FC-0层定义了连接的物理端口特性，包括介质和连接器(驱动器、接收机、发送机等)的物理特性、电气特性和光特性、传输速率以及其它的一些连接端口特性。

⑵ FC-1(传输协议)：

规定了8B／10B编码方式和传输协议．包括串行编码、解码规则、特殊字符和错误控制。

⑶ C-2（帧协议）：

规定了具体的传输机制，包括帧格式，节点间的信息交换。

⑷ C-3（公共服务）：

提供高级特性的公共服务，即端口间的结构协议和流动控制，它定义了三种服务：条块化(Striping)、搜索组(Hunt Group)和多路播放(Broadcast Multicast)。

⑸ FC-4(ULP映射)：

定义了Fibre Channel和IP，SCSI-3以及其他的上层协议（ULP）之间的接口。

 FC中的流量控制机制是在信用度系统上的基础上。所谓的信用度(Credit)是指设备接受额外帧的能力。信用度的多少决定了设备接收额外帧能力的大小。如果接受方没有向发送方发出任何的信用度,那么发送方就不能发送任何帧,在信用度的基础上协调帧传送,可以避免帧的丢失,同时减少了对整个帧序列进行重传的频率。实际上,这种基于信用度的机制建立在终端节点能够提供的缓冲区(TX-Buffer和RX-Buffer)的数目上,这些缓冲区用于存储到来的数据流。例如，拥有板上存储器的主机总线适配器，可能被分派作为接受缓冲区，成为FC-1解串和译码功能，以及FC-2的帧重新装配功能之间的接口。当FC-1来提交帧的时候，这种接受缓冲区被充满；当FC-2的装配线取出各个帧进行数据块的重建时，这种接受缓冲区被清空。为了充分的利用FC的传输能力，最好能够连续的多发出多个帧。这一点在事务开始前由授权充分信用度来实现，同时利用FC的全双工能力在帧还未接受时就发出附加的信用度。

FC中常用的两种是端到端(EE-Credit)和缓冲区到缓冲区(BB-Credit)的流量控制。

端到端的流量控制机制(EE-Credit)是在两个终端节点之间使用的流量控制。在两个通信节点登录并交换通信参数时候，建立起传输信用度，并且由节点本身来监测。中间的交换机不参与端到端流量控制。

一旦一个初始的信用度等级授权后，如果要补充信用度的话，要由接受方向发送出应答（ACK）来实现。每发出一个帧发送方就消耗了一个端到端的信用度（EE-Credit），只有当其接收到一个ACK后才能增加信用度。

光纤通道中还定义使用BB-Credit的流量控制机制(缓冲区到缓冲区的信用度)，并且依靠receive-ready(R-RDY)有序集补充信用度。某个附接到交换机的终端接点将在登录到交换机的过程中建立它的BB-Credit。在交换机远端参与通信的一方将在登录时建立其自身交换机的BB-Credit。BB-Credit没有端到端的成分。发送方在发出一个帧时将BB-Credit减1，直到BB-Credit的数量为零的时候.此时不能再进行帧发送。在接收到R-RDY时将BB-Credit加1。BB-Credit的初始值必须是非零的。如果为零的话,说明不能再接收或者发送帧。

IP SAN的主流底层协议是iSCSI，协议定义了在TCP/IP网络发送、接收block（数据块）级的存储数据的规则和方法。发送端将SCSI命令和数据封装到TCP/IP包中再通过网络转发，接收端收到TCP/IP包之后，将其还原为SCSI命令和数据并执行，完成之后将返回的SCSI命令和数据再封装到TCP/IP包中再传送回发送端。

而整个过程在用户看来，使用远端的存储设备就像访问本地的SCSI设备一样简单。支持iSCSI技术的服务器和存储设备能够直接连接到现有的IP交换机和路由器上，因此iSCSI技术具有易于安装、成本低廉、不受地理限制、良好的互操作性、管理方便等优势。

3. FC与IP之华山论剑

首先，IP SAN和FC SAN的比较可以从下列多个层面，如速度、可靠性、架构、安全、方案、距离、成本等方面做出分析。

IP SAN到今天为止，最快的传输速度约为100MB/s，而FC早已达到200MB/s，那么，对于需要超大带宽的应用方案，如视频点播等，FC就比较具有优势，但对于一般的联网、备份、资料库等，两者均可满足。

FC SAN在前端主机IO通道、后端磁盘通道、磁盘接口都能达到4G，而IP SAN主流设备都是1G；从可选磁盘来讲，FC SAN可以选用SATA盘、FC盘，转速可以采用1万转或1万五千转，而IP SAN基本只能选用7200转的SATA盘。

在控制器等关键部件的可靠性设计上，FC SAN 通常是支持双控制器和主机多路径管理的，而IP SAN基本采用的都是单控制器的设计。

在架构方面，IP SAN开放性较好，只要存在以太网的地方都能用，FC SAN需要建构自己的SAN网络，交换机亦需要专需的FC交换机。华为T8000服务器+S31000存储阵列的整体架构突破了这种局限，无需单独购置FC交换机和主机HBA适配卡。

不过，FC由于协议设计的特点使得其具有先天的安全特性；IP SAN采用的Iscsi协议，由于会在公共网络流通，所以安全性方面需大费周折，需加入如IPSec等附加协议才能进一步保障其安全性。

在方案应用上，IP SAN侧重提供的是一个简单易用的“超大硬盘”，解决的主要是大容量、低成本的基本存储需求问题；

而FC SAN则发展成熟，有很多专属的备份、灾难恢复、资源管理等解决方案。

关于二者传输距离的比较也是一个有趣的话题。通常IP SAN被认为网络适应能力最强，只要IP可达，即可实现远程容灾；而FC 由于不是一个互联网通用协议，存在传送距离的限制。但是，事实并非如此！容灾链路不同于一般的通信链路，它是需要长时间大数据量的进行持续数据传送，带宽和时延是有一定要求的。常见的互联网IP链路或运营商IP城域网属于带宽共用、QOS没有保证的，一般时延较高，无法满足同步或异步的远程容灾需求；FC协议本身不是传输网上长距离传送协议，但是通过FC over SDH、FC over DWDM等方式实现长距离、低时延的数据传送。这也是绝大多数涉及容灾备份系统的首选方式。

在成本方面，IP SAN的千兆起步价格确实比较便宜，但今天的千兆以太网如果要在性能上与FC SAN一争高下的话，必须全部升级来达到下一代10G的速度才有可能与4G FC SAN相提并论。但目前来看，10G以太网技术主要应用在大型城域网骨干，10G桌面的以太网技术和产品尚不普及，10G IP SAN价格也远高于4G FC SAN。

因此，1G IP SAN与4G FC SAN的比较，实际上意义并不大，二者的性能差异和价格差异都是显而易见的，关键是看数据的安全保护级别需要达到怎样的一个水平，系统建设投入是一个什么样的水平。

4. IP SAN之前路漫漫

尽管IP存储标准早已建立且应用，但将其真正广泛应用到存储环境中还需要解决几个关键技术点。

TCP负载空闲

由于IP无法确保提交到对方，而将TCP作为底层传输的三种IP存储协议则需要在拥挤的、远距离的IP空间中确保传输的可靠性。由于IP包可以打乱次序传送，因此，TCP层需要重新修正次序，以提交到上一层的协议中（如SCSI）。TCP完成这一任务的典型操作是使用重调顺序缓冲器，将数据包的顺序完全整理为正确方式，完成这一操作后，TCP层将数据发送到下一层。

    这些处理都需要消耗主机的CPU资源，同时增加事务处理的延时，事实上，与典型的FC或SCSI块传输相比，需要更多的I/O处理，一种称之为TCP负载空闲引擎TCP Off-loading Engine (TOE)的设备可将主机的处理器负载降低，随着新技术的应用，TOE将可以帮助解决这一问题。

性能

工作组把相当多的注意力放在了确保IP存储协议可以非常快的运行上，因为目前硬盘驱动器的运行速度已经很快。专家们预测IP存储产品将以高速运行。然而，也有一些分析人员认为，IP存储令人心往的最大优势是IP的灵活性，而高速性能则排在第二位。

    尽管IP技术很有可能得以应用，但如果对性能较为看重的话，不推荐使用标准的以太网卡。如前所述，TOE可以减少服务器的处理负载，但由于TOE设备较新，其硬件成本及复杂程度都比标准网卡更高。其广泛应用可能会由于性能价格比过高而受阻。像那些增强的iHBA都需要进一步改进，已达到光纤通道的技术水平。

安全性

当存储设备通过IP架构进行远距离连接时，安全性变得愈加重要。生产厂家必须明确产品的安全级别，并确保其安全性。在IP存储产品广泛应用之前，这一问题是IETF需亟待解决的。

    当标准得到批准时，明确要求IP存储协议的所有实施都必须包括可靠的安全性(实现加密数据完整性和保密性)。如果用户不愿使用这些安全措施的话，他们不必使用，但是产品中必须具有启动安全技术的功能，只有这样厂商才能说他们的产品符合标准的要求。相当多的工作组成员非常不喜欢这项要求：他们认为这些协议的主要用武之地将是数据中心或其他一些受防火墙保护的领域。但是，一旦人们将应用放在IP上，这个应用没有什么办法确定自己的使用环境，例如在防火墙后使用。这是IP的一个重要特性。

    IETF认为，如果将存储区域网(SAN)放在IP上是符合逻辑的，那么利用IPSec保护这些SAN才有意义。

    IETF的Internet工程指导小组(IESG)要求在三种IP存储协议中使用IPSec: iSCSI、FCIP和iFCP。负责IETF IP存储工作组传输领域的人员认为，窃听是IP协议存在的安全漏洞，而这正是IESG坚持加密能力的原因。还有一些厂商认为，依靠IPSec解决IP存储安全问题并没有抓住问题的关键。尽管IPSec可以保护在IP网络上传输的存储数据的安全，正如它保护IP VPN上传输的数据那样，但是它没有采取任何保护存储设备上数据的措施。保护存储设备上的数据需要使用采用3DES 或高级加密标准(AES)的加密芯片。

互联性

基于IP的技术并没有被所有厂家共同使用，虽然这个协议的标准早已被IETF公布，但并不能保证厂家X与厂家Y使用相同的协议或技术。为了保证这些产品能够相互配合得更好，必须保证厂家之间采用相同的协议，使各厂家产品具有良好的互联性。

还有一个问题引起了大家的关心，那就是之所以有这么多的厂商热衷于IP SAN解决方案原因在于他们不必掌握复杂的光纤通道技术而直接进入高速增长的网络存储领域，即IP SAN的技术门槛较低。作为IP SAN解决方案的提供商，没有光纤通道领域的坚实基础是很难取得成功的。现实总是残酷的，对于专注于此领域的小厂商来说也许会在成功以后被大型厂商所收购，然而现在正经历严峻考验。

5. FC与IP之误区澄清

目前有人认为，采用IP SAN的结构，存储的扩充对于数据存取速度影响不大。FC SAN方案有一个缺点，当数据量达到存储系统理论值的50%之后，其性能下降非常快。究其原因，在于后端磁盘通道是采用两条或4条光纤仲裁环来串接所有的磁盘。磁盘是分享带宽的，而IP SAN方案采用的是全交换架构，每块磁盘独享带宽，因此性能表现更高。

-----IP SAN的带宽和效率是没法和FC SAN比较的，FC SAN的帧开销非常小，效率高，响应快，数据效率达90％以上；而SCSI在IP SAN网络上需要经TCP ＝》IP ＝》MAC ＝》Phy，加上IP网的传送效率，能够做到60％的平均数据承载效率就达到上限了。

------华为存储也是交换结构的，不是以前的LOOP结构了，所以不存在共享环路带宽，如下图：

FC SAN的交换式磁盘单元架构带来的优点显而易见：

✓ 交换架构，高性能，低延时。

✓ 硬盘独立，单个硬盘故障不影响其他盘。

✓ 插入拔出硬盘时不会造成环路初始化。

✓ 便于故障检测和排除。

FC SAN与IP SAN全面比较