x86架构原理_x86服务器的Hadoop集群配置参考

　　X86属于典型的CISC，指令集丰富，指令不等长，善于执行复杂工作，更强调串行性能；ARM是典型的RISC，指令集精简，但指令等长，这样提高了处理效率，但遇到复杂指令，就需要更多的简单指令来堆砌复杂任务。

　　ARM用来做专一机、大型机；X86性价比高，便宜，成为家用主流，也可以用于企业的非核心业务。

　　并行处理能力上，ARM凭借高效率和高并发性能取得一定优势；X86善于执行复杂指令，且在纯串行任务上，相较于ARM能取得优势。最主要的是，X86和ARM的内部指令都不同，不可能执行同一个程序，根本不能做横向比较。

　　X86 架构原理

　　在接触BIOS的时候，都需要对PC架构有一定的认知。目前的PC架构绝大多数都是Intel的X86架构，貌似也是因为INTEL的这个X86架构早就了目前INTEL如日中天的地位。

　　废话不多说，X86架构进行一个简单的介绍：

　　

　　当然，这个架构图并不是所有的都是如此，根据不同的主板，平台，架构是略有差别的比如说，目前很多主板已经将北桥集成到CPU当中，将南桥集成为PCH，但大致的框架还是如此的。下面对这个架构图上的各个内容分别进行一些简介。

　　1：CPU，大家都不陌生的名词，中央处理器，计算机的核心大脑。

　　2： 北桥（North Bridge Chipset）：北桥是电脑主板上的一块芯片，位于CPU插座边，起连接作用。北桥是个人电脑主板芯片组两枚大规模芯片中的一枚。北桥被用来处理高速信号、通常处理CPU（处理器）、RAM（内存）、AGP端口或PCI Express和南桥芯片之间的通信。北桥由于数据处理量大，一般都装有散热片或者散热风扇，目前很多主板已经将北桥芯片集成到CPU当中，但是基本的功能都是还在的。

　　3：南桥芯片（South Bridge）是主板芯片组的重要组成部分，一般位于主板上离CPU插槽较远的下方，PCI插槽的附近，这种布局是考虑到它所连接的I/O总线较多，离处理器远一点有利于布线。 主要是作为I/O总线之间的通信，一般连接的都是低速设备，如USB，LAN，键盘控制器，鼠标等。同样的，目前很多南桥芯片也被集成了。

　　4： 内存是计算机中重要的部件之一，它是与CPU进行沟通的桥梁。计算机中所有程序的运行都是在内存中进行的，因此内存的性能对计算机的影响非常大。内存（Memory）也被称为内存储器，其作用是用于暂时存放CPU中的运算数据，以及与硬盘等外部存储器交换的数据。

　　内存的分类：市场中主要有的内存类型有SDRAM、DDR SDRAM和RDRAM三种，其中DDR SDRAM内存占据了市场的主流，而SDRAM内存规格已不再发展，处于被淘汰的行列

　　目前市场上常用的内存为DDR，DDR SDRAM是Double Data Rate SDRAM的缩写，是双倍速率同步动态随机存储器的意思。

　　个人对内存的理解，CPU是大脑，内存则是你的反应速度，虽然不是很恰当，但也凑合着理解。

　　5：显卡（Video card，Graphics card）全称显示接口卡，又称显示适配器，是计算机最基本配置、最重要的配件之一。显卡作为电脑主机里的一个重要组成部分，是电脑进行数模信号转换的设备，承担输出显示图形的任务。显卡接在电脑主板上，它将电脑的数字信号转换成模拟信号让显示器显示出来，同时显卡还是有图像处理能力，可协助CPU工作，提高整体的运行速度。显卡的使用对计算机的运行也是极重要的，专业显卡或者游戏显卡，不同的星卡没有好坏之分，而是侧重方向不同。

　　6：显示j接口

　　一、高清晰度多媒体接口（英文：High Definition Multimedia Interface，HDMI）是一种数字化视频/音频接口技术，是适合影像传输的专用型数字化接口，其可同时传送音频和影像信号，最高数据传输速度为4.5GB/s。

　　优点：HDMI不仅可以满足1080P的分辨率，还能支持DVD Audio等数字音频格式，支持八声道96kHz或立体声192kHz数码音频传送，可以传送无压缩的音频信号及视频信号。HDMI可用于机顶盒、DVD播放机、个人电脑、电视游乐器、综合扩大机、数字音响与电视机。HDMI可以同时传送音频和影像信号。

　　HDMI支持EDID、DDC2B，因此具有HDMI的设备具有“即插即用”的特点，信号源和显示设备之间会自动进行“协商”，自动选择最合适的视频/音频格式。

　　二、 VGA（Video Graphics Array）是IBM在1987年随PS/2机一起推出的一种视频传输标准，具有分辨率高、显示速率快、颜色丰富等优点，在彩色显示器领域得到了广泛的应用。不支持热插拔，不支持音频传输。通用VGA显示卡系统主要由控制电路、显示缓存区和视频BIOS（Basic Input Output System即基本输入输出系统）程序三个部分组成。

　　三、DisplayPort接口：高清数字显示接口。

　　性能：从性能上讲，DisplayPort 1.1最大支持10.8Gb/S的传输带宽，HDMI 1.3标准能支持10.2G/s的带宽；另外，DisplayPort可支持WQXGA+（2560×1600）、QXGA（2048×1536）等分辨率及30/36bit（每原色10/12bit）的色深，1920×1200分辨率的色彩支持到了120/24Bit，超高的带宽和分辨率完全足以适应显示设备的发展。

　　比HDMI更先进的是，DisplayPort在一条线缆上还可实现更多的功能。在四条主传输通道之外，DisplayPort还提供了一条功能强大的辅助通道。该辅助通道的传输带宽为1Mbps，最高延迟仅为500μs，可以直接作为语音、视频等低带宽数据的传输通道，另外也可用于无延迟的游戏控制。可见，DisplayPort可以实现对周边设备最大程度的整合、控制。

　　而DisplayPort一开始则面向液晶显示器开发，采用“Micro-Packet Architecture（微封包架构）”传输架构，视频内容以封包方式传送，这一点同DVI、HDMI等视频传输技术有着明显区别。也就是说，HDMI的出现取代了模拟信号视频，而DisplayPort的出现则取代的是DVI和VGA接口。

　　还有其他不同的接口，就不一一列出了，以后也会有所涉及。

　　7：网卡是工作在链路层的网络组件，是局域网中连接计算机和传输介质的接口，不仅能实现与局域网传输介质之间的物理连接和电信号匹配，还涉及帧的发送与接收、帧的封装与拆封、介质访问控制、数据的编码与解码以及数据缓存的功能等。计算机与外界局域网的连接是通过主机箱内插入一块网络接口板（或者是在笔记本电脑中插入一PCMCIA卡）。网络接口板又称为通信适配器或网络适配器（network adapter）或网络接口卡NIC（Network Interface Card），但是更多的人愿意使用更为简单的名称“网卡”。

　　8：声卡的基本功能是把来自话筒、磁带、光盘的原始声音信号加以转换，输出到耳机、扬声器、扩音机、录音机等声响设备，或通过音乐设备数字接口（MIDI）使乐器发出美妙的声音。

　　9：SATA（Serial Advanced Technology Attachment，串行高级技术附件）是一种基于行业标准的串行硬件驱动器接口，是由Intel、IBM、Dell、APT、Maxtor和Seagate公司共同提出的硬盘接口规范。

　　SATA的优势：串行接口结构简单，支持热插拔，传输速度快，执行效率高。 使用SATA（Serial ATA）口的硬盘又叫串口硬盘，是未来PC机硬盘的趋势。Serial ATA采用串行连接方式，串行ATA总线使用嵌入式时钟信号，具备了更强的纠错能力，与以往相比其最大的区别在于能对传输指令（不仅仅是数据）进行检查，如果发现错误会自动矫正，这在很大程度上提高了数据传输的可靠性。

　　10：硬盘是电脑主要的存储媒介之一，由一个或者多个铝制或者玻璃制的碟片组成。碟片外覆盖有铁磁性材料。

　　分类：硬盘有固态硬盘（SSD 盘，新式硬盘）、机械硬盘（HDD 传统硬盘）、混合硬盘（HHD 一块基于传统机械硬盘诞生出来的新硬盘）。

　　基本参数：

　　容量：常用的笔记本容量一般为500G。

　　转速：转速（Rotational Speed 或Spindle speed），是硬盘内电机主轴的旋转速度，也就是硬盘盘片在一分钟内所能完成的最大转数。转速的快慢是标示硬盘档次的重要参数之一，它是决定硬盘内部传输率的关键因素之一，在很大程度上直接影响到硬盘的速度。平均访问时间（Average Access Time）硬盘传输速率（Data Transfer Rate）缓存（Cache memory）是硬硬盘控制器上的一块内存芯片，具有极快的存取速度，它是硬盘内部存储和外界接口之间的缓冲器。

　　11：总线

　　一：PCI Express总线是一种完全不同于过去PCI总线的一种全新总线规范，与PCI总线共享并行架构相比，PCI Express总线是一种点对点串行连接的设备连接方式。 PCI Express以点对点的方式处理通信，每个设备在要求传输数据的时候各自建立自己的传输通道，对于其他设备这个通道是封闭的，这样的操作保证了通道的专有性，避免其他设备的干扰。

　　传输速度：X1的速度为250M/S，而X16则是X1的16倍，即为4GB/S。

　　二：SPI是串行外设接口（Serial Peripheral Interface）的缩写。SPI，是一种高速的，全双工，同步的通信总线，并且在芯片的管脚上只占用四根线，节约了芯片的管脚，同时为PCB的布局上节省空间，提供方便，正是出于这种简单易用的特性，如今越来越多的芯片集成了这种通信协议，比如AT91RM9200

　　SPI的通信原理很简单，它以主从方式工作，这种模式通常有一个主设备和一个或多个从设备，需要至少4根线，事实上3根也可以（用于单向传输时，也就是半双工方式）。也是所有基于SPI的设备共有的，它们是SDI（数据输入）、SDO（数据输出）、SCLK（时钟）、CS（片选）。

　　三：USB，是英文Universal Serial Bus（通用串行总线）的缩写，而其中文简称为“通串线”，是一个外部总线标准，用于规范电脑与外部设备的连接和通讯。是应用在PC领域的接口技术。USB接口支持设备的即插即用和热插拔功能。

　　四：LPC全名：Low Pin Count；97年Intel发布的取代传统ISA BUS的一种新接口规范 以往为了连接ISA扩充槽、适配器、ROM BIOS芯片、Super I/O等接口，南桥芯片必须保留一个ISA BUS，并且连通Super I/O芯片，以控制传统的外围设备。 Intel所定义的PC接口，将以往ISA BUS的地址/数据分离译码，改成类似PCI的地址/数据信号线共享的译码方式，信号线数量大幅降低，工作速率由PCI总线速率同步驱动，虽然改良过的LPC接口一样维持最大传输值16MB/s，不过所需要的信号脚位数大幅降低25~30个，以LPC接口设计的Super I/O芯片、Flash芯片都能享有脚位数减少、体积微缩的好处，主板的设计也可以简化，这也就是取名LPC——Low Pin Count的原因。

　　12：超级输入输出芯片（SIO）一般位于主板左下方或者左上方。主要使用的芯片有Winbond、ITE，它为主板上的标准I/O接口提供控制处理功能。这里所说的“超级”是指它集成了PS/2键盘、PS/2鼠标、串口COM、并口LPT接口等处理功能，而这些接口都是计算机中的慢速I/O设备。它们全部位于主板后部右边。它的主要功能包括负责处理从键盘、鼠标、串行接口等设备传输来的串行数据，将它们转换成为并行数据，同时也负责并行接口、软驱接口数据的传输与处理。

　　13:BIOS是英文“Basic Input Output System“的缩略词，直译过来后中文名称就是”基本输入输出系统“。其实，它是一组固化到计算机内主板上一个ROM芯片上的程序，它保存着计算机最重要的基本输入输出的程序、开机后自检程序和系统自启动程序，它可从CMOS中读写系统设置的具体信息。 其主要功能是为计算机提供最底层的、最直接的硬件设置和控制。

　　14：电源分类：AT电源，ATX电源，SFX电源

　　ATX电源：ATX电源主要有两个版本，一种是ATX1.01版，另一种是ATX2.01版。2.01版与1.01版的ATX电源除散热风扇的位置不一样外，它们的激活电流也不同。1.01版只有100mA，2.01版则有500mA～720mA。这意味着2.01版的ATX电源不会像1.01版那样”过敏“，经常会受外界电压波动的影响而自行启动计算机。

　　x86服务器的Hadoop集群配置参考

　　基于Hadoop的大数据方案越来越多地被企业所采用。但是，如何进行合理地规划和配置Hadoop平台是很多用户头痛的事情。在我们接触或合作的很大一部分客户，他们在给Hadoop配置硬件的时候，通常没有考虑到对大数据处理的特性，造成后续Hadoop集群的性能无法满足要求。典型的配置问题包括：

　　数据节点的CPU和内存配置很高，但磁盘数量很少（少于6块磁盘）

　　按容量考虑而选择单盘容量非常大的磁盘（大于8TB），但磁盘数量偏少

　　数据接收速度和查询性能要求高，但配置的是1GbE网络

　　高可用性要求高场景下管理节点和数据节点混合在一起，或者管理节点数量偏少（少于4个）

　　本文通过三种不同场景的Hadoop集群方案，对其配置进行说明以便为用户提供参考。

　　方案一：低成本的互联网分析（IA）

　　该方案是为互联网分析（Internet Analysis，缩写成IA）或一般非结构化数据处理而设计的Hadoop集群，具有以下特点：

　　支持非结构化数据的接收和分析

　　WebServer日志文件，点击流量，Twitter或Facebook的流入

　　支持使用DataClick、BigInsights或Scoop进行数据注入

　　运行Map/Reduce作业

　　数据的临时存储或轻量存储的要求

　　432 TB 裸存储

　　超过100 TB 可用存储空间（数据非压缩）

　　灵活的压缩选项（文件格式类型）

　　1 Gb 以太网数据网络

　　结合数据和管理网络

　　单独的监控网络支持xCat

　　可靠的硬件，无需硬件冗余的成本

　　HDFS数据复制机制实现数据保护

　　支持xCat快速部署

　　方案二：通用型的数据落地区或数据湖（LZ）

　　该方案是为通用型的数据落地区（Landing Zone，缩写成LZ）或数据湖而设计，主要特点如下：

　　非结构化数据的快速接收、分析和存储

　　ETL 工作负载，包括 DataStage， Informatica

　　DataClick， BigInsights Console 和Scoop

　　运行Map/Reduce 和Hive作业

　　每GB数据的成本低且数据完全保护

　　数据的长期存储和企业级的保护

　　每个机架1.344 PB裸存储！

　　超过400 TB 可用存储空间（数据非压缩）

　　压缩和加密选项

　　灵活的存储框架 – HDFS 或GPFS

　　灵活的网络和安全选项

　　完全冗余的路由或私有网络

　　10/40 Gb 混合的以太网数据网络

　　基于硬件和软件冗余的可靠构造

　　OS、电源、网络和Name Node服务

　　HDFS数据复制机制实现数据保护

　　方案三：强大的NoSQL或复杂分析（NS/CA）

　　该方案支持NoSQL或复杂分析（Complex Analysis），对可靠性、性能等要求比前面两个方案更高。它具有以下特点：

　　非结构化数据的快速接收、分析和查询

　　使用BigSQL代替DW & RDBMS

　　Hbase， Accumulo， Hive 和 Map/Reduce 作业

　　BigR， R 或SPSS数据挖掘

　　每GB数据的成本低且数据完全保护

　　数据的长期存储和企业级的保护

　　每个机架896 TB裸存储！

　　超过300 TB 可用存储空间（数据非压缩）

　　压缩和加密选项

　　灵活的存储框架 – HDFS 或GPFS

　　灵活的网络和安全选项

　　完全冗余的路由或私有网络

　　10/40 Gb 混合的以太网数据网络

　　基于硬件和软件冗余的可靠构造

　　OS、电源、网络和Name Node服务

　　HDFS数据复制机制实现数据保护

　　结束语

　　上述内容是IBM根据实践经验推荐的配置参考模型，用户在实践使用时可以数据量进行增删数据节点，服务器和网络设备也可用换成类似性能其它厂商的产品。