x86架构原理_x86服务器的Hadoop集群配置参考

控制/MCU

1799人已加入

描述

  X86属于典型的CISC,指令集丰富,指令不等长,善于执行复杂工作,更强调串行性能;ARM是典型的RISC,指令集精简,但指令等长,这样提高了处理效率,但遇到复杂指令,就需要更多的简单指令来堆砌复杂任务。

  ARM用来做专一机、大型机;X86性价比高,便宜,成为家用主流,也可以用于企业的非核心业务。

  并行处理能力上,ARM凭借高效率和高并发性能取得一定优势;X86善于执行复杂指令,且在纯串行任务上,相较于ARM能取得优势。最主要的是,X86和ARM的内部指令都不同,不可能执行同一个程序,根本不能做横向比较。

  X86 架构原理

  在接触BIOS的时候,都需要对PC架构有一定的认知。目前的PC架构绝大多数都是Intel的X86架构,貌似也是因为INTEL的这个X86架构早就了目前INTEL如日中天的地位。

  废话不多说,X86架构进行一个简单的介绍:

  Hadoop

  当然,这个架构图并不是所有的都是如此,根据不同的主板,平台,架构是略有差别的比如说,目前很多主板已经将北桥集成到CPU当中,将南桥集成为PCH,但大致的框架还是如此的。下面对这个架构图上的各个内容分别进行一些简介。

  1:CPU,大家都不陌生的名词,中央处理器,计算机的核心大脑。

  2: 北桥(North Bridge Chipset):北桥是电脑主板上的一块芯片,位于CPU插座边,起连接作用。北桥是个人电脑主板芯片组两枚大规模芯片中的一枚。北桥被用来处理高速信号、通常处理CPU(处理器)、RAM(内存)、AGP端口或PCI Express和南桥芯片之间的通信。北桥由于数据处理量大,一般都装有散热片或者散热风扇,目前很多主板已经将北桥芯片集成到CPU当中,但是基本的功能都是还在的。

  3:南桥芯片(South Bridge)是主板芯片组的重要组成部分,一般位于主板上离CPU插槽较远的下方,PCI插槽的附近,这种布局是考虑到它所连接的I/O总线较多,离处理器远一点有利于布线。 主要是作为I/O总线之间的通信,一般连接的都是低速设备,如USB,LAN,键盘控制器,鼠标等。同样的,目前很多南桥芯片也被集成了。

  4: 内存是计算机中重要的部件之一,它是与CPU进行沟通的桥梁。计算机中所有程序的运行都是在内存中进行的,因此内存的性能对计算机的影响非常大。内存(Memory)也被称为内存储器,其作用是用于暂时存放CPU中的运算数据,以及与硬盘等外部存储器交换的数据。

  内存的分类:市场中主要有的内存类型有SDRAM、DDR SDRAM和RDRAM三种,其中DDR SDRAM内存占据了市场的主流,而SDRAM内存规格已不再发展,处于被淘汰的行列

  目前市场上常用的内存为DDR,DDR SDRAM是Double Data Rate SDRAM的缩写,是双倍速率同步动态随机存储器的意思。

  个人对内存的理解,CPU是大脑,内存则是你的反应速度,虽然不是很恰当,但也凑合着理解。

  5:显卡(Video card,Graphics card)全称显示接口卡,又称显示适配器,是计算机最基本配置、最重要的配件之一。显卡作为电脑主机里的一个重要组成部分,是电脑进行数模信号转换的设备,承担输出显示图形的任务。显卡接在电脑主板上,它将电脑的数字信号转换成模拟信号让显示器显示出来,同时显卡还是有图像处理能力,可协助CPU工作,提高整体的运行速度。显卡的使用对计算机的运行也是极重要的,专业显卡或者游戏显卡,不同的星卡没有好坏之分,而是侧重方向不同。

  6:显示j接口

  一、高清晰度多媒体接口(英文:High Definition Multimedia Interface,HDMI)是一种数字化视频/音频接口技术,是适合影像传输的专用型数字化接口,其可同时传送音频和影像信号,最高数据传输速度为4.5GB/s。

  优点:HDMI不仅可以满足1080P的分辨率,还能支持DVD Audio等数字音频格式,支持八声道96kHz或立体声192kHz数码音频传送,可以传送无压缩的音频信号及视频信号。HDMI可用于机顶盒、DVD播放机、个人电脑、电视游乐器、综合扩大机、数字音响与电视机。HDMI可以同时传送音频和影像信号。

  HDMI支持EDID、DDC2B,因此具有HDMI的设备具有“即插即用”的特点,信号源和显示设备之间会自动进行“协商”,自动选择最合适的视频/音频格式。

  二、 VGA(Video Graphics Array)是IBM在1987年随PS/2机一起推出的一种视频传输标准,具有分辨率高、显示速率快、颜色丰富等优点,在彩色显示器领域得到了广泛的应用。不支持热插拔,不支持音频传输。通用VGA显示卡系统主要由控制电路、显示缓存区和视频BIOS(Basic Input Output System即基本输入输出系统)程序三个部分组成。

  三、DisplayPort接口:高清数字显示接口。

  性能:从性能上讲,DisplayPort 1.1最大支持10.8Gb/S的传输带宽,HDMI 1.3标准能支持10.2G/s的带宽;另外,DisplayPort可支持WQXGA+(2560×1600)、QXGA(2048×1536)等分辨率及30/36bit(每原色10/12bit)的色深,1920×1200分辨率的色彩支持到了120/24Bit,超高的带宽和分辨率完全足以适应显示设备的发展。

  比HDMI更先进的是,DisplayPort在一条线缆上还可实现更多的功能。在四条主传输通道之外,DisplayPort还提供了一条功能强大的辅助通道。该辅助通道的传输带宽为1Mbps,最高延迟仅为500μs,可以直接作为语音、视频等低带宽数据的传输通道,另外也可用于无延迟的游戏控制。可见,DisplayPort可以实现对周边设备最大程度的整合、控制。

  而DisplayPort一开始则面向液晶显示器开发,采用“Micro-Packet Architecture(微封包架构)”传输架构,视频内容以封包方式传送,这一点同DVI、HDMI等视频传输技术有着明显区别。也就是说,HDMI的出现取代了模拟信号视频,而DisplayPort的出现则取代的是DVI和VGA接口。

  还有其他不同的接口,就不一一列出了,以后也会有所涉及。

  7:网卡是工作在链路层的网络组件,是局域网中连接计算机和传输介质的接口,不仅能实现与局域网传输介质之间的物理连接和电信号匹配,还涉及帧的发送与接收、帧的封装与拆封、介质访问控制、数据的编码与解码以及数据缓存的功能等。计算机与外界局域网的连接是通过主机箱内插入一块网络接口板(或者是在笔记本电脑中插入一PCMCIA卡)。网络接口板又称为通信适配器或网络适配器(network adapter)或网络接口卡NIC(Network Interface Card),但是更多的人愿意使用更为简单的名称“网卡”。

  8:声卡的基本功能是把来自话筒、磁带、光盘的原始声音信号加以转换,输出到耳机、扬声器、扩音机、录音机等声响设备,或通过音乐设备数字接口(MIDI)使乐器发出美妙的声音。

  9:SATA(Serial Advanced Technology Attachment,串行高级技术附件)是一种基于行业标准的串行硬件驱动器接口,是由Intel、IBM、Dell、APT、Maxtor和Seagate公司共同提出的硬盘接口规范。

  SATA的优势:串行接口结构简单,支持热插拔,传输速度快,执行效率高。 使用SATA(Serial ATA)口的硬盘又叫串口硬盘,是未来PC机硬盘的趋势。Serial ATA采用串行连接方式,串行ATA总线使用嵌入式时钟信号,具备了更强的纠错能力,与以往相比其最大的区别在于能对传输指令(不仅仅是数据)进行检查,如果发现错误会自动矫正,这在很大程度上提高了数据传输的可靠性。

  10:硬盘是电脑主要的存储媒介之一,由一个或者多个铝制或者玻璃制的碟片组成。碟片外覆盖有铁磁性材料。

  分类:硬盘有固态硬盘(SSD 盘,新式硬盘)、机械硬盘(HDD 传统硬盘)、混合硬盘(HHD 一块基于传统机械硬盘诞生出来的新硬盘)。

  基本参数:

  容量:常用的笔记本容量一般为500G。

  转速:转速(Rotational Speed 或Spindle speed),是硬盘内电机主轴的旋转速度,也就是硬盘盘片在一分钟内所能完成的最大转数。转速的快慢是标示硬盘档次的重要参数之一,它是决定硬盘内部传输率的关键因素之一,在很大程度上直接影响到硬盘的速度。平均访问时间(Average Access Time)硬盘传输速率(Data Transfer Rate)缓存(Cache memory)是硬硬盘控制器上的一块内存芯片,具有极快的存取速度,它是硬盘内部存储和外界接口之间的缓冲器。

  11:总线

  一:PCI Express总线是一种完全不同于过去PCI总线的一种全新总线规范,与PCI总线共享并行架构相比,PCI Express总线是一种点对点串行连接的设备连接方式。 PCI Express以点对点的方式处理通信,每个设备在要求传输数据的时候各自建立自己的传输通道,对于其他设备这个通道是封闭的,这样的操作保证了通道的专有性,避免其他设备的干扰。

  传输速度:X1的速度为250M/S,而X16则是X1的16倍,即为4GB/S。

  二:SPI是串行外设接口(Serial Peripheral Interface)的缩写。SPI,是一种高速的,全双工,同步的通信总线,并且在芯片的管脚上只占用四根线,节约了芯片的管脚,同时为PCB的布局上节省空间,提供方便,正是出于这种简单易用的特性,如今越来越多的芯片集成了这种通信协议,比如AT91RM9200

  SPI的通信原理很简单,它以主从方式工作,这种模式通常有一个主设备和一个或多个从设备,需要至少4根线,事实上3根也可以(用于单向传输时,也就是半双工方式)。也是所有基于SPI的设备共有的,它们是SDI(数据输入)、SDO(数据输出)、SCLK(时钟)、CS(片选)。

  三:USB,是英文Universal Serial Bus(通用串行总线)的缩写,而其中文简称为“通串线”,是一个外部总线标准,用于规范电脑与外部设备的连接和通讯。是应用在PC领域的接口技术。USB接口支持设备的即插即用和热插拔功能。

  四:LPC全名:Low Pin Count;97年Intel发布的取代传统ISA BUS的一种新接口规范 以往为了连接ISA扩充槽、适配器、ROM BIOS芯片、Super I/O等接口,南桥芯片必须保留一个ISA BUS,并且连通Super I/O芯片,以控制传统的外围设备。 Intel所定义的PC接口,将以往ISA BUS的地址/数据分离译码,改成类似PCI的地址/数据信号线共享的译码方式,信号线数量大幅降低,工作速率由PCI总线速率同步驱动,虽然改良过的LPC接口一样维持最大传输值16MB/s,不过所需要的信号脚位数大幅降低25~30个,以LPC接口设计的Super I/O芯片、Flash芯片都能享有脚位数减少、体积微缩的好处,主板的设计也可以简化,这也就是取名LPC——Low Pin Count的原因。

  12:超级输入输出芯片(SIO)一般位于主板左下方或者左上方。主要使用的芯片有Winbond、ITE,它为主板上的标准I/O接口提供控制处理功能。这里所说的“超级”是指它集成了PS/2键盘、PS/2鼠标、串口COM、并口LPT接口等处理功能,而这些接口都是计算机中的慢速I/O设备。它们全部位于主板后部右边。它的主要功能包括负责处理从键盘、鼠标、串行接口等设备传输来的串行数据,将它们转换成为并行数据,同时也负责并行接口、软驱接口数据的传输与处理。

  13:BIOS是英文“Basic Input Output System“的缩略词,直译过来后中文名称就是”基本输入输出系统“。其实,它是一组固化到计算机内主板上一个ROM芯片上的程序,它保存着计算机最重要的基本输入输出的程序、开机后自检程序和系统自启动程序,它可从CMOS中读写系统设置的具体信息。 其主要功能是为计算机提供最底层的、最直接的硬件设置和控制。

  14:电源分类:AT电源,ATX电源,SFX电源

  ATX电源:ATX电源主要有两个版本,一种是ATX1.01版,另一种是ATX2.01版。2.01版与1.01版的ATX电源除散热风扇的位置不一样外,它们的激活电流也不同。1.01版只有100mA,2.01版则有500mA~720mA。这意味着2.01版的ATX电源不会像1.01版那样”过敏“,经常会受外界电压波动的影响而自行启动计算机。

  x86服务器的Hadoop集群配置参考

  基于Hadoop的大数据方案越来越多地被企业所采用。但是,如何进行合理地规划和配置Hadoop平台是很多用户头痛的事情。在我们接触或合作的很大一部分客户,他们在给Hadoop配置硬件的时候,通常没有考虑到对大数据处理的特性,造成后续Hadoop集群的性能无法满足要求。典型的配置问题包括:

  数据节点的CPU和内存配置很高,但磁盘数量很少(少于6块磁盘)

  按容量考虑而选择单盘容量非常大的磁盘(大于8TB),但磁盘数量偏少

  数据接收速度和查询性能要求高,但配置的是1GbE网络

  高可用性要求高场景下管理节点和数据节点混合在一起,或者管理节点数量偏少(少于4个)

  本文通过三种不同场景的Hadoop集群方案,对其配置进行说明以便为用户提供参考。

  方案一:低成本的互联网分析(IA

  该方案是为互联网分析(Internet Analysis,缩写成IA)或一般非结构化数据处理而设计的Hadoop集群,具有以下特点:

  支持非结构化数据的接收和分析

  WebServer日志文件,点击流量,Twitter或Facebook的流入

  支持使用DataClick、BigInsights或Scoop进行数据注入

  运行Map/Reduce作业

  数据的临时存储或轻量存储的要求

  432 TB 裸存储

  超过100 TB 可用存储空间(数据非压缩)

  灵活的压缩选项(文件格式类型)

  1 Gb 以太网数据网络

  结合数据和管理网络

  单独的监控网络支持xCat

  可靠的硬件,无需硬件冗余的成本

  HDFS数据复制机制实现数据保护

  支持xCat快速部署

  方案二:通用型的数据落地区或数据湖(LZ)

  该方案是为通用型的数据落地区(Landing Zone,缩写成LZ)或数据湖而设计,主要特点如下:

  非结构化数据的快速接收、分析和存储

  ETL 工作负载,包括 DataStage, Informatica

  DataClick, BigInsights Console 和Scoop

  运行Map/Reduce 和Hive作业

  每GB数据的成本低且数据完全保护

  数据的长期存储和企业级的保护

  每个机架1.344 PB裸存储!

  超过400 TB 可用存储空间(数据非压缩)

  压缩和加密选项

  灵活的存储框架 – HDFS 或GPFS

  灵活的网络和安全选项

  完全冗余的路由或私有网络

  10/40 Gb 混合的以太网数据网络

  基于硬件和软件冗余的可靠构造

  OS、电源、网络和Name Node服务

  HDFS数据复制机制实现数据保护

  方案三:强大的NoSQL或复杂分析(NS/CA)

  该方案支持NoSQL或复杂分析(Complex Analysis),对可靠性、性能等要求比前面两个方案更高。它具有以下特点:

  非结构化数据的快速接收、分析和查询

  使用BigSQL代替DW & RDBMS

  Hbase, Accumulo, Hive 和 Map/Reduce 作业

  BigR, R 或SPSS数据挖掘

  每GB数据的成本低且数据完全保护

  数据的长期存储和企业级的保护

  每个机架896 TB裸存储!

  超过300 TB 可用存储空间(数据非压缩)

  压缩和加密选项

  灵活的存储框架 – HDFS 或GPFS

  灵活的网络和安全选项

  完全冗余的路由或私有网络

  10/40 Gb 混合的以太网数据网络

  基于硬件和软件冗余的可靠构造

  OS、电源、网络和Name Node服务

  HDFS数据复制机制实现数据保护

  结束语

  上述内容是IBM根据实践经验推荐的配置参考模型,用户在实践使用时可以数据量进行增删数据节点,服务器和网络设备也可用换成类似性能其它厂商的产品。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分