什么是集群服务,集群服务的配置
当今的计算机技术已经进入以网络为中心的时代。
互联网的快速发展以及用户数量和网络流量的快速增长,使得越来越多的服务器出现不堪重负的情况,对网络服务器的可扩展性和可用性提出了更高的要求。
单纯提高硬件性能并不能真正解决这个问题。
为此必须采用负载均衡和多服务器技术来满足大量并发访问的需求。
集群技术是一种将多台计算机组织在一起工作以模拟更强大的服务器的技术。
集群是一组运行相同软件的计算机,被虚拟化为一个主机系统,为客户端和应用程序提供服务。
计算机通过电缆进行物理连接,并通过软件集群进行编程连接,使计算机能够实现单机无法实现的容错和负载平衡。
WindowsServer2003家族产品将提供两种类型的集群服务:MSCS仅适用于WindowsServer2003企业版和数据中心版,并为数据库、消息系统以及文件和打印服务等关键业务应用程序提供高可用性。
集群中的多个服务器(节点)保持不间断的连接。
如果集群中的一个节点由于故障或维护而不可用,另一个节点将立即提供服务,以实现容错。
访问某个服务的用户可以继续访问该服务,而不会意识到该服务已经由另一台服务器(节点)提供。
WindowsServer2003的企业版和数据中心版都可以支持最多8个节点的集群配置。
这一变化提高了部署灵活性:特别是对于地理分布的集群配置,并支持主机的N+I配置(N个主节点+I个备用节点)。
N+I模型将为未来使用WindowsServer2003的大规模MicrosoftExchangeServer部署提供关键支持。
网络负载平衡(NLB)在WindowsServer2003系列的所有版本中均可用,该服务可以在群集内均匀分配访问的IP流量。
网络负载均衡提高了Web服务器、流媒体服务器、终端服务器等互联网服务器软件的可用性和可扩展性。
国内外著名的互联网公司使用hadoop都做了什么?谈HADOOP在大规模数据处理领域的具体应用。
节点数量:15台机器组成的服务器集群服务器配置:CPU8核,内存16G,硬盘容量1.4T。
百度中的HADOOP:HADOOP主要使用日志分析,也用它来做一些Web数据库的数据挖掘工作。
节点数量:10-500个节点。
主要使用2个集群:1100个节点组成的集群,其中8800个CPU核心(即每台机器8核),12000TB原始存储(即每台机器12T硬盘);(即每台机器8核),原始存储3000TB(即每台机器12T硬盘,开发了一个基于SQL语法的项目:HIVEHADOOP主要用于HULU中进行日志存储和批量分析)。
13台机器(PUC8核,单机:4TB硬盘)基于TWITTER中使用的HBASEHADOOP数据库用于存储微博数据、日志文件和许多中间数据CDH2基于HADOOP组件用于存储压缩数据。
数据文件(LZO格式)Yahoo中的HADOOP:主要用于支持广告和网络搜索系统机器数量:25000,CPU:集群数量8个机器核心:4000个节点(2*4cpuboxesw4*1TBdisk&16GBRAM)