IT技术博客大学习 共学习 共进步

Amazon AWS云管理平台技术内幕(1)--节选之《揭秘云存储》

光头老蒋 2011-02-13 22:29:36 浏览 3,682 次
      云架构 是满足按需分配的服务而设计的软件架构。 云架构上构建服务流程是这样,基本的计算及基础设施只是在有需要时(例如处理一个用户请求)才分配出去,分配必要的资源上的需求(如计算服务器或存储),执行特定的工作,然后放弃不必要的资源。 在整个业务过程,云平台负责根据客户的需求(并发数,吞吐量,数据存储空间等)来弹性的分配资源,然后将不用的资源收回 。老蒋认为这个过程中提供整个计算及存储等基础设施管理,分配,回收等工作的就称为云管理平台。

云架构能解决大型数据处理的很多问题。 例如传统数据处理中很难使用多台服务器来运行一个应用程序。 第二,在需要计算或者存储资源的时候,很难去自动获得一个服务器或者存储。 第三,难以将大量并发的作业分配和协调不同的机器上,如果一台机器出现故障如何用备用机恢复工作。 第四,这是难以自动调节资源的的动态负载。 第五,当工作完成时,如何将这些计算及存储资源回收。 云架构的管理平台就是为了解决这些问题。
云架构上构建的应用程序运行,而云的基础设施的实际位置是由供应商决定。 他们利用互联网的优势,方便的服务的简单API的规模上的需求,其中复杂云计算和云存储及商业的运算,仍然隐藏在云中。 在云架构资源的使用是根据需要,有时短暂的或季节性的,云管理平台根据经济性最大原则,以最优的资源分配给不断变化的客户使用。
 让我们以AMAZON AWS为例来看一看云管理平台是如何运行的:
 
 任何一个SAAS在提供服务的时候,云平台都会通过4个阶段对SAAS服务进行资源的分配及调整:
1.    首先启动服务,当有客户进行SAAS服务操作时,云平台会启动服务。
2.    启动后监控SAAS服务的需求情况。
3.    当无人访问时,停止服务。
4.    回收不被使用的资源
 
让我们看一下AWS具体的操作流程,消息平台首先发送服务启动的命令给启动的控制器,由启动控制器首先将启动信息放在simpledb的缓冲区里面,做上时间标记。分配EC2的计算资源,启动HADoop等操作,将计算数据从S3中导入EC2, 开始进行计算和分析。
监控控制器接收到监控信息后,对SAAS应用中所有的资源和错误进行监控,更新simpledb的缓冲区中的状态,并且根据用户的需要随时增减资源(计算节点和存储节点)。
Shutdown控制器在收到关闭消息后,会停止EC2,HADOOP等资源,将运算结果放入S3或者客户指定的存储目标,并发消息给结算控制器。
 
  消息平台的重要作用
亚马逊SQS的被用来作为消息传递组件之间的机制。它充当胶水的有线不同的功能组件连接在一起。这不仅有助于使不同的组件的松耦合,而且在全面建设弹性系统让系统避免因为延时的失败。
主要有以下3个作用
缓冲区
将有助于缓冲使整个系统更加灵活的流量(或负载)。亚马逊SQS的行为作为两个组件之间GrepTheWeb系统(控制器)瞬态缓冲区。如果邮件直接发送到一个组件,接收器将需要消耗由寄件人在支配它的速度。例如,如果计费系统很慢,或者如果Hadoop集群发射的时间超过预期,整个系统就会慢下来,因为这将只能等待。具有消息队列,发送者和接收者解耦和队列服务柔滑任何高低不平消息流量。
分离
GrepTheWeb之间的任何两个控制器的交互是通过消息队列中,没有任何其他控制器直接呼叫控制器。所有的通信和交互发生在通过存储消息队列(连接队列),并从队列(去队列)检索信息。这使得整个系统的松耦合和接口简单,干净。亚马逊SQS的转移提供了不同应用程序组件之间的信息统一的方式。每个控制器的功能是获取信息,处理信息(执行的功能),并存储在其他队列中的消息。
异步
由于这是很难知道每个阶段将采取的执行多少时间(例如,动态地启动阶段决定需要多少个实例开始执行的要求,因此基于时间未知)亚马逊SQS的建设异步系统的帮助。现在,如果发射阶段需要更多的时间来处理,或显示器相失败,该系统的其他组件都不会受到影响,整个系统更加稳定和高可用性。

建议继续学习

  1. 慎用国内云存储,提防数据被保留。 (阅读 12,561)
  2. AWS云平台系列介绍(一):AWS平台与EC2介绍 (阅读 5,760)
  3. SteveY对Amazon和Google平台的长篇大论 (阅读 4,941)
  4. 三款面向 Amazon S3 的开源文件同步工具之对比 (阅读 4,101)
  5. Amazon AWS云计算服务简介 (阅读 3,724)
  6. 云存储在C2C网站的实际应用―详解TFS (阅读 3,300)
  7. Microsoft Azure Storage架构分析 (阅读 2,860)
  8. 谈谈数据安全和云存储 (阅读 2,821)
  9. 云存储中的HTTP鉴权算法分析 (阅读 2,820)
  10. Amazon SimpleDB (阅读 2,720)