技术头条 - 一个快速在微博传播文章的方式     搜索本站
您现在的位置首页 --> 系统架构 --> Amazon AWS云管理平台技术内幕(1)--节选之《揭秘云存储》

Amazon AWS云管理平台技术内幕(1)--节选之《揭秘云存储》

浏览:2893次  出处信息
      云架构 是满足按需分配的服务而设计的软件架构。 云架构上构建服务流程是这样,基本的计算及基础设施只是在有需要时(例如处理一个用户请求)才分配出去,分配必要的资源上的需求(如计算服务器或存储),执行特定的工作,然后放弃不必要的资源。 在整个业务过程,云平台负责根据客户的需求(并发数,吞吐量,数据存储空间等)来弹性的分配资源,然后将不用的资源收回 。老蒋认为这个过程中提供整个计算及存储等基础设施管理,分配,回收等工作的就称为云管理平台。

云架构能解决大型数据处理的很多问题。 例如传统数据处理中很难使用多台服务器来运行一个应用程序。 第二,在需要计算或者存储资源的时候,很难去自动获得一个服务器或者存储。 第三,难以将大量并发的作业分配和协调不同的机器上,如果一台机器出现故障如何用备用机恢复工作。 第四,这是难以自动调节资源的的动态负载。 第五,当工作完成时,如何将这些计算及存储资源回收。 云架构的管理平台就是为了解决这些问题。
 
云架构上构建的应用程序运行,而云的基础设施的实际位置是由供应商决定。 他们利用互联网的优势,方便的服务的简单API的规模上的需求,其中复杂云计算和云存储及商业的运算,仍然隐藏在云中。 在云架构资源的使用是根据需要,有时短暂的或季节性的,云管理平台根据经济性最大原则,以最优的资源分配给不断变化的客户使用。
 让我们以AMAZON AWS为例来看一看云管理平台是如何运行的:
 
 任何一个SAAS在提供服务的时候,云平台都会通过4个阶段对SAAS服务进行资源的分配及调整:
1.    首先启动服务,当有客户进行SAAS服务操作时,云平台会启动服务。
2.    启动后监控SAAS服务的需求情况。
3.    当无人访问时,停止服务。
4.    回收不被使用的资源
 
 
让我们看一下AWS具体的操作流程,消息平台首先发送服务启动的命令给启动的控制器,由启动控制器首先将启动信息放在simpledb的缓冲区里面,做上时间标记。分配EC2的计算资源,启动HADoop等操作,将计算数据从S3中导入EC2, 开始进行计算和分析。
监控控制器接收到监控信息后,对SAAS应用中所有的资源和错误进行监控,更新simpledb的缓冲区中的状态,并且根据用户的需要随时增减资源(计算节点和存储节点)。
Shutdown控制器在收到关闭消息后,会停止EC2,HADOOP等资源,将运算结果放入S3或者客户指定的存储目标,并发消息给结算控制器。
 
  消息平台的重要作用
亚马逊SQS的被用来作为消息传递组件之间的机制。它充当胶水的有线不同的功能组件连接在一起。这不仅有助于使不同的组件的松耦合,而且在全面建设弹性系统让系统避免因为延时的失败。
主要有以下3个作用
缓冲区
将有助于缓冲使整个系统更加灵活的流量(或负载)。亚马逊SQS的行为作为两个组件之间GrepTheWeb系统(控制器)瞬态缓冲区。如果邮件直接发送到一个组件,接收器将需要消耗由寄件人在支配它的速度。例如,如果计费系统很慢,或者如果Hadoop集群发射的时间超过预期,整个系统就会慢下来,因为这将只能等待。具有消息队列,发送者和接收者解耦和队列服务柔滑任何高低不平消息流量。
分离
GrepTheWeb之间的任何两个控制器的交互是通过消息队列中,没有任何其他控制器直接呼叫控制器。所有的通信和交互发生在通过存储消息队列(连接队列),并从队列(去队列)检索信息。这使得整个系统的松耦合和接口简单,干净。亚马逊SQS的转移提供了不同应用程序组件之间的信息统一的方式。每个控制器的功能是获取信息,处理信息(执行的功能),并存储在其他队列中的消息。
异步
由于这是很难知道每个阶段将采取的执行多少时间(例如,动态地启动阶段决定需要多少个实例开始执行的要求,因此基于时间未知)亚马逊SQS的建设异步系统的帮助。现在,如果发射阶段需要更多的时间来处理,或显示器相失败,该系统的其他组件都不会受到影响,整个系统更加稳定和高可用性。

建议继续学习:

  1. 慎用国内云存储,提防数据被保留。    (阅读:11691)
  2. AWS云平台系列介绍(一):AWS平台与EC2介绍    (阅读:4091)
  3. SteveY对Amazon和Google平台的长篇大论    (阅读:3801)
  4. 三款面向 Amazon S3 的开源文件同步工具之对比    (阅读:2935)
  5. Amazon AWS云计算服务简介    (阅读:2805)
  6. 云存储在C2C网站的实际应用―详解TFS    (阅读:2411)
  7. Microsoft Azure Storage架构分析    (阅读:2006)
  8. 云存储中的HTTP鉴权算法分析    (阅读:1893)
  9. 谈谈数据安全和云存储    (阅读:1849)
  10. Amazon SimpleDB    (阅读:1824)
QQ技术交流群:445447336,欢迎加入!
扫一扫订阅我的微信号:IT技术博客大学习
© 2009 - 2024 by blogread.cn 微博:@IT技术博客大学习

京ICP备15002552号-1