您现在的位置：首页 --> 查看专题： 集群
近年来，互联网上安全事件频发，企业信息安全越来越受到重视，而IDC服务器安全又是纵深防御体系中的重要一环。保障IDC安全，常用的是基于主机型入侵检测系统Host-based Intrusion Detection System，即HIDS。在HIDS面对几十万台甚至上百万台规模的IDC环境时，系统架构该如何设计呢？复杂的服务器环境，网络环境，巨大的数据量给我们带来了哪些技术挑战呢？
在“高并发，海量数据，分布式，NoSql，云计算......”概念满天飞的年代，相信不少朋友都听说过甚至常与人提起“集群，负载均衡”等，但不是所有人都有机会真正接触到这些技术，也不是所有人都真正理解了这些“听起来很牛的”技术名词。下面简单解释一下吧。
在“高并发，海量数据，分布式，NoSql，云计算......”概念满天飞的年代，相信不少朋友都听说过甚至常与人提起“集群，负载均衡”等，但不是所有人都有机会真正接触到这些技术，也不是所有人都真正理解了这些“听起来很牛的”技术名词。下面简单解释一下吧。
kvproxy中集群分为三种。默认集群，读集群和备份集群。读集群和备份集群都是可选项。如果没有设置读集群，将会从默认集群读取数据。如果没有设置备份集群，将不会做数据同步操作。
随着业务的快速增长，TDW的节点数也在增加，对单个大规模Hadoop集群的需求也越来越强烈。TDW需要做单个大规模集群，主要是从数据共享、计算资源共享、减轻运营负担和成本等三个方面考虑。
Google公布了它的下一代集群管理系统Omega(下载地址)的设计细节。论文中谈到Google经历的三代资源调度器的架构，分别是中央式调度器架构(类似于Hadoop JobTracker，但是支持多种类型作业调度)、双层调度器架构(类似于Apache Mesos和Hadoop YARN)和共享状态架构(就是Omega)，并分别讨论了这几个架构的优缺点。
今天把 Skynet 的集群部分，以及 RPC 协议设计实现完。 先谈谈集群的设计。 最终，我们希望整个 skynet 系统可以部署到多台物理机上。这样，单进程的 skynet 节点是不够满足需求的。我希望 skynet 单节点是围绕单进程运作的，这样服务间才可以以接近零成本的交换数据。这样，进程和进程间(通常部署到不同的物理机上)通讯就做成一个比较外围的设置就好了。 为了定位方便，我希望整个系统里，所有服务节点都有唯一 id 。那么最简单的方案就是限制有限的机器数量、同时设置中心服务器来协调。我用 32bit 的 id 来标识 skynet 上的服务节点。其中高 8 位是机器标识，低 24 位是同一台机器上的服务节点 id 。我们用简单的判断算法就可以知道一个 id 是远程 id 还是本地 id (只需要比较高 8 位就可以了)。
所谓兵马未动，粮草先行，准备将storm用在某个项目中做实时数据分析。无论任何系统，一定要有监控系统并存，当故障发生的时候你能第一个知道，而不是让别人告诉你，那处理故障就很被动了。 因此我写了这么个项目，取名叫storm-monitor，放在了github上 https://github.com/killme2008/storm-monitor 主要功能如下：1.监控supervisor数目是否正确，当supervisor挂掉的时候会发送警告。2.监控nimbus是否正常运行，monitor会尝试连接nimbus，如果连接失败就认为nimbus挂掉。3.监控topology是否正常运行，包括它是否正常部署，是否有运行中的任务。 当故障发生的时候通过alarm方法警告用户，开放出去的只是简单地打日志。因为每个公司的告警接口不一样，所以你需要自己扩展，修改alarm.clj即可。我们这儿就支
所谓兵马未动，粮草先行，准备将storm用在某个项目中做实时数据分析。无论任何系统，一定要有监控系统并存，当故障发生的时候你能第一个知道，而不是让别人告诉你，那处理故障就很被动了。 因此我写了这么个项目，取名叫storm-monitor，放在了github上 https://github.com/killme2008/storm-monitor 主要功能如下：1.监控supervisor数目是否正确，当supervisor挂掉的时候会发送警告。2.监控nimbus是否正常运行，monitor会尝试连接nimbus，如果连接失败就认为nimbus挂掉。3.监控topology是否正常运行，包括它是否正常部署，是否有运行中的任务。
Clustrix的Sierra数据库集群引擎是一个share-nothing架构的可伸缩关系数据库集群。官方宣传的非常诱人，说是功能像集中式关系数据库一样强大，可伸缩性超强，不需要规划什么数据分区，可用性也非常高。简直是集SQL和NoSQL的优点于一身。据说最近阿里云的RDS服务很可能是基于这个，因此仔细去了解了一下，发现架构上属于软硬一体化的路子，感觉架构上还是有些问题，对硬件的要求也不低。Sierra前端采用MySQL协议，但本身跟MySQL没有...
定向抓取有很多的应用场景，比如B2C商品的抓取，点评的抓取等等。在本文提到的系统里面，主要使用linux+mysql+redis+django+scrapy+webkit，其中scrapy+webkit作为抓取端，redis作为链接库存储，mysql作为网页信息存储，django作为爬虫管理界面，快速实现分布式抓取系统的原型。
在日常的工作过程中，我们经常会碰到在不同的Hadoop集群间来回copy数据的需求。这些不同的集群，他们的Hadoop版本可能不同，不同机房的acl也可能不通，给我们的distcp带来了很多困难。这里整理曾经遇到的各种需求，供各位看官参考： 1.机房影响 这里假设有两个Hadoop集群，a和b，版本一致，但位于不同的机房A1和B1（A1的机器变化较少，B1的机器变化更频繁，acl推荐从A1打通到B1），任务计划于机房A1的机器gateway_a上提交。需要做...
1 web服务器集群的使用和设置方法就不在这里重复了，这些东西随处都可以搜索的到。要说的是在Microstrategy 8.1.2 Web Universal中，使用集群要注意的几个方面。首先，状态的存取方式问题，可以使用session、也可以使用cookie。大部分是用的都是cookie存取，session存取是需要关注集群的session同步问题的，而cookie保存在客户端，没有太多的限制，比较方便。在管理员web设置的安全性选项中，默认会话信息是保存在Web Server上的...
原理只是一个概念，可操作性不强，看了N多的半原理半细节的相关文章，却总是被各种各样的细节困惑住。为了自己下次能够快速的使用PostgreSQL，以流水帐的方式记录配置PostgreSQL集群的步骤，有些结论是自己猜想的或者引用的，以后发现错误再修正吧。顺便发些感想（跳过下面一段，都是题外话，其实就是废话）：其实很多东西，从原理上说都很简单，几乎我们每个人都能说上一点。但是实际上，原理性的文章一般可操作行都不是很强。...
在网络应用中，“负载均衡”已经不能算是什么新鲜话题了，从硬件到软件，也都有了很多的方法来实现负载均衡。我们这里讨论的负载均衡，并不是指依靠DNS转向或其它硬件设备等所作的负载均衡，而是指在应用层所作的负载均衡。一般而言，只有在大型在线系统当中才有必要引入负载均衡，那么，多大的系统才能被称为大型系统呢？比如动辄同时在线数十万的网络游戏，比如同时在线数在10万以上的WEB应用，这些我们都可以理解为大型系统，...
[ 共18篇文章 ][ 第1页/共1页 ][ 1 ]
近3天十大热文
-
[90] Go Reflect 性能 -
[15] 我的git笔记
-
[12] osx平台上lol英雄联盟launcher启
-
[12] 公钥私钥加密解密数字证书数字签名详解
-
[12] 基于HTTP缓存轻松实现客户端应用的离线支持
-
[11] Joomla反序列化漏洞的查漏补缺
-
[11] iOS可视化编程 Tips 之“无需代码设置
-
[11] 浅谈Web安全验证码
-
[11] 正态分布的前世今生(一)
-
[11] iTerm2 (Mac Terminal)
赞助商广告
