您现在的位置：首页
--> 系统运维
查看 CPU, Memory, I/O and NetFlow
什么是SPF记录？如何设置SPF来防止我的邮件被拒收呢？什么是SPF记录？定义：(Sender Policy Framework) 的缩写，一种以IP地址认证发信人身份的技术，作用：可以避免伪造地址的垃圾邮件，避免有其他人伪造我的域名来投递。提高发送外域邮箱的成功率。原理：spf规则规定了一个域名下的邮件必须通过哪些smtp服务器来发送。一个域名可以为自己创建一个txt解析记录，在这个解析记录里面是这个域名下所有的smtp服务器的ip地址。 接收...
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为 MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
我们都知道，SSD存在一个磨损的问题，虽然厂商提供的数据都显示企业级的SSD产品是可靠的，SSD内置的损耗均衡的算法，可以保证磨损是均衡的，不会出现反复擦写某个单元导致SSD损坏的情况。但是我们依然很担心，磨损对可靠性的影响究竟有多大？最近，我们对线上系统的SSD进行了分析，得到了一些关于磨损的数据，分享给大家。 S.M.A.R.T.(Self-Monitoring, Analysis, and Reporting Technology)是磁盘的诊断工具，其中也包括SSD的磨损...
这个问题其实没有什么意思，知道了问题的答案能表明一个人技术水平有多高吗？不能！这个问题有答案以及有意义吗？答案都是没有！那我还为何一直对这 个问题死死揪住不放？这类问题可以提高一个人的素质以及了解一段关于网络和unix的历史，正是因为这些都很有趣，才如此值得关注。在 unix中，一切io相关的实体都被抽象成了文件，之所以抽象成文件第一是为了接口统一，第二是为了操作统一，第三是为了策略隐藏，比如这样可以向用...
我们一般使用单位时间内服务器处理的请求数来描述WEB服务器的并发处理能力――吞吐率（Throughput)，单位是 reqs/s 我们一般使用压力测试，来统计WEB服务器的吞吐率。其包括如下条件： 同一时间，到底有多少人奇迹般的一起向服务器发送请求――并发用户数上面那些用户，一共向你的服务器发送了多少请求？――总请求数这些人，疯了般的管你要啥东西呢？――请求资源描述
使用PHP的memcache模块写了一个访问tokyotrant的long-live程序，因为是long-live的，所以我就connect一次之后一直使用了，理论上我connect之后就可以一直使用，中间不会出现重新连接的问题，为了确认我的推断，启动进程之后，我用strace跟踪了一些进程，令我意外的是，隔一段时间连接就会关闭，然后重新连接，怎么回事呢？我怀疑两个方面：1. 我的程序有问题2. server端有问题，用一段时间会关掉我的连接首先，我用了大约1个小...
最近分析了下基于Squid的视频业务的日志,发现一些比较不错的内容:1:很多视频网站或者静态类网站都用Squid作为前端的缓存.其实对于大容量对象来说,内存命中和磁盘命中对于用户的下载速率影响不大,但是需要基于一个前提:磁盘的吞吐能力处于可接受范围之内.一般I/O等待不要超过30.包括缓存命中和未命中下载速率也影响不大,因为内网的带宽是足够的(最终还是取决于磁盘性能).总体来说,视频类的静态服务取决于磁盘的读写性能.2:影...
• 善用配置
我们总期望程序功能很强大，但是有些功能不是适合任何环境的、任何时候的，这时候我们就可以利用配置来使得灵活。比如：我想方便地看到线上程序的一些调试信息，但是一般情况下我并不需要这些信息，只有在调试线上bug的时候才需要，于是我们就可以在程序中添加这些调试信息的语句，然后通过开关来控制。如果我们没有权限登录线上提供服务的机器，则调试信息就可能需要输出到自己可以登录的某远...
String line=value.toString();之所以会把GBK编码的输入变成乱码，很关键的一个因素是Text这个Writable类型造成的。初学时，一直认为和LongWritable对long的封装一样，Text类型是String的Writable封装。但其实Text和String还是有些区别，它是一种UTF-8格式的Writable，而Java中的String是Unicode字符。所以直接使用value.toString()方法，会默认其中的字符都是UTF-8编码过的，因而原本GBK编码的数据使用Text读入后直接使用...
• SSH无密码登录
一直都有用到这个，但是每次用都要去查一下，干脆现在记下来。 除了通过交互式的方式输入用户名和密码以为，SSH中还可以通过一种“公私钥”的方式进行登录，具体的原理为： 首先在客户端上创建一对公私钥 （公钥文件：~/.ssh/id_rsa.pub； 私钥文件：~/.ssh/id_rsa） 然后把公钥放到服务器上（~/.ssh/authorized_keys）, 自己保留好私钥 当ssh登录时，ssh程序会发送私钥去和服务器上的公钥做匹配.如果匹配成功就可以登录了 具体的...
为了实现cdn同步需求常常才对节点之间的下载速度做写测试，这项工作其实很简单。 能使用工具也很多，不过目前公司节点已经突破百位数啦，尤其是很多合作厂商的加入，使得网速测试变的越来越重要。 网站cdn资源同步效率的也变的要求也越来越高。 所以很多时候需要快速反映和马上能出结果的测试，变的更加符合现在的需求。 一般linux服务器上都会安装curl，这个工具非常好用，网上对这个介绍也很多，这里就不在重复了。 我们也只需要...
常用的定量分析是问卷调查，这可以收集到用户对产品的主观反馈，它的结果受问卷题目的影响，不能完全客观地反映用户如何使用产品，他们在实际环境中遇到了哪些问题。而针对网站的定量分析，网络服务器的日志文件能真实反映用户的当前体验，解释行为的深层特点，能够更有效地改进产品。 网络日志可以帮我们回答很多问题，比如用户在什么时间段浏览网站；对网站的什么板块比较感兴趣；是怎样了解到网站；多少用户会转成重复...
• 流量统计方法分类
大部分的日志收集JS请求都是使用Image对象来请求的（google，baidu，Omniture等）。目前有两种方式来使用JS的Image对象，一个是document.write，这种方式将这个Image对象挂到DOM树上，这种情况下会影响整个页面的渲染，Window.Onload函数就是在所有的DOM树都渲染完成后才执行的。第二种方式是直接new一个JS的Image对象，这个JS变量就是一个独立的对象，在某些情况下会被JS的垃圾回收机制回收掉，这个概率很小，也可以采用方法来避免。
最近在线上实际使用了一些redis服务,总结下运维的相关知识.1:redis的生产机主要为2颗Cpu,8个核心,内存32G,单盘700G的Sata盘.2:存储的数据为博客系统的积分数据.积分代表是用户的发文章积分,发评论积分,登录积分,特点即每天单个用户相关数据至多增加一次,是一个典型的读多写少系统.虽然在这个项目中将redis作为内存系统使用,本质上是落地存储.3:redis版本为2.2.5,使用Hashes存储类型.原先积分系统的后端为memcachedb,对比应用...
Super Smack 是一个强大的压力测试工具，支持 MySQL, PostgreSQL, Oracle。最开始的版本是由Sasha Pachev写成，由Jeremy Zawodny在维护，而现在，是 Tony Bourke在维护，根据 Tony Bourke 的 开发 log 来看，2005-08-30 后，super smack 就已经停止发布新的版本，但这并不妨碍我们现在继续使用它(这个工具的开发者和维护者很伟大)。 安装 安装有点点麻烦，主要是编译时会出现一些问题。
Puppet在一款自动化系统配置管理的工具，它可以让你在很短的时间内对大量硬件和系统基本类似的系统，进行统一的系统配置管理。 说的简单点，就像开网吧，你需要对网吧的每一台机器安装操作系统，配置完全一样的软件，比如QQ和360，供网友上网，在系统和软件有损坏时，很简单的一个恢复操作就可以让机器回到刚刚安装好操作系统和软件的状态。 Puppet就是可以干这个事儿的，不同在于，Puppet是给网络管理员用的，而针对的系统多是*ni...
有时我们要加入大量的机器到 Cacti ，直接修改 Cacti 还是很复杂的。所以最好还是通过他本身提供的工具来实现。 Cacti 早就为我们想到过这个问题了。这些工具就在 cacti/cli 目...
著名的开源关系型数据库PostgreSQL本年度的发行版，也就是PostgreSQL 9.1的第一个beta版本，于五月二号正式出炉。而新版本所包含的许多新特性肯定会令世界上的数据库发烧友们欣喜若狂的。新特性如此之多，我们肯定不能在这篇文章中全部介绍，因此我挑选了四个比较有意思的新特性呈现给大家：事务控制的同步复制去年，PostgreSQL 9.0首次在PostgreSQL中引...
近3天十大热文
-
[657] 如何拿下简短的域名 -
[656] WEB系统需要关注的一些点
-
[17] 基于SSD的数据库性能优化
-
[17] Perl 的线程中的共享
-
[15] 新手产品经理都混哪里
-
[14] 豆瓣是啥？
-
[13] Mysql监控指南
-
[13] 产品经理的取舍之道与抽象能力
-
[13] iOS和Android设计规范备忘表
-
[13] 移动音乐产品梳理
赞助商广告
