ywdblog -- IT技术博客大学习 -- 共学习共进步！

• 基于Squid的视频业务日志分析

最近分析了下基于Squid的视频业务的日志,发现一些比较不错的内容:1:很多视频网站或者静态类网站都用Squid作为前端的缓存.其实对于大容量对象来说,内存命中和磁盘命中对于用户的下载速率影响不大,但是需要基于一个前提:磁盘的吞吐能力处于可接受范围之内.一般I/O等待不要超过30.包括缓存命中和未命中下载速率也影响不大,因为内网的带宽是足够的(最终还是取决于磁盘性能).总体来说,视频类的静态服务取决于磁盘的读写性能.2:影...

• 如何提升视频服务质量

1:智能IP调度IP库提供了IP地址(段)同地理、ISP、结构等信息映射关系的一组数据。通过用户端的IP和IP库进行比较更加精准的定位用户.从统计的数据来看10%的用户下载速分率小于100KByte/s.对于实际的IP调度可能要根据用户实际的网络情况进行不断的调整.2:码率大小码率就是数据传输时单位时间传送的数据位数,一般用单位是kbps即千位每秒.码率分为固定码率和可变码率.码率和清晰度是成正比的.提升码率对于视频容量和带宽都具有较...

• 使用Squid缓存视频

视频的Cache层是使用Squid进行服务的,当然对于这样的缓存服务也有人使用Varish或者Nginx的Proxy Cache.但是经过一段时间的使用和了解,Squid确实有其强大指出,尤其在反代理这个方面.包括还有很多成熟的功能模块,对于视频这样重网络I/0和大文件存储的应用来说,某些参数的设置和模块确实比较重要.1:视频拖动模块支持视频的拖动,这个其实需要二次开发,但是应该不难.2:视频业务一般都是做防刷的,一般通过变化URL进行控制,而Squid...

• Nginx+FastCgi+Php 的工作机制

近半年一直在做服务迁移的事情,现在遇到一个问题,需要将WebServer从Nginx替换为Apache.今天查阅了相关资料:Nginx+FastCgi+Php 的工作机制.FastCgi是通讯协议,可以通过Unix套接字或者Tcp进行通讯.Nginx内置基本模块FastCgi模块(控制缓存区大小等功能)Nginx通过FastCgi技术和外部的服务或者工具一起工作.Php自己能够运行一个Fastcgi应用程序(php-fcgi)..Nginx通过FastCgi协议将请求发送给Php Fastcgi应用程序执行编译Php的时候...

• redis运维的一些知识点

最近在线上实际使用了一些redis服务,总结下运维的相关知识.1:redis的生产机主要为2颗Cpu,8个核心,内存32G,单盘700G的Sata盘.2:存储的数据为博客系统的积分数据.积分代表是用户的发文章积分,发评论积分,登录积分,特点即每天单个用户相关数据至多增加一次,是一个典型的读多写少系统.虽然在这个项目中将redis作为内存系统使用,本质上是落地存储.3:redis版本为2.2.5,使用Hashes存储类型.原先积分系统的后端为memcachedb,对比应用...

• 读高性能Mysql-操作系统和硬件优化

这三天看了高性能Mysql这本书的第七章-操作系统和硬件优化. 至于为什么看这章节,主要是因为最近一直在看操作系统原理这本书,是想通过了解具体的软件设计(比如Mysql)来进行思路的整理. 这章节不仅仅是优化,本身Mysql的设计也是借鉴了很多操作系统原理的知识,可以说假如了解了Mysql,那么学习其他的就可能融会贯通. 其实以前也看过这章节,但是到目前为止,基本上全忘了,所以说这有二方面原因: 1:不要假学习. 2:基础理论知识理解...

• 高性能web服务器-读书笔记

进程:Cpu能够处理多个请求,在于操作系统通过多执行流体系设计使得多个任务可以轮流使用资源.多执行流的一般实现是进程,多进程的好处首先在于Cpu时间的轮流使用,另外对于Cpu计算和I/O(磁盘和网路I/O)操作进行了重叠大多数进程的时间消耗在I/O操作上.DMA技术可以让Cpu不参与I/O操作的全过程,比如进程通过系统调用,使得Cpu向网卡等设备发出指令,然后进程挂起,Cpu资源释放,等待I/O完成操作后通过中断告之进程重新就绪.进程有自己...

• I/O模型-读书笔记

I/O模型: I/O操作需要内核系统调用来完成,系统调用需要Cpu来调度,而Cpu的访问速度相对于I/O来说比较快,所以Cpu不得不浪费Cpu时间来等待慢速I/O操作. 通过多进程方式来充分利用CPU资源,当还是希望让Cpu花费少的时间在I/O操作的调度上,这样就可以有更多的Cpu来完成I/O操作. 很多技术和策略都围绕如何让高速的Cpu和慢速的I/O设备更好的协调工作. I/O操作主要是网络数据的接收和发送,以及磁盘文件的访问.归纳为多种模型称为I/O模...

• 冷热数据

这一周在考虑冷热数据的二期，分析了多个维度的数据，感觉有点乱，记录一下。我们的后端存储主要依赖于数据库(博文)，一般根据业务和功能进行分库/分表的拆分，来保持数据库实例的大小.在现实中遇到一系列的问题：1)文章信息,包括文章内容都存储在一块.所以单个数据库记录非常的大.2)理论上来说当数据库量越来越大的时候,理论上可以分库分表进行进一步分摊,但是实际上这个操作影响极大,包括程序的调整,服务的暂停.从目前我们的...

• 系统架构的一些思考

很久没更新博文了,主要还是觉得自己的思维没有进一步提高,今天简单记录下,以前总是以正向的方式去思考问题,其实对自己进行一些反向的思考收获可能更大.修改了下原文,原来有些话说的有点太感性,希望对于看到的人有帮助.1:对于Squid的使用思考缓存服务目前有很多种,可能并没有很多人意识到为什么用Squid或者Memcached.他们解决的应用场景其实不一样的.期望用缓存解决所有复杂的事情,其实带来的管理代价是无穷的.通过最近的分析发...

• WEB系统需要关注的一些点

今天看了2个ppt:Velocity 2010 Highlights和Scalability, Availability & Stability Patterns强调性能是网站第一要素,转换率,弹出率,页面PV均有变化.你通过何种途径了解你的系统,什么样类型的产品,目的.监控的重点重要的是时间和关键路径.尤其强调了对人的优化,所以后续的优化需要针对用户的感觉(反过来说明技术并不是非常重要).强调了运维人员的重要,运维核心的二个工作是自动化,你对你管理机器,进行的变更均需要记录,备...

• AWK介绍

1:模式和操作awk脚本由模式和操作组成,模式包括正则表达式,关系表达式,模式匹配表达式,模式,BEGIN,END.操作由命令,函数,表达式组成,之间由分号分隔,并位于大括号内,主要包括变量和数组赋值,输出命令,内置函数.2:环境变量比较有用的环境变量有$0,NF,NR,RS.有效的改变环境变量的值可以由很多作用3:记录和域很关键的二个名称,记录每一个以换行符结束的行称为记录.4:变量awk中,变量不需要定义就可以直接使用,变量可以赋值和修改.5:...

• 读《做人,做事,做架构师》

昨天领导提了下前端架构的事情,虽然前端我有意识的也在了解,现在看来需要加快步伐去做这件事情了,看了下周爱民老师关于<架构,框架,库>的视频和相关资料.表达的境界已经相当高了,摘抄了一些特别有感悟的点以共勉.架构师是一个职务,表示职务和工作,职务代表了你有一定的推动权和资源,工作代表你需要去做的事,个人特性决定了你在哪个位置，而技术技能只是做事实施的必需.从这一描述看出架构师不是技术高超的人,更看重的是个...

• 谈冷热数据

web产品最重要的核心单元无疑是数据,而主流的存储容器则是Mysql,对于快速增长的数据,其性能可能会呈指数级的递减,为解决该问题,主流的做法基本是水平和垂直拆分,根据数据的特性将数据进行库和表级的拆分,实际上的理论还是数据分割,但是终有一天你会发现单表的数据还是越来越大,也许你可以说我再拆分,可拆分的代价可能就是部署多次方的辅库.存储容量可能会让你很吃惊,而且这样的做法有没有人真正去想有用吗?很多人说,我们用缓...

• 读腾讯大讲堂

很久没更新博客了，这二天看了腾讯大讲堂中的纯技术类资料,虽然资料大部分是08年以前的,但是还是有很多可借鉴的意义，相对于国外的技术资料来看,内容更加符合我们的阅读习惯,思考下最近半年的工作,很多思路有共同点.对于腾讯来说,有一套强大的监控平台,各类的数据分析平台,可供开发,运维,产品使用,包括细化到极致的cgi监控平台,也通过第三方的工具检测进行不同地域的测速,相对我们来说，同样也有基调这样的系统,可对不同的ISP...

• 程序员应该是什么样的

昨天工作中遇到一个重大问题,理了下各个过程,发现一些很重要的问题1:但人人处于极端压力的情况下,判断力尤其重要,尤其当发现问题可能是因为自己产生的,可能会出现一种恐惧心理,带来的后果就是解决方法可能是不理的,并且没有解决根本的问题.2:我的领导虽然是产品总监,但以前是做技术的,但是昨天调试修改了一夜的程序,遇到技术问题的时候有着极强的自信,坚信一定可以解决,有着极强的意志力,而且非常注意细节.起到了表率作用.可以...

• 网站性能监测工具Boomerang

今天一上班就发现Yahoo发布了网站性能监测工具Boomerang,这也是最近梦寐以求的一个工具. 对于服务器端的性能检测工具有很多,应用程序级的有xdebug,系统级的有iostat,vmstat,网络级的有ifconfig,很快能够发现服务器端的瓶颈和潜在的一些问题,包括分层架构的服务,网络响应时间也是可检测的. 一直苦恼的就是客户实际的运行状况,客户端的情况比较复杂,包括浏览器的类型,用户的DNS解析,用户的网络情况,用户页面的实际下载时间,js渲...

• 淘宝图片存储架构

今天中午花一小时看了下章文嵩博士写的<淘宝海量图片存储与CDN系统>,没有做过大容量的存储系统,也没有做过分布式的应用,只是从学习的角度去思考下未来可能学习的方向和一些点.对比公司的图片服务,其实在技术实现上都有共性:1:imageserver:(1)缓存和图片处理具体使用apache和nginx都无所谓,imageserver的负载在于图片的转换,以及部分中间缓存的读取.GraphicsMagick可以未来尝试使用,另外为提高imageserver的命中率通过lvs...

• 前端第三方服务优化策略

对于互动类产品,性能是最重要的,最近半年也一直致力于优化.说到优化,不能为了优化而优化.需要找到最影响性能的点.对于大型网站,对于server端的优化是有限的(相对来说),因为这涉及到底层架构改造,从时间和效果来看,并不能立竿见影.服务器端的优化更倾向于伸缩性和可扩展性,那么最利于优化,最见效果的优化属于前端的优化. 对于博客这样的内容提供网站,提供了外部组件的嵌入,提供了各种各样的布码.简单的来说,就是页面元素过多...

• 在国内最大一个博客社区工作四周年

2009/06/06-2010/06/06,我在公司度过了整四年.一直在目前的部门工作,甚至从没临时去过别的部门.除了领导,我的服役时间已经最长了.在这四年的时间,我从一个内向的人变成了一个性格变化无常的人(仅仅在部门中).在这四年的时间,我尽力了三个阶段:抢着做,不爽/不甘的做,真正独立去做,每个阶段都有很多心酸.在这四年的时间,我看到了很多事情,见证了很多人的离职,可自己从没想过要走.在这四年的时间,学习了很多处理问题的能力,得到了...