您现在的位置：首页
--> 算法
这是一个通用的内存管理库，可以代替new delete之类。内存管理主要关注两点，一是分配、释放的速度，二是内存的利用率，也就是内存碎片问题。这两个目标是冲突的，不同的内存管理算法在两者之间取不同的平衡点为了提高分配、释放的速度，多核计算机上，主要做的工作是避免所有核同时在竞争内存，常用的做法是内存池，简单来说就是批量申请内存，然后切割成各种长度，各种长度都有一个拉链，申请、释放都只要在链表上操作，可以...
网络游戏若要有支持一个稳固的经济系统，服务器底层必须有一个可靠的数据服务。要设计出精简的数据协议可不容易。它需要保证在发生异常（可能是硬件异常，也可能是软件异常）时，不会出现物品/货币丢失，复制的问题。使用带事务的数据库是一个不错的选择，但对程序员的要求较高。程序员需要仔细考虑每个数据操作如何编写事务才是安全的，还需要考虑数据操作的异步性。这对需求变化迅速，量又比较大的游戏，做的好真的是很困难。我...
其实是对于offsetof函数的灵活应用，关于offsetof函数： #define offsetof(s, m) (size_t)&(((s *)0)->m) s是一个结构名，它有一个名为m的成员（s和m 是宏offsetof的形参，它实际是返回结构s的成员m的偏移地址. (s *)0 是骗编译器说有一个指向类（或结构）s的指针，其地址值0 &((s *)0)->m 是要取得类s中成员变量m的地址. 因基址为0，这时m的地址当然就是m在s中的偏移 最后转换size_t 型，即unsigned int。 因此，我们可...
今天，在盛大某网站注册的时候，身份证必填，但我又不想填真实身份证号码，于是随便编了串自认为合法的身份证号码，但是却马上被提示号码错误，由于响应速度极快，可以肯定不是联机校验正确性的，那也就是说第二代身份证除了大家都知道的几位表示生日和性别的规则以外，还有另外的自我校验规则。于是翻开页面源码查看，发现这段js没有被压缩，所以规则也很好懂。 就在这里给大家科普下，不知道是不是火星了，呵呵。 以下代码来自这...
《从狄仁杰的测字占卜到一淘网的Query分析之大结局》一文在淘宝搜索技术博客发表已经快一个月了，很多看客看了后给我反馈。当然大部分看客看完后会给一个看似褒奖实则中性的评论：屁股上挂暖壶----有一定（腚）的水平。部分看客看完很不爽，说刚看到“美女说不够深入，不能满足欲望”之处便戛然而止，怎么没有帅哥英雄救美，满足所有想法的预期场景出现。我以前的一个同事更是直接抨击：《狄仁杰》一文就是一篇典型的太监文-----下...
有很多理由都能说明为什么我们应该写出清晰、可读性好的程序。最重要的一点，程序你只写一次，但以后会无数次的阅读。当你第二天回头来看你的代码时，你就要开始阅读它了。当你把代码拿给其他人看时，他必须阅读你的代码。因此，在编写时多花一点时间，你会在阅读它时节省大量的时间。让我们看一些基本的编程技巧： 尽量保持方法简短永远永远不要把同一个变量用于多个不同的目的使用自描述的变量名和方法名尽可能的把变量定...
Java线程模型的优点在于能够清晰的model应用逻辑流,通过对应OS里物理线程，可以利用多个处理器,或者通过切换让CPU利用率不同的线程共享一个处理器。 但是这种把应用的逻辑线程直接搬到OS的物理线程上运行的方式(*)也存在弊端： Heavy weight，每个OS线程都需要内存和自己的堆栈等资源 Context switching，及其引起的低效率（cache污染，线程饥饿,优先级逆转..) Synchronization & lock, 需用同步访问share memory和资源，而如...
• 几个随机算法
在日常工作中，经常需要使用随机算法。比如面对大量的数据， 需要从其中随机选取一些数据来做分析。 又如在得到某个分数后， 为了增加随机性， 需要在该分数的基础上， 添加一个扰动， 并使该扰动服从特定的概率分布。本文主要从这两个方面出发， 介绍一些算法， 供大家参考。 首先假设我们有一个使用的随机函数float frand()， 返回值在(0, 1)上均匀分布。...
“机器学习”这个名词对大家来说想必不是一个陌生的词汇，特别对算法组的同学来说，工作中或多或少接触使用过这种“高科技“。对于我来说，刚来淘宝工作一个月就开始接触了机器学习，当时做主搜索功夫熊猫项目，和小致飘雪一起做交易模型，正是使用了机器学习的方法，也首次接触了treelink模型。做完那个项目后对机器学习解决问题的流程有了一定的了解，但对其内部的工作原理和...
数组的循环与分割， 利用了计算机系统的两个特点： 1. 有多块高速缓存; 2. Cpu是可以多指令并行执行（要求多条指令之间 没有数据相关性）。 在我们的例子中： 数组切分: 将1个数组切分为2个数组。 这样就能用2块高速缓存来存数据 ， 高速缓存的访问速度是内存的 10倍以上 循环展开: 我们将的步进设置为4,每次处理的数据之间 没有任何关系，这样就能并行执行起来。 数据无关性: 就是下一次计算指令不受之前执行指令的结果影响。在我...
本文的标题让我纠结了好久，不知道是connections数组合适，还是connections链表更合适；Nginx在此或多或少的注入了二者的特点，先不管是叫数组还是叫链表吧，只要能够弄明白这个connections是怎么回事就大功告成。Nginx的每个worker进程都使用一个相同的connections数组来维护每个连接。当有一个新的连接建立时，Nginx需要从这个数组取出一个slot来存放这个连接；相反，有一个连接断开时，也需要将相应的slot归还给connections数组...
这篇文章还是关于fuload项目的问题，由于压力测试的结果最后是要给出可视化统计曲线及饼图的，所以这里就涉及到数据上报时间，格式，以及绘制算法的问题。 饼图比较简单，我们这里主要...
原子操作就是不可再分的操作。在多线程程序中原子操作是一个非常重要的概念，它常常用来实现一些同步机制，同时也是一些常见的多线程Bug的源头。本文主要讨论了三个问题：1. 多线程程序中对变量的读写操作是否是原子的？2. 多线程程序中对Bit field（位域）的读写操作是否是线程安全的？3. 程序员该如何使用原子操作？
多线程队列（Concurrent Queue）的使用场合非常多，高性能服务器中的消息队列，并行算法中的Work Stealing等都离不开它。对于一个队列来说有两个最主要的动作：添加（enqueue）和删除（dequeue）节点。在一个（或多个）线程在对一个队列进行enqueue操作的同时可能会有一个（或多个）线程对这个队列进行dequeue操作。因为enqueue和dequeue都是对同一个队列里的节点进行操作，为了保证线程安全，一般在实现中都会在队列的结构体中加...
POSIX threads(简称Pthreads)是在多核平台上进行并行编程的一套常用的API。线程同步(Thread Synchronization)是并行编程中非常重要的通讯手段，其中最典型的应用就是用Pthreads提供的锁机制(lock)来对多个线程之间共 享的临界区(Critical Section)进行保护(另一种常用的同步机制是barrier)。
hash join是oracle里面一个非常强悍的功能，当做hash join时，oracle会选择一个表作为驱动表，先根据过滤条件排除不必要的数据，然后将结果集做成hash表，放入进程的hash area，接着扫描第二张表，将行的键值做hash运算，到内存的hash表里面去探测，如果探测成功，就返回数据，否则这行就丢弃掉这个是最基本的解释，实际情况中，考虑到单个进程PGA的大小，oracle不会让进程任意的消耗OS内存，hash area是有一定限制的，所以在oracl...
本文档目的在于对namenode中各种关键的数据结构进行剖析和解释，以方便更好的对namenode的各种处理逻辑和代码结构进行理解。其中包 括对namenode中Namenode和FSNameSystem的程序代码结构，FSDirectory，BlocksMap， CorruptReplicationMap，excessReplicateMap， UnderReplicatedBlocks，PendingReplictiondBlocks等数据结构的介绍。
之前用过rsync很多次，只知道可以做差异同步也没研究过原理。所谓差异同步是指只通过传输两文件的差异部分将两文件同步到一致，自己取的称谓，不知道学术术语是什么。差异同步算法中最有名的就是rsync系列了。近来研究Dropbox，想看看它的同步怎么做的，没找到官方资料，不过据推测应该用的就是rsync，于是，看看鼎鼎大名的rsync是怎么实现的吧。rsync算法要解决的问题很简单：A和B两个文件在两台服务器中，要将A同步到与B一致，要...
近3天十大热文
-
[430] Go Reflect 性能 -
[31] 正态分布的前世今生(一)
-
[17] 公钥私钥加密解密数字证书数字签名详解
-
[16] 基于HTTP缓存轻松实现客户端应用的离线支持
-
[15] osx平台上lol英雄联盟launcher启
-
[14] Joomla反序列化漏洞的查漏补缺
-
[14] 在JavaScript中什么时候使用==是正
-
[13] SSL多域名绑定证书的解决方案
-
[13] 无锁HashMap的原理与实现
-
[12] 我的git笔记
赞助商广告
