您现在的位置：首页
--> 阿里巴巴中间件
利用MapReduce利器作开发，不论从思想上还是技能上都是新的体验。以下罗列下如何利用eclipse调试MR任务。 (本人环境：hadoop 1.0.2，部署在linux上，本地windows开发) 1、安装hadoop。 先在linux上安装好hadoop，为更接近线上环进，我的是安装成Cluster 注意要远程访问相关端口，conf/mapred-site.xml中localhost:9001中需要换成ip加端口。 sh bin/start-all.sh启动，先按文档命令行跑一下example的wordcount。
• Solr调优参考
共整理三部分，第一部分Solr常规处理，第二部分针对性性处理，前者比较通用，后者有局限性。务必根据具体应用特性，具体调节参数，对比性能。第三部分 solr查询相关的 具体应用需要全面去把控，各个因素一起起作用。
1. like %keyword 索引失效，使用全表扫描。但可以通过翻转函数+like前模糊查询+建立翻转函数索引=走翻转函数索引，不走全表扫描。 2. like keyword% 索引有效。 3. like %keyword% 索引失效，也无法使用反向索引。
管道模式是将一系列的处理流引进一个管道装置，使用管道装置中提供的过滤器组对数据作过滤加工处理的方式。
solr从1.4版本开始，提供了一种字段类型TrieField（TrieLongField、TrieIntField等），用于范围查询，性能比普通的数值类型要快10倍。为什么会快那么多呢？网上找不到相关资料，通过分析源代码，大概了解了其原理，给大家分享下。 TrieField字段配置 其中precisionStep代表字段值分段保存的时候，截断精度的大小。一般来说，其值越小，索引大小越大，查找速度越快。
在高性能编程时,经常接触到多线程. 起初我们的理解是, 多个线程并行地执行总比单个线程要快, 就像多个人一起干活总比一个人干要快. 然而实际情况是, 多线程之间需要竞争IO设备, 或者竞争锁资源，导致往往执行速度还不如单个线程. 在这里有一个经常提及的概念就是: 上下文切换(Context Switch). 上下文切换的精确定义可以参考: http://www.linfo.org/context_switch.html. 下面做个简单的介绍. 多任务系统往往需要同时执行多道作业.作业数往往大于机器的CPU数, 然而一颗CPU同时只能执行一项任务, 如何让用户感觉这些任务正在同时进行呢?
众所周知, CPU是计算机的大脑, 它负责执行程序的指令; 内存负责存数据, 包括程序自身数据. 同样大家都知道, 内存比CPU慢很多. 其实在30年前, CPU的频率和内存总线的频率在同一个级别, 访问内存只比访问CPU寄存器慢一点儿. 由于内存的发展都到技术及成本的限制, 现在获取内存中的一条数据大概需要200多个CPU周期(CPU cycles), 而CPU寄存器一般情况下1个CPU周期就够了. CPU缓存 网页浏览器为了加快速度,会在本机存缓存以前浏览过的数据; 传统数据库或NoSQL数据库为了加速查询, 常在内存设置一个缓存, 减少对磁盘(慢)的IO. 同样内存与CPU的速度相差太远, 于是CPU设计者们就给CPU加上了缓存(CPU Cache).
典型的CPU微架构有3级缓存, 每个核都有自己私有的L1, L2缓存. 那么多线程编程时, 另外一个核的线程想要访问当前核内L1, L2 缓存行的数据, 该怎么办呢? 有人说可以通过第2个核直接访问第1个核的缓存行. 这是可行的, 但这种方法不够快. 跨核访问需要通过Memory Controller(见上一篇的示意图), 典型的情况是第2个核经常访问第1个核的这条数据, 那么每次都有跨核的消耗.
测试方法: 对一个含16个Integer/String/Date类型字段的扁平对象作序列化/反序列化，单机多线程循环执行，用循环一定次数之后sleep(1)控制频率，每隔1秒统计一次执行次数，并观察CPU/LOAD/内存等指标(因内存恒定开销，忽略掉)。
• 简约设计
写下这个标题，那么首先得要明确什么叫简约。简约就是让用户操作简单，让用户更快的达到自己的目的。一个产品在于解决一个需求，如何让用户最好的完成需求就成为一个产品经理首先得要解决的问题。 那么在日常工作中，我们又有什么可以做的呢？怎么来让产品变得更简单呢？ 在《简约至上》里面有四种策略，但是有的东西太高级了，在平时的工作未必能够用得上，所以我自己来提炼一下，看看日常工作中能够遇到并且可以解决问题的方法。 设计有四种策略，分别是删除、组织、隐藏以及转移，下面分别详细说明： 1、删除：删除是一个让人纠结的话题，做出来的东西而且是花了大量力气去做出来的东西，我们怎么忍心去删除，删除一个功能和决定做一个功能需要同样的勇气和决心。 那么那些功能需要删除呢？
MINA网络通信框架 基本介绍： Apache MINA 2是一个开发高性能和高可伸缩性网络应用程序的网络应用框架。它提供了一个抽象的事件驱动的异步API，可以使用TCP/IP、UDP/IP、串口和虚拟机内部的管道等传输方式。Apache MINA 2可以作为开发网络应用程序的一个良好基础。 Mina 的API 将真正的网络通信与我们的应用程序隔离开来，你只需要关心你要发送、 接收的数据以及你的业务逻辑即可。 mina的基本架构： 在图中的模块链中，IoService 便是应用程序的入口，相当于我们前面代码中的 IoAccepter，IoAccepter 便是 IoService 的一个扩展接口。IoService 接口可以用来添加多个 IoFilter，这些 IoFilter 符合责任链模式并由 IoProcessor 线程负责调用。
设计模式中的状态模式 这是标准的状态模式.其中Context管理所有状态,而每个状态都是自己的类,而状态的流转逻辑由状态自己执行. 然后完整的状态模式实现太过”重”,而且状态流转的描述在代码上也不会是一目了然.所以我对状态模式进行了简化和优化.使其很”轻”,易于使用和实现,而且对于状态流转在代码上也能一目了然.所有的流转逻辑都能在一屏上显示出来.
首先我们来了解一下hashcode，什么是hashcode？有什么作用？ hashcode其实就是散列码，使用hashcode使用高效率的哈希算法来定位查找对象！ 我们在使用容器来存储数据的时候会计算一串散列码，然后将数据放入容器。 如：String s =“java”,那么计算机会先计算散列码，然后放入相应的数组中，数组的索引就是从散列吗计算来的，然后再装入数组里的容器里，如List.这就相当于把你要存的数据分成了几个大的部分，然后每个部分存了很多值， 你查询的时候先查大的部分，再在大的部分里面查小的，这样就比先行查询要快很多！ 一个对象的HashCode就是一个简单的Hash算法的实现,虽然它和那些真正的复杂的！Hash算法相比还不能叫真正的算法,但如何实现它,不仅仅是程序员的编程水平问题, 而是关系到你的对象在存取时性能的非常重要的问题.有可能,不同HashCode可能 会使你
最近一直在读twitter开源的这个分布式流计算框架——storm的源码，还是有必要记录下一些比较有意思的地方。我按照storm的主要概念进行组织，并且只分析我关注的东西，因此称之为浅析。 一、介绍 Storm的开发语言主要是Java和Clojure，其中Java定义骨架，而Clojure编写核
所谓兵马未动，粮草先行，准备将storm用在某个项目中做实时数据分析。无论任何系统，一定要有监控系统并存，当故障发生的时候你能第一个知道，而不是让别人告诉你，那处理故障就很被动了。 因此我写了这么个项目，取名叫storm-monitor，放在了github上 https://github.com/killme2008/storm-monitor 主要功能如下：1.监控supervisor数目是否正确，当supervisor挂掉的时候会发送警告。2.监控nimbus是否正常运行，monitor会尝试连接nimbus，如果连接失败就认为nimbus挂掉。3.监控topology是否正常运行，包括它是否正常部署，是否有运行中的任务。
N多次有过给自己前半段实习经历写个总结的想法，不过总是因为自己的懈怠而搁置，随着实习整整半年，加年终临近，终于提笔开始了对自己收获的一个全面总结。纠结了一下题目是应该叫“实习半年总结”呢，还是应该叫“年终总结”，思考良久，感觉前半年在学校的收获似乎可以忽略不计，那好吧，那就选择前者吧，故事的起点就定格在 2011.06.29 ，我到淘宝的第一天。 在故事开始之前，还得说说应聘淘宝的过程，这件事得感谢下我的女朋友...
这段时间来，也在和公司里的一些同学交流使用zk的心得，整理了一些常见的zookeeper问题。这个页面的目标是解答一些zk常见的使用问题，同时也让大家明确zk不能干什么。页面会一直更新。 客户端 1. 客户端对ServerList的轮询机制是什么 随机，客户端在初始化( new ZooKeeper(String connectString, int sessionTimeout, Watcher watcher) )的过程中，将所有Server保存在一个List中，然后随机打散，形成一个环。之后从0...
String对我们来说太熟悉了，因为它无处不在，更因为用String可以描述这个世界几乎所有的东西，甚至于为了描述精确的数值都需要String出马（因为计算机眼中的二进制和人类眼中的十进制间总有那么点隔膜）。因为熟悉而变得简单，也容易被忽略。今天记录一下关于String的容易被忽略的两个问题。 字符串重用――节省内存 因为字符串太多，如果能够重用则能够节省很大的内存。首先看下面一个例子： String string1 = “HEL...
ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得zookeeper能够应用于很多场景。网上对zk的使用场景也有不少介绍，本文将结合作者身边的项目例子，系统的对zk的使用场景进行归类介绍。 值得注意的是，zk并不是生来就为这些场景设计，都是后来众多开发者根据框架的特性，摸索出来的典型使用方法。因此，也非常欢迎你分享你在ZK...
目前在公司内部使用ZooKeeper的地方越来越多，应用大多喜欢自己部署一套zk环境进行使用。考虑到zk的高可用，并且一套zk集群至少3台机器，那么每个应用，尤其是一些非核心应用都自己去部署一套的话，对资源利用率很低。另外，随着ZK容灾的提出，单套ZK集群使用的机器量会更大，运维人员开始对这个情况担忧，强烈希望能够合并ZK集群。 ZK集群合并使用本身并没有太大的难度，问题在于应用方是否愿意大家共用一套ZK...
近3天十大热文
-
[747] WEB系统需要关注的一些点 -
[38] 如何拿下简短的域名
-
[22] 移动音乐产品梳理
-
[16] 豆瓣是啥？
-
[16] Chrome开发者工具的小技巧
-
[13] 内存的惰性初始化
-
[12] 为什么工程师会造出蹩脚的产品
-
[12] 这些反人类设计，你肯定也碰到过
-
[12] Spark性能优化——和shuffle搏斗
-
[12] sns视觉设计分享
赞助商广告
