专题：数据 -- IT技术博客大学习 -- 共学习共进步！

分表优化：千万级数据的插入方法

考虑到数据优化，现将千万级数据作分表存储便与查询。

UMStor Hadapter：大数据与对象存储的柳暗花明

虽然可以列举了不少 HDFS 的缺点，不过不得不承认，HDFS 仍旧是“计算存储融合”阵营的定海神针，甚至可以说，在大部分大数据玩家眼中，HDFS 才是正统。不过，我们也在 Hadapter 上看到了“计算存储分离”的新未来。目前 UMStor 团队正主力打造 Hadapter 2.0，希望能带来更好的兼容性以及更强的读写性能。

如何在命令行中整理数据

命令行审计不会影响数据库，因为它使用从数据库中释放的数据。我兼职做数据审计。把我想象成一个校对者，校对的是数据表格而不是一页一页的文章。这些表是从关系数据库导出的，并且规模相当小：100,000 到 1,000,000条记录，50 到 200 个字段。我从来没有见过没有错误的数据表。如你所能想到的，这种混乱并不局限于重复记录、拼写和格式错误以及放置在错误字段中的数据项。

数据即代码，我和小伙伴们都惊呆了！

几个小伙伴在考虑下面这个各个语言都会遇到的问题：问题：设计一个命令行参数解析API。。。

数据的游戏：冰与火

在数据的世界里，我们看到了很多很牛，很强大也很有趣的案例。但是，数据就像一个王座一样，像征着一种权力和征服，但登上去的路途一样令人胆颤。

从数据中了解用户——数据在现有产品改版设计中的应用

通常情况下，我们可以通过用户访谈的方法了解用户需求，其实设计师还可以通过分析用户问卷调查数据以及网站页面数据等方式，了解用户需求以及用户在使用产品时遇到的问题。而且，直接通过接触用户了解到的需求有可能只是个案，为了增强客观性，通常都会通过大样本调查，从数据实证的角度，进一步更准确和客观地找到用户的普遍需求。此外，通过对数据分析结果与用户访谈所得到的定性分析结论，进行比较和综合分析，设计师也能够从不同的角度了解用户的真实需求。从用研的角度来看，交互设计包括新产品设计以及已有产品的改版设计两大类业务，笔者将分两次分别叙述在这两大类业务中，可以如何利用数据了解用户需求。本文重点讨论数据在现有产品改版设计中的应用。因考虑到商业信息保密，本文案例采用了2011年的项目，互联网产品迭代频繁，文中提到的产品页面截至目前已经有多次改版，大家只需要了解整个文章的思路即可。

从数据中了解用户——数据在新产品设计中的应用

通常情况下，我们可以通过用户访谈的方法了解用户需求，其实设计师还可以通过分析用户问卷调查数据以及网站页面数据等方式，了解用户需求以及用户在使用产品时遇到的问题。而且，直接通过接触用户了解到的需求有可能只是个案，为了增强客观性，通常都会通过大样本调查，从数据实证的角度，进一步更准确和客观地找到用户的普遍需求。此外，通过对数据分析结果与用户访谈所得到的定性分析结论，进行比较和综合分析，设计师也能够从不同的角度了解用户的真实需求。从用研的角度来看，交互设计包括新产品设计以及已有产品的改版设计两大类业务，笔者将分两次分别叙述在这两大类业务中，可以如何利用数据了解用户需求。本文重点讨论数据在新产品设计中的应用。

谁的数据：读《大数据》

时下可能用户最多的贡献内容区域就是微博了，这是用户的言论维度。最多的内容获取区域，不太好说，几个大门户都有着自己的地盘，姑且认为用户的阅读维度在门后吧。最明显的兴趣维度，其实是在搜索引擎，缺少兴趣你就不太可能在那个框里输入什么关键词。最后一个：消费维度，基本掌握在几个大型电子商务手里。从言论到阅读到兴趣到消费，这四大维度散落在不同的公司里，事实上我们的确可以承认将这些数据拼起来，可以得到相对最完整的人的维度，但很难想像他们会在数据层面进行合作。人的阅读和消费有没有关系？当然有，中间的关系是什么？那就不是那么容易获得了。算法建模倒是其次，数据采集就是个大难题。

网盘背后的数据消费需求

网盘的需求背后是对数据的需求。网盘的产品形态对用户并不重要，这类产品之所以存在，大部分原因是因为操作系统之前没有面向多设备和云端设计。随着时间的推移，网盘这个行业会慢慢走向基础层，最后还原成云存储API(比如iCloud)。而Dropbox正是看到这点，将自己嵌入到了系统中去。这造就了Dropbox的成功，但也注定了Dropbox的结局(如果不调整的话)。

三种东西永远不要放到数据库里

我已经在很多演讲里说过，改进你的系统的最好的方法是先避免做“蠢事”。我并不是说你或你开发的东西“蠢”，只是有些决定很容易被人们忽略掉其暗含的牵连，认识不到这样做对系统维护尤其是系统升级带来多大的麻烦。作为一个顾问，像这样的事情我到处都能见到，我还从来没有见过做出这样的决定的人有过好的结果的。图片，文件，二进制数据既然数据库支持BLOB类型的数据，把文件塞进BLOB字段里一定没有错了！？错，不是这样的！别的先不提，在很多数据库语言里，处理大字段都不是很容易。把文件存放在数据库里有很多问题：对数据库的读/写的速度永远都赶不上文件系统处理的速度数据库备份变的巨大，越来越耗时间对文件的访问需要穿越你的应用层和数据库层这后两个是真正的杀手。把图片缩略图存到数据库里？很好，那你就不能使用nginx或其它类型的轻量级服务器来处理它们了。

轻触，数据美丽的外衣

在这个信息爆炸的时代，借助图形化的手段，高效和清晰的交流信息是数据可视化的目的所在，作为一种信息载体，她拥有对数据的多种表现形式，可以是美丽的且带有趣味性的，以前对于数据在图形上表现只是停留在饼图、柱状图和直方图等简单的视觉表现形式上，为了更加有效的传达数据信息，帮助用户理解引起共鸣，依附与目前多媒体的科技手段，可视化的表现形式从平面到三维，媒介形式从纸张到网络以及视频，在互动性及时效性上都不断发生着变化。

策略与数据――分析和优化的阴阳太极

当一个公司的策略影响到前面价值路径中的所有领域之后，一个有趣的事情就会发生。起初，数据会开始引导并优化业务的战术执行层面。然后，你将看到数据在不断形成或影响你的业务策略，并且能从中得到很多洞见。数据和策略就如同中国的阴阳太极。两个领域互相平衡，互相影响，互相转化又互相滋养。

我们需要什么样的网站数据

每家公司都有各自不同的需求，我需要的是什么？眼花缭乱的统计系统，该如何取舍？流量概况今天的流量是增了？是减了？幅度是多少？现在所调用的统计系统，能否很方便的公开一个概况给广告主查询？全景统计、百度统计目前没有相关功能。Google统计实在难以共享，就算共享了，没接触过的人也不太容易看明白。而CNZZ目前只能公开全部的信息，这其中包含了站长引流量所用的“搜索关键词”以及重要的“推介路径”，这些我们不想让...

如何对统计数据进行分析

其实，对于统计数据没有必要非得这样切割清楚，更不应该是非此即彼的选择。统计数据经过认真的分析，可以为我们提供工作决策的有效帮助，这一点是毋庸置疑的。但如果凡事都依照统计数据来做事情，淹没在数据的海洋之中去追求形式，那么工作就会陷入极度的僵化之中而不可自拔。

海量数据面试题举例

大数据量的问题是很多面试笔试中经常出现的问题，比如baidu google 腾讯这样的一些涉及到海量数据的公司经常会问到。下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。

有关品牌微博的一些数据

从本文可以看出口碑的力量，也能间接反映微博营销的价值。原文

数据与理论结合，让交互设计更专业

Pay.taobao.com是淘宝卖家订购增值服务的平台，但该平台的可用性和操作体验欠佳，导致客服部门收到非常多来自卖家的订购服务咨询，压力很大，需要在系统层面解决此问题。因此发起了订购流程体验优化项目，对pay.taobao.com进行前后台改版。

统计数据背后的真相 ― 读《How to lie with statistics》

　　在当今互联网普及的社会中，几乎每一个人都会和统计数字接触，例如各种经济数据、证券信息、房地产投资可行性报告、公司财务报告、以及与互联网相关的各种页面数据点击量、网页流量、用户量统计、用户趋势分析报告等；数据分析正在以从未想象过的方式影响着我们的生活；然而大量的统计数据、统计资料由于主、客观的原因被滥用，很难起到描述事实、传递信息的作用，相反，往往还对读者形成误导，与此同时带来的问题是越来越多...

UED团队建设：以数据为基础的设计

数据，是每个公司都会关心的东西，至少到某一个阶段来说，数据有时候会被“神化”，比如伟大的Google公司，就是一个很典型的数据为一切的公司。用数据来给我们作为设计导向也是一种很普遍的现象。很多时候设计师对数据便显得无可奈何，因为很多时候数据会成为创新设计师的绊脚石。看看前Google首席视觉设计师Doug Bowman的离职文章，就能看出来鲍曼对于Google用数据作为设计基础产生的愤慨。数据就像一把双刃剑，有时候我们能用...