您现在的位置：首页 --> 查看专题： 过滤
今天，有个同学向我咨询大数据的一些面试题，其中一类比较有代表性比如判断是否在集合内，比如10个url，判断一个url是否在集合内，还比如有个1~100万个连续无序数字，随机取出里面的N个，求这N个数字等等。这类问题都需要一个大的数据集合，而且每个数据单元都很小，比如一个int 。很大程度上，这类问题可以用Bitmap或者Bloomfilter来做，基本思想就是开辟一块大内存，然后利用一个byte里的8个bit来实现按位标记元素。因为地址空间都是连续的，所以查找都是O(1)的。这里需要说的是，BloomFilter判断属不属于集合，在理论上是存在误判的，如果要求数据100%正确，则不要使用BloomFilter。
主要对一般docId为下标对应域值的结构做了改造，如果大家有更好的建议，欢迎大家提议和拍砖。 主要思路： 生成一个下标为 域 Term 遍历的Postion 且值为域值的数组: A[p]=field value 因为域值并不会像docId一样为唯一键递增，所以在创建的时候 初始化: Int [] A = new Int[reader.maxDoc()] 结束的时候如果 p
让用户输入HTML的内容是很常见的需求，但是这有一定危险性，可能会带来XSS等问题，因此一般大家都要对HTML进行一定过滤。这个过滤并不容易，如<script />元素自不必说，其他还有如onload或onclick事件，甚至一个普通的<a />元素，它的href中也可以执行JavaScript代码。以前我一直有一段用于过滤的C#实现，一直没有出篓子，似乎也挺靠谱，但最近不知怎么的却发现了问题，可能是C & P出错，也可能原本就有问题，我没有太去关心。但问题总需要解决，于是我想，不如换个角度，基于白名单进行过滤吧。
select distinct可以去掉重复记录。 disctinct将重复的记录忽略，但它忽略的是完全一致的重复记录，而不是其中某个字段重复的记录，或者说，distinct查询一个字段时好使，多个字段就不好使。所以用聚合函数和group by实现注意：group by只能跟聚合函数搭配使用
起因 前一段时间和其他系统集成, 另外一个系统对某个参数有一个限制,需要将字符串中的特殊字符过滤掉, 由于需要过滤的字符是对方定义的, 所以对方直接把他们系统中的过滤的代码给我了
很少直接讲工具，但是其实工具的“科普贴”总是很受欢迎，而且正好也是一个朋友们不断提问的话题，所以觉得还是很有必要发一篇文章。这个文章是直接介绍几个实用的GA过滤设置，除了这个文章之外，如有更多时间，近期还想出另一篇文章会跟大家聊一聊GA的高级过滤功能（Custom Filter中的Advanced Filter），这个相对更加复杂一些。所以，这篇文章是初级篇，下一篇文章是高级篇。 Google Analytics的过滤功能简介 ...
[ 共6篇文章 ][ 第1页/共1页 ][ 1 ]
近3天十大热文
-
[427] Go Reflect 性能 -
[13] [译]Google Chrome中的高性能网
-
[12] 精于图片处理的10款jQuery插件
-
[11] Linux Used内存到底哪里去了？
-
[11] Mac下.apk的反编译
-
[10] rsync同步的艺术
-
[10] Linux常用系统信息查看命令
-
[10] webapp网页调试工具Chrome Dev
-
[10] vim入门,进阶与折腾
-
[10] 个人开公司的流程，以后用得着
赞助商广告
