Linux -- IT技术博客大学习 -- 共学习共进步！

• linux 处理两个文件的并集,交集,计数

• linux上ext2文件系统中，用debugfs来恢复被删除的文件

如果你不小心用rm -rf xxx删除了文件或者整个目录，在ext2文件系统上是可以恢复的。因为文件数据没有被实际删除，只是索引被删除了，文件被误删除之后，应该马上停止创建、修改等文件操作，因为他们有可能会覆盖以前被删除文件所占用的磁盘空间，这样就没办法恢复了。

• 在Linux下使用ftp命令

1. 连接ftp服务器格式：ftp [hostname| ip-address]a)在linux命令行下输入：ftp 192.168.1.1b)服务器询问你用户名和密码，分别输入用户名和相应密码，待认证通过即可。2. 下载文件下载文件通常用get和mget这两条命令。

• GNU工具箱

内容摘要：GNU很推崇“工具箱”哲学：很多复杂的问题都可以通过几个更简单的工具通过一定的组合加以解决的。

• Yum 下载缓慢？

yum下载缓慢？那么 yum -y install yum-fastestmirror 然后再试。是不是快了好多啊。

• 打开多个文件：linux ulimit max open files

有时候在程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。

• Linux date 命令获取某日期的前一天

最近需要写个 shell script，给定一个日期参数，它要得到该日期的前一天，然后做剩下的事。执行的时候就是这样： # ./foo.sh 2009-03-01 初看，这个问题有些棘手。最原始的办法是写个比较繁琐的函数，知道每个月分别是多少天，还要处理一下闰年的情况――这也有点太繁琐了，呵呵。稍微看一下 date 命令，就发现利用它可以很方便的写出一个非常 stable 的函数。date 可以通过 -d 指定一个日期，然后用指定的格式输出。-d 不仅可...

• 使用Perl的HTML::TreeBuilder::XPath来解析网页内容

强大的Perl中,有超级多强大的模块,让我们不在需要重复的发明轮子.下面这个就是一个强大的模块.HTML::TreeBuilder::XPath.它能象xml一样解析网站.怎么使用就不细讲了,如下,见实例,我是从alexa.com网站...

• perl中神奇的split

今天和群中的朋友聊到perl的split,感觉它还是很容易让新人误会.但有很多时候,如果数据是固定标记来分隔,用他比使用正则可是方便多了. 为什么讲perl的第三个参数很神奇啦.主要在于split的第三...

• 深入Perl的expect

Perl实在大方便了,如果用它来玩expect,是相当的好,不用在学一次expect的语法.只要了解perl就行了. 下面是我看官方的文章还有自己使用中总结的一些经验.呵呵,我有新的心得就会来更新的….

• vim的复制粘贴小结

用vim这么久了，始终也不知道怎么在vim中使用系统粘贴板，通常要在网上复制一段代码都是先gedit打开文件，中键粘贴后关闭，然后再用vim打开编辑，真的不爽；上次论坛上有人问到了怎么在vim中使用系统粘贴板，印象里回复很多，有好几页的回复却没有解决问题，今天实在受不了了又在网上找办法，竟意外地找到了，贴出来分享一下。如果只是想使用系统粘贴板的话直接在输入模式按Shift+Inset就可以了，下面讲一下vim的粘贴板的基础知识...

• ps 命令常见用法

1. 查询指定pid的所有子进程ps u --ppid 153922. 查询指定名字的所有进程的pidps -C httpd -o pid注意： -o pid 不能与u同时出现3. 查询所有进程的ppidps ax -o ppid 4. 查询所有进程ps auxps -ef5. 查询属于指定进程组的所有进程ps -s 153926. 查询指定有效用户ID的所有进程ps u -u 535 7. 查询指定有效用户名的所有进程ps U junjie8. 在默认显示选项的基础上显示ppidps ax -O ppid如果要将ppid列命名为parent，则：ps ax -O pp...

• 为什么重复free()比内存泄漏危害更大

C程序设计中，内存操作相关的错误可以说是最常见，同时也是非常隐蔽的一类错误。这类错误往往导致程序莫名其妙地崩溃、耗尽系统资源，或是形成严重的安全弱点。在 FreeBSD，以及多数其他 BSD 派生的系统中，重复 free() 在默认情况下都会导致 C 函数库调用 abort() 终止程序。除了 malloc(3) 函数族本身的设计之外，这也是一项非常重要的安全特性。与此相反，包括 *BSD 在内的多数系统的 C 函数库并不对堆进行审计，也就是说，从 A...

• NULL指针引用和内核bug的利用

总算是发公告了，可以说具体的事情了。FreeBSD昨天发布了2项安全公告和1项Errata Notice：SA-09:13.pipe、SA-09:14.devfs和EN-09:05.null。两个安全公告修正的是同一类问题，也就是我们常说的多线程程序中的竞态条件（Race Condition）；EN-09:05.null则是增加了一个使这类问题不再那么容易被利用达到特权提升目的的功能，但默认并不启用。在 C 程序中，NULL 指针是一项很有用的特性。NULL有很多功能，例如：表示链表结束，或指针...

• 另外一种DSR结构

dawnh在之前的人肉traceback中提到了另一种DSR结构。即：服务器端将虚拟IP绑在lo0上（子网掩码为/32）；----确保服务器收包、不广播ARP；负载平衡设备接Internet的网口接路由器进来的VLAN；（"VLAN-Internet"）----从Internet进入的包发到负载均衡设备上；负载平衡设备的内网网口能够到达服务器；（"VLAN-Incoming"）----负载均衡设备将请求根据负载均衡的条件路由到VLAN-Incoming上的服务器；路由器提供一个绑定某一内网网址...

• 解释一下DSR结构中服务器IP地址的配置

因为有人在我前一篇blog《使用DSR模式实现单IP服务冗余》里提了个问题，这里解释一下。DSR比较常见的两种配置，一种是我之前文章中提到的禁止外网网卡ARP的方法，另一种是把虚拟IP绑定到lo0上。这两种方法各自有一些优缺点。一般来说，我喜欢用前一种方法。实现DSR结构的关键是，通往Internet路由器的那个网络上，只有负载平衡设备在网络上宣示虚拟出来的那个IP的MAC地址，这样，当请求进来的时候，数据会发到负载平衡设备，而不是...

• ZFS实现快速部署（作弊条）

FreeBSD从8.0开始支持从ZFS引导系统，因此，可以使用ZFS的快照功能来实现快速部署。新机器使用LiveFS启动，Fix it，CDROM。kldload /dist/boot/kernel/nullfs.komount_nullfs /dist/boot /bootkldload tmpfskldload zfs如果需要，此时用dd抹除硬盘内容，例如 dd if=/dev/zero of=/dev/da0 bs=1m count=1gpart create -s gpt da0（重复此步直到所有硬盘皆包含GPT分区表）gpart add -b 34 -s 128 -t freebsd-boot da0（实际上只有启...

• 使用DSR模式实现单IP服务冗余

FreeBSD支持以DSR（Direct Server Return，即服务器直接将流量通过路由器返回，而不经过负载平衡设备；俗称"单臂模式"）模式提供服务。为了改善服务的可用性，可以使用这种方法来配置服务器。这种方法非常适合于大并发、大流量的环境。网络及服务器的规划首先，需要对服务可能产生的负载、流量进行估计，并据此设计网络的结构。DSR结构极大地降低了负载平衡设备成为瓶颈的可能，但仍对它们有一些要求，因此，设计者需要考虑下面一...

• 海量小文件存储

Web2.0网站，数据内容以几何级数增长，尤其是那些小文件，几K～几百K不等，数量巨多，传统的文件系统处理起来很是吃力，很多网站在scaling的过程中都遇到了这样的问题：磁盘IO过高；备份困难；单点问题，容量和读写无法水平扩展，还存在故障的可能。 YouTube也碰到这样的问题，每一个视频有4个缩微图，这样的话缩微图数量是视频数量的四倍，想象一下YouTube有多少视频，看一下他们遇到的问题：大量的磁盘寻址，在操作系统层面出...

• 关于磁盘的一些知识点

最近在拜读张冬瓜的存储大作,收获还是很多的,这本书对于一些底层的技术细节阐述的比较细致,作者的思维,处理问题的方式也是活跃且严谨,建议大家有时间可以看看,我梳理了些关于磁盘的概念,贴出来 1.磁盘组成,扇区,磁道,柱面磁盘由若干盘片组成,在盘片上分布了很多细小的磁粒,每个小颗粒有自己的南北极,当磁头进行感应的时候,通过磁极就变成了电路上的1010信号,这样就达到了记录最原始的2进制信息的目的,在一个盘片上,盘片被划为很多...