专题：磁盘 -- IT技术博客大学习 -- 共学习共进步！

直接用nc传送文件，真的很方便。可免得压缩解压缩，也免得有权限问题。

Daisy Disk 好归好, 却只能免费试用, 要长用得买, 价格是 $9.99, 还是有点肉疼, 而标榜清高不用盗版软件的狗又不愿意去用破解. 还好找到了个还比较合适的替代品, 就是标题里说的 ncdu, 相比起来可以认为是命令行版的 Daisy Disk, 直接在终端下运行, 用键盘操作, 也很是合 Geek 的口味, 只是偶有不够智能。

解决HDFS磁盘扫描导致死亡结点的问题

在Hadoop集群从1.0升级到2.0之后，我们一直在解决很多很多的问题。在今年8月初，我们检测到线上频繁有机器变成死亡结点，一段时间后自动恢复。进入死亡结点状态的DataNode将不能读写数据块。我们观察了一下日志，看到DataNode中打印出很多接受数据快传输的线程(DataXceiver)，线程都是在Receiving的状态，而没有结束。估摸了一下在死亡结点发生的阶段大约有300个左右的线程积累下来。但是，没找到其它突破口。

数据的存储介质-磁盘的硬件特性

计算机是由硬件和软件组成的，而所有软件的唯一目标就是尽可能最大化的利用下层硬件能够提供的特性，完成上层的功能。所以才会有人说，硬件是骨头，软件是血肉，骨头决定生物的形态，软件决定生物的神态。不过，依然请放心，我们不会讨论复杂的东西，作为一个软件工程师，也没有人会要求我们去写一个磁盘存储器的硬件驱动代码~在这里，我们只讨论那些为了后面我们理解软件存储而锁需要掌握的硬件知识。

数据的存储介质-磁盘的RAID

要介绍 RAID技术的原因，其实是因为目前大部分分布式存储在做的事情其实 RAID在很多年前就已经做到了，所以如果你希望做存储相关的事情，那么 RAID是必须要理解，但不一定要用到的概念：)

数据的存储介质-磁盘的RAID

要介绍 RAID技术的原因，其实是因为目前大部分分布式存储在做的事情其实 RAID在很多年前就已经做到了，所以如果你希望做存储相关的事情，那么 RAID是必须要理解，但不一定要用到的概念：）

数据的存储介质-磁盘的硬件特性

计算机是由硬件和软件组成的，而所有软件的唯一目标就是尽可能最大化的利用下层硬件能够提供的特性，完成上层的功能。所以才会有人说，硬件是骨头，软件是血肉，骨头决定生物的形态，软件决定生物的神态。不过，依然请放心，我们不会讨论复杂的东西，作为一个软件工程师，也没有人会要求我们去写一个磁盘存储器的硬件驱动代码~在这里，我们只讨论那些为了后面我们理解软件存储而锁需要掌握的硬件知识。

确保数据存入磁盘

在理想的情况下，系统崩溃、断电、磁盘访问失败这些情况是不会出现的，开发者编写程序时也不用为这些情况担忧。不幸的是，这些情况比我们想像的还经常出现。本文描述了数据是怎样一步步被写入磁盘上的，尤其是其中被缓冲的几个步骤。本文也提供了数据被正确写盘的最佳实践，以确保意外发生的时候，数据不会丢失。主要...

提升磁盘IO性能的几个技巧

　　目前磁盘都是机械方式运作的，主要体现在磁盘读写前寻找磁道的过程。磁盘自带的读写缓存大小，对于磁盘读写速度至关重要。读写速度快的磁盘，通常都带有较大的读写缓存。磁盘的寻道过程是机械方式，决定了其随机读写速度将明显低于顺序读写。在我们做系统设计和实现时，需要考虑到磁盘的这一特性。　　FastDFS是一个开源的高效分布式文件系统，它最初的实现，文件是按hash方式随机分布到多个目录中的，后来增加了顺序存放的做...

使用smartmontools监控磁盘状况

Smartmontool是sourceforge上的一个开源项目，可以对磁盘的S.M.A.R.T.进行提取和定期监控。Smartmontool包含两个工具： smartctl和smartd。

linux磁盘管理学习笔记（下）：linux分区、挂载

前面两篇文章讲了大半天，其实磁盘管理的第一个步骤应该是磁盘分区，分了区，格式化分区之后才能安装系统，才能开始使用。本文呢就详细讲讲linux下的分区。基本命令fdisk [-l] 设备名参数：-l 输...

linux磁盘管理学习笔记（中）：df命令、du命令

windows下我们可以很方便很感性得得知磁盘分区大小，目录、文件所占的磁盘空间等信息，有了这些信息我们就能更好的进行文件和磁盘空间管理，而linux下就不是那么友好了，需要敲各种命令，本文就要讲讲磁...

linux磁盘管理学习笔记（上）

要玩儿转linux，磁盘管理是必须的，为期三篇的文章，就详细将一下Linux磁盘管理吧。本篇主要讲一下磁盘的相关基础知识。首先说说硬盘基础知识硬盘最小的物理组成单位为扇区（sector），数个扇区组成...

LVM介绍

一、简介 LVM是Linux操作系统对磁盘分区进行管理的一种机制。其是建立在磁盘和分区之上的一个逻辑层，以提高磁盘分区管理的灵活性。在LVM中每个磁盘分区就是一个物理卷（physical volume，PV），若干个物理卷可以组成为一个卷组（volume group，VG），形成一个存储池。系统管理员可以在卷组上创建逻辑卷（logical volumes，LV），并在逻辑卷组上创建文件系统。PV、VG和LV的关系如图所示。二、物理卷管理 1、添加物理卷使用pvcre...

如何查看Linux 硬件配置信息

使用Pure-ftpd和Pure-ftpd-mysql进行FTP权限和磁盘配额管理

在上一篇文章里边,我们已经完成了利用mod-myvhost动态的添加web用户.这里我们接着来完成文件上传的管理. 我们选用Pure-ftpd作为工具. 安装 Pure-ftpd是一个成熟的ftp工具,apt-get已经有打好的包了.我们直接通过apt-get就能很方便的安装. apt-get install pure-ftpd-mysql 配置在数据库里边建一个库,这里用之前的hosting数据库.

关于磁盘的一些知识点

最近在拜读张冬瓜的存储大作,收获还是很多的,这本书对于一些底层的技术细节阐述的比较细致,作者的思维,处理问题的方式也是活跃且严谨,建议大家有时间可以看看,我梳理了些关于磁盘的概念,贴出来 1.磁盘组成,扇区,磁道,柱面磁盘由若干盘片组成,在盘片上分布了很多细小的磁粒,每个小颗粒有自己的南北极,当磁头进行感应的时候,通过磁极就变成了电路上的1010信号,这样就达到了记录最原始的2进制信息的目的,在一个盘片上,盘片被划为很多...