从LinkedIn,Apache Kafka到Unix哲学
这篇讲的是,如何从上世纪70年代的Unix哲学中,为现代分布式系统设计寻找灵感。作者从一个经典场景切入:用awk、sort等Unix工具链处理Web服务器日志,只需几条简单的管道命令,就能高效分析出热门URL。这背后的精髓在于Unix哲学的两条核心准则:每个程序只做好一件事,并通过标准化的输入输出流(stdin/stdout)进行组合。 随后,文章将这一思想与传统关系型数据库的设计模式进行了对比。数据库普遍采用不对称的客户端-服务器模型,客户端发送查询,服务器处理并返回响应,数据流的组合性远不如Unix管道那样灵活。作者意在指出,尽管时代变迁,但“关注点分离”和“松耦合”的古老智慧依然适用。这种视角,为我们理解Apache Kafka为何被设计成一个分布式的、基于日志的流处理系统提供了关键线索——它在架构上更接近Unix管道,而非传统数据库。