标签：云平台

共 4 篇相关文章

IT 累计浏览 5,148

百度是如何使用hadoop的

这篇文章讲的是百度如何将Hadoop深度应用于其海量中文搜索及数据处理场景。面对日志存储、网页挖掘、商业分析、在线反馈等复杂需求，百度不仅大规模部署了Hadoop（约700台机器，日均处理120TB数据），还针对实际运行中的效率与可靠性问题进行了系统性改造。具体来看，百度在多个层面做了定制优化：在MapReduce策略上，通过限制作业并发、调整预测执行和基于节点内存调度来提升稳定性；对HDFS增强了权限控制与容错能力，比如让分区与节点解耦，避免单点故障影响全局。此外，他们还修改了推测执行（Speculative）策略，用速率倒数来更公平地触发备份任务，并引入资源控制机制，甚至修改Linux内核来限制进程内存使用。文章也坦诚分享了百度在实践中遇到的痛点，包括MapReduce的I/O与排序效率、HDFS的随机访问延迟、内存管理压力以及作业调度精细化等问题，并针对如Streaming只能处理文本数据的局限，提出了自研的Bistreaming方案。这些细节揭示了在超大规模环境下，如何将开源框架“打磨”得更适合生产需求——不仅是使用，更是持续的调优与二次开发。

IT 累计浏览 3,380

跨领域人才

这篇讲的是2012年《三联生活周刊》对斯坦福大学的一次深度观察，它将这所名校称为“硅谷的心脏”。文章并非泛泛而谈学术成就，而是聚焦于一个关键视角：跨领域人才的培养。斯坦福的魔力，不仅在于它培养出众多技术创始人，更在于它如何刻意打破学科壁垒，让工程、商业、人文甚至艺术的学生在校园里就相互碰撞、协作。这种氛围催生的不是单一维度的专家，而是能理解技术、市场并洞悉人性的“桥梁型”人才，这正是硅谷持续创新的底层燃料。文章提醒我们，真正的创新生态，始于教育系统中那种敢于跨界、乐于融合的文化基因。

IT 累计浏览 5,058

SteveY对Amazon和Google平台的长篇大论

这篇文章讲的是前亚马逊员工、现任谷歌工程师Steve Yegge的一次“醉酒误操作”。他原本打算在Google+内部分享对Amazon和Google平台的深度看法，却意外将帖子设为公开，引发了一场技术圈热议。文章虽然很快被删除，但早已被互联网备份并广泛流传。作者的核心观点非常犀利。他认为亚马逊的内部平台能力（他称之为“可编程基础设施”）异常强大，允许团队像搭乐高一样快速构建复杂服务；而谷歌虽然技术卓越，却过于聚焦于面向消费者的产品，在打造统一、开放的内部平台方面有所欠缺。这导致了两家公司截然不同的内部开发体验和效率。更有趣的是事件后续：Steve后来解释说文章写于深夜酒后，观点主观且极端，并向公司公关表示了感谢。但这并未削弱文章的冲击力，反而让这次“意外泄露”成为了观察两大科技巨头平台战略差异的一个经典案例。它提醒我们，有时最真实的见解往往诞生于非正式场合，而公司文化和内部工具的设计，对创新速度有着决定性的影响。

IT 累计浏览 2,053

云平台的8种资源管理策略

这篇写的是国内云平台普遍被忽视的一个方面：整体资源管理策略。作者从现状出发指出，目前大量的研究精力集中在并行计算和分布式文件系统等单点技术上，而对如何调度计算和存储资源以实现平台整体弹性，讨论得还不够充分。为此，老蒋梳理并总结了当前云平台中，保障资源弹性所采用的八种核心策略。这些策略涵盖了计算与存储资源的调度方法，为理解云的弹性能力提供了具体的分析框架。文章的核心目的在于抛砖引玉，作者希望通过这次梳理，能推动大家对“如何真正保障云的弹性”这一关键问题进行更深入的探讨。