Hadoop 集群安装与配置--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

【简介】

Apache Hadoop 是一个支持数据密集型分布式应用程序的开源软件框架，能在大型集群上运行应用程序。Hadoop 框架实现了 MapReduce 编程范式，把应用程序分成许多小部分，每个部分能在任意节点上运行。并且 Hadoop 提供了分布式文件系统存储所有计算节点的数据，为集群带来非常高的带宽。

本文几乎所有操作都需要在三台服务器上进行同样的操作，所以为了便于表示，在需要三台服务器上进行同样操作的时候会使用 x3 进行标注。

点击查看原文 >>

由 @技术头条 2017-09-01 00:02 / 原作者微博：@Linux中国 / 0个评论

赞过的人： @技术头条

AWS运维部署实践--快速拉起生产可用的EKS集群 (wiki.eryajf.net)

本文详细介绍了在 AWS 上快速搭建生产级 EKS 集群的步骤，包括子网规划、IAM 配置、必要命令工具的安装以及集群的创建和授权。通过 `eksctl` 工具快速定义和创建 EKS 集群，并提供了集群权限管理与网络配置的建议，确保集群安全和稳定运行。文中还包含完工后的调整建议，如将访问端点调整为私有以提升安全性。

by @技术头条 2024-11-02 17:08 查看详情

怎样在 Nginx 中配置防盗链 (dusays.com)

本文讲解了如何在 Nginx 中配置防盗链，主要通过验证 HTTP 请求中的 Referer 头部来防止未经授权的访问。配置方法包括使用 `valid_referers` 指令定义允许的 Referer，并在不符合条件时返回 403 错误。该配置适合防止图片、CSS 等静态资源被外部站点盗用，但需注意 Referer 头部可被伪造，建议结合其他安全措施。

by @技术头条 2024-11-02 16:53 查看详情

如何配置 Nginx 防止 CC 攻击 (dusays.com)

本文介绍了配置 Nginx 防御 CC 攻击的方法，包括限制请求速率和连接数、设置 IP 黑白名单、关闭慢速连接等。通过 `limit_req_zone` 和 `limit_conn_zone` 等指令，管理员可以有效控制单一 IP 的访问频率。此外，还建议设置文件类型和请求大小限制，并使用 Fail2Ban 工具监控日志，自动封禁异常 IP。这些措施有助于提升网站的安全性和稳定性。

by @技术头条 2024-11-02 16:51 查看详情

使用结构化数据管理 SSH 配置：SSH Config Tool (soulteary.com)

本文介绍了使用 SSH Config Tool 管理 SSH 配置的最佳实践。工具将复杂的 SSH 配置简化为 YAML 格式，实现模块化和自动化管理，适用于设备多、配置庞杂的场景。通过 YAML 文件生成精简的 SSH Config，可提高可读性，减少冗余。工具支持 Docker 运行和 Linux 管道，提供灵活的跨平台应用方式。

by @技术头条 2024-11-02 16:27 查看详情

ubuntu 配置 nfs 服务 (www.frytea.com)

本文介绍了解决Ubuntu虚拟机克隆后因netplan导致的网络连接问题。作者发现克隆后虚拟机会因UUID和MAC地址冲突而无法正确分配IP地址。通过重置/etc/machine-id文件、更新网络配置文件中的dhcp-identifier设置，以及使用cloud-init清理网络缓存，可以有效避免IP地址冲突。该方法适用于需要频繁克隆虚拟机的场景，确保每个实例能获得唯一的网络标识。

by @技术头条 2024-08-06 08:15 查看详情

如何为 Git 配置多个 SSH Key (blog.yuanpei.me)

相信大家都会遇到这种场景，即一台电脑上同时存在多个 Git 账号的情况。譬如，公司的项目使用 Gitlab 托管，而个人的项目使用 Github 托管，更不必说，云效、Gitee、码云、Coding 等形形色色的平台。在这种情况下，你需要为每个代码托管平台生成 SSH Key，然后将其对应的公钥复制到指定的位置。所以，如何让这些不同托管平台的 SSH Key 和平共处、互不影响呢？这就是今天这篇文章想要分享的冷知识。当然，对博主个人而言，最主要的目的，还是希望能将公司和个人两个身份区分开来，所以，下面以 Github 和 Gitlab 为例来展示具体的配置过程。

by @技术头条 2024-03-12 22:28 查看详情

Kratos漫游指南 2 - 配置 (farer.org)

这一篇讲讲Kratos配置组件的定义和使用。

微服务或者说云原生应用的配置最佳实践是将配置文件和应用代码分开管理——不将配置文件放入代码仓库，也不打包进容器镜像，而是在服务运行时，把配置文件挂载进去或者直接从配置中心加载。Kratos的config组件就是用来帮助应用从各种配置源加载配置。

by @技术头条 2024-01-13 23:30 查看详情

nginx TLS 配置建议（Mozilla Recommendation） (www.addesp.com)

本文主要按照 Mozilla 对于服务端 TLS 协议配置的建议来提供 nginx 的配置建议，按照这些建议进行配置可以让我们的站点更加安全。

by @技术头条 2023-12-26 22:35 查看详情

优雅地管理内网集群 (wasteland.touko.moe)

本文主要介绍了我在对内网集群进行管理的时候遇上的和解决的问题，包括统一控制，装机脚本，堡垒机，内网穿透等一系列问题。

by @技术头条 2023-11-30 23:37 查看详情

Hadoop安全学习 (ixyzero.com)

Hadoop集群基本都放在内网，有一层网络隔离做保护，懂这个且想利用和能利用这个做坏事的人比较少，一般不容易出问题；对于没放在内网或者没有做隔离的那些公司或团队，安全意识和能力肯定是有较大欠缺，数据泄露的渠道和方式很多，不缺这一个，都不需要用这种方式来搞数据；使用第三方云服务的公司或团队一般不需要操心底层服务的安全问题，只需要关注上层应用的账号安全和使用安全等问题就行。

by @技术头条 2023-10-30 23:38 查看详情