HDFS的一些知识点记录--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

【简介】

HDFS的内部数据安全风险很多，总的来看，对于内部监控来说，一方面是将本来限制在IDC内部才可访问的Hadoop相关系统通过WebHDFS等HTTP(S)形式的API对办公网或外部进行了开放，扩大了攻击面，这个需要从Web/API层面去做分析和监控预警；另一方面是安全认证/加密等措施执行不到位，导致攻击者只要获取到master/namenode等地址信息就可以直接通过alluxio/hadoop等客户端直连，然后通过文件拷贝等方式获取parquet文件从而拿到敏感数据完成攻击，这个需要从主机层的异常命令操作分析来监控预警相关风险。

点击查看全文 >>

由 @技术头条 2023-09-10 23:29分享 / 0个评论

在一些轻量化的场景之中，使用 ELK 方案来解决日志问题就会比较笨重，素闻 Loki 比较香，今天折腾了一番，特此记录一下整个流程。本文不涉及 Loki 的深度使用与研究，但是参照本文，你可以快速把 Loki 拉起来，并且把 Nginx 日志正确采集进来。

by @技术头条 2023-06-05 23:53 分享查看详情

廉价的家庭工作站设备改造记录：苹果垃圾桶（Mac Pro 2013） (soulteary.com)

聊聊最近对一台便宜的苹果老设备的使用和升级改造，以及过程中的小经验。

如果你没有在家里安静的进行长时间密集计算的需求，也不想“烧烤”你的 MacBook ，并且没有总成本低一些的要求，那么这个方案或许并不适合你。

相比之下，我更推荐采购支持 ECC 内存的搭载 13 代桌面 CPU 工作站（如 P360 之类的），功耗比、性能、可扩展性都很棒，美中不足的只有三点：体积大一些，使用的是工作频率不高的 DDR5 ECC 内存，价格会是这台设备的三倍。

by @技术头条 2023-02-12 14:06 分享查看详情

日志记录的最佳实践 (insights.thoughtworks.cn)

好的日志不仅可以为程序开发提供便利，为故障排除提供最重要的辅助信息，更可以为业务或基础设施提供优化建议或数据统计。

by @Thoughtworks 2022-09-29 17:32 分享查看详情

如何优雅地记录操作日志？ (tech.meituan.com)

操作日志广泛存在于各个B端和一些C端系统中，比如：客服可以根据工单的操作日志快速知道哪些人对这个工单做了哪些操作，进而快速地定位问题。操作日志和系统日志不一样，操作日志必须要做到简单易懂。所以如何让操作日志不和业务逻辑耦合，如何让操作日志的内容易于理解，让操作日志的接入更加简单？上面这些都是本文要回答的问题，主要围绕着如何“优雅”地记录操作日志展开描述。

by @技术头条 2022-06-19 23:22 分享查看详情

近期家用设备（NUC、猫盘、路由器）散热升级记录 (soulteary.com)

最近对家里的路由器、NUC、猫盘都做了一些散热的“加强处理”。改造结果之前在群里分享过，目前各台设备已经持续一周至半个月的稳定运行，记录一下过程，希望帮助到有需要的同学。

by @技术头条 2022-05-23 00:09 分享查看详情

Linux新手入门的一些基本知识点整理 (mp.weixin.qq.com)

Linux预设提供了六个命令窗口终端机让我们来登录。

默认我们登录的就是第一个窗口，也就是tty1，这个六个窗口分别为tty1、tty2 … tty6，你可以按下Ctrl + Alt + F1 ~ F6 来切换它们。
如果你安装了图形界面，默认情况下是进入图形界面的，此时你就可以按Ctrl + Alt + F1 ~ F6来进入其中一个命令窗口界面。
当你进入命令窗口界面后再返回图形界面只要按下Ctrl + Alt + F7 就回来了。
如果你用的vmware 虚拟机，命令窗口切换的快捷键为 Alt + Space + F1~F6。
如果你在图形界面下请按Alt + Shift + Ctrl + F1~F6 切换至命令窗口。

by @code小生 2022-02-08 23:30 分享查看详情

69道HTML面试知识点总结 (mp.weixin.qq.com)

IE5.5 引入了文档模式的概念，而这个概念是通过使用文档类型（DOCTYPE）切换实现的。

<!DOCTYPE>声明位于 HTML 文档中的第一行，处于 <html> 标签之前。告知浏览器的解析器用什么文档标准解析这个文档。

DOCTYPE 不存在或格式不正确会导致文档以兼容模式呈现。

by @code小生 2021-12-19 19:44 分享查看详情

记录一下之前对 fsck_msdosfs(8) 的改进 (blog.delphij.net)

fsck_msdosfs(8) 是 FreeBSD 上用来检查和修复 FAT12/16/32 文件系统问题的程序，此外， Android 也使用了这一实现，并采用它来检查使用 FAT文件系统，如 SD 卡上的文件系统问题。

众所周知，FAT 是一个结构非常简单的文件系统。它的基本分配单元是簇(clusters)，每个簇可以包括1-128个逻辑扇区。FAT 文件系统使用单一的中央数据结构——文件分配表 FAT来表现存储上的所有簇的分配状态，该结构本身是一个线性表，其中每一项均与磁盘上的相对位置的簇一一对应。这个表上以单链表形式表达文件，链表的表头保存在该文件对应的目录项上，而后续的整个簇链则在 FAT表上，每一项的内容是下一簇的簇号。FAT 表项如果是 0 则表示目前没有任何文件在使用该簇，因此可以将作为保存新数据的空间使用，还有一些特殊值表示坏块、保留块，或者文件已经到达了末尾。

by @技术头条 2021-06-13 22:30 分享查看详情

Vue 超清晰思维导图，带你详细梳理知识点 (mp.weixin.qq.com)

Vue是一套构建用户界面的框架，只关注视图层，它不仅易于上手，还便于与第三方库或既有项目整合。（Vue有配套的第三方类库，可以整合起来做大型项目的开发）

by @code小生 2021-01-26 00:48 分享查看详情

深度 | 每秒1.4亿次！再度刷新TPS记录的PolarDB如何应对双11“尖峰时刻”？ (developer.aliyun.com)

2020年是云原生数据库PolarDB全面支撑天猫双十一的第二年，天猫交易、买家、卖家以及物流等系统在双十一期间基于PolarDB为亿万客户提供了顺滑的体验。同时，PolarDB还刷新了去年由自己创造的数据库处理峰值（TPS）纪录，今年TPS峰值高达1.4亿次/秒，较去年提升了60%。

by @可耐芊小仙女 2020-11-26 11:03 分享查看详情