Hive SQL如何找出连续日期数据之间的较大波动 (ixyzero.com)
本文介绍了在 Hive SQL 中如何识别连续日期数据的显著波动,适用于异常检测。使用窗口函数 `LAG` 和 `LEAD` 提取前后日期数据,通过对比当天与昨日、近几日的均值或分位数来判定异常。文中提供了查询示例,通过阈值设定(如倍数增加或p90分位数)识别异常值,帮助分析用户行为或数据波动,为风控和数据监控提供技术支持。
by @技术头条 2024-11-02 16:52 查看详情
AWS运维部署实践--route53私有域跨账号共享 (wiki.eryajf.net)
如果你的业务场景有多个 AWS 账号,那么私有域共享就是一个绕不开的话题。aws 中的 route53 私有域配置跨账号共享有两种方案,一种是直接跨账号关联 VPC,一种是通过配置文件共享的形式实现。本文采用第一种方案,只需要两条命令即可完成此需求。
by @技术头条 2024-11-02 16:52 查看详情
如何配置 Nginx 防止 CC 攻击 (dusays.com)
本文介绍了配置 Nginx 防御 CC 攻击的方法,包括限制请求速率和连接数、设置 IP 黑白名单、关闭慢速连接等。通过 `limit_req_zone` 和 `limit_conn_zone` 等指令,管理员可以有效控制单一 IP 的访问频率。此外,还建议设置文件类型和请求大小限制,并使用 Fail2Ban 工具监控日志,自动封禁异常 IP。这些措施有助于提升网站的安全性和稳定性。
by @技术头条 2024-11-02 16:51 查看详情
Hive SQL如何找出最大的连续操作天数 (ixyzero.com)
本文探讨了在 Hive SQL 中计算用户的最大连续操作天数的实现方法。通过窗口函数和日期差计算,文章详细展示了如何找出连续在线的天数,适用于数据分析中的活跃用户筛选。同时还介绍了结合分位数和平均值分析操作频率的查询技巧。
by @技术头条 2024-11-02 16:50 查看详情
Hive SQL 中的分号、下划线等tips整理 (ixyzero.com)
本文整理了 Hive SQL 中的一些实用技巧,包括使用 `\073` 替代分号进行字符串分割、通过转义实现下划线匹配、布尔类型的条件比较,以及在复杂类型字段(如数组或映射)中插入空值的操作方法。这些技巧可以帮助开发者在处理特殊符号和复杂数据类型时,避免语法错误和查询结果不准确的问题,为 Hive SQL 查询优化提供了实用参考。
by @技术头条 2024-11-02 16:50 查看详情
AWS运维部署实践--网络环境规划 (wiki.eryajf.net)
本文详述了 AWS 网络环境的规划,包括 VPC、子网、路由表的创建和管理。通过对公有、私有和内部子网的划分,以及 NAT 网关和 IGW 的配置,实现了不同网络的隔离与访问控制。同时,文章介绍了使用中转网关进行跨账号 VPC 打通的方法,为多账号和复杂网络环境提供了便捷的连接方案。这些规划为 AWS 运维部署打下了基础,有助于提升环境的安全性与可扩展性。
by @技术头条 2024-11-02 16:49 查看详情
IM系统重构到 SDK 设计的最佳实践 (crossoverjie.top)
本文介绍了 CIM 系统重构为 SDK 的实践,使用 Builder 模式创建客户端,实现了长连接、心跳检测及自动重连等功能,极大简化了消息收发流程。还优化了请求代理,通过 `ProxyManager` 动态管理 URL,提升了代码复用性。集成测试涵盖多服务器重连和消息验证,确保系统高可用性。重构增强了模块间解耦,使 SDK 更易于维护和扩展。
by @技术头条 2024-11-02 16:49 查看详情
Linux 文件管理之特殊权限 (frytea.com)
本文介绍了 Linux 中的特殊权限设置,包括 SUID、SGID 和 Sticky Bit。SUID 允许普通用户执行特定程序时以程序属主的权限运行;SGID 使目录中文件继承目录属组,便于共享;Sticky Bit 则限制用户删除或重命名共享目录中的文件。通过这些权限设置,用户可实现更灵活的文件与目录管理。
by @技术头条 2024-11-02 16:46 查看详情
一次产品重构的复盘 (hiwannz.com)
本文深入复盘了一次完整的产品重构过程,明确了重构的时机和阶段性目标。重构中主要解决了架构混乱、性能瓶颈和用户体验不佳等问题。具体操作包括重构代码模块、优化数据库查询、引入缓存机制,并通过用户行为数据来调整功能细节。作者还提出了应对重构风险的方法,如建立测试闭环、逐步发布和快速响应用户反馈,以确保重构效果和产品稳定性。
by @技术头条 2024-11-02 16:45 查看详情
StarRocks 开发环境搭建踩坑指北 (crossoverjie.top)
本文详细介绍了在本地搭建 StarRocks 开发环境的步骤,包括启动前端(FE)和后端(BE)的配置及调试方法。通过本地启动 FE 并使用 Docker 运行 BE,实现了本地调试和测试。作者分享了常见问题解决方案,如端口冲突和网络配置问题,为 StarRocks 开发环境搭建提供了实用指南。
by @技术头条 2024-11-02 16:42 查看详情
Linux 文件管理之默认权限 umask (frytea.com)
本文介绍了 Linux 中的 `umask` 命令,用于设置文件和目录的默认权限。通过修改 `umask` 掩码值,可控制新建文件的权限,如将 `0022` 改为 `0002` 以调整用户组权限。文章演示了如何查看和更改 `umask`,以及如何使修改永久生效。
by @技术头条 2024-11-02 16:41 查看详情
容器技术驱动下的代码沙箱实践与思考 (blog.yuanpei.me)
本文探讨了基于容器技术的代码沙箱应用,旨在隔离代码执行环境,提升安全性和稳定性。通过 Docker 容器创建语言镜像,支持多语言代码执行。文章介绍了使用 Jupyter 实现代码可视化,并借助 nbformat 和 nbconvert 管理和执行 Jupyter 笔记本,增强代码展示效果。此方案不仅提高了开发灵活性,还便于在 AI 编程中实时展示和分析结果。
by @技术头条 2024-11-02 16:40 查看详情
温故而知新:后端通用查询方案的再思考 (blog.yuanpei.me)
本文探讨了后端通用查询方案的设计,通过 `Gridify` 库启发,提出基于泛型和接口的查询模型,优化分页和过滤功能。实现细节包括 `QueryParameter` 类和 `IQueryableFilter` 接口的使用,自定义模型绑定方式,使查询参数更灵活,支持多种前后端兼容格式。文章强调开发中平衡灵活性与规范性,并认为在 AI 辅助编程背景下,程序员应专注于复杂问题解决和生产关系的改善。
by @技术头条 2024-11-02 16:39 查看详情
OpenTelemetry 实战:从 0 到 1 编写一个 Instrumentation (crossoverjie.top)
本文介绍了在 OpenTelemetry 中编写自定义 Instrumentation 的实践,通过 PowerJob 示例展示了如何选择埋点方式、识别埋点入口、实现核心逻辑,以及配置 CI 流程。作者详细解析了 `javaagent` 的配置方法,包括 span 数据写入和属性提取,并列举了调试和兼容性处理的注意事项。此过程适用于增强系统的可观测性,便于在复杂应用中实现链路追踪。
by @技术头条 2024-11-02 16:35 查看详情
OpenTelemetry在企业内部应用所需要的技术栈 (crossoverjie.top)
本文详细解析了 OpenTelemetry 在企业中的技术栈应用,涵盖日志、指标和链路追踪的整合方案,帮助实现系统全方位的可观测性。介绍了 OpenTelemetry 的架构和关键组件如 Collector、eBPF,以及 SigNoz 和 OpenObserve 等开源工具,以实现统一的数据存储和可视化,适合需要高效、灵活监控的企业部署。
by @技术头条 2024-11-02 16:35 查看详情
基于 Docker 搭建开发环境(三):链路追踪 (www.diguage.com)
本文介绍了通过 Docker 配置 OpenTelemetry 和 Jaeger,实现分布式链路追踪。详细讲解了如何使用 OpenTelemetry Agent 和 Collector 配置尾部采样策略,识别慢请求和错误。结合 Prometheus 和 Grafana,构建全面的监控和追踪系统。提供了具体的 `docker-compose.yml` 配置文件示例,适合需要全链路可观测性的分布式应用开发环境。
by @技术头条 2024-11-02 16:34 查看详情
基于 Docker 搭建开发环境(二):EFK 日志套件 (www.diguage.com)
本文介绍了如何使用 Docker 和 EFK(Elasticsearch、Fluentd、Kibana)套件构建日志管理系统,通过 Fluentd 将 NACOS 和业务日志集中发送至 Elasticsearch,方便数据分析和故障排查。文章提供了 `docker-compose.yml` 配置文件示例,解决了插件安装、权限设置和健康检查等常见问题,为构建灵活高效的日志管理系统提供了实用方法。
by @技术头条 2024-11-02 16:33 查看详情
基于 Docker 搭建开发环境(一):数据库+监控 (www.diguage.com)
本文介绍了使用 Docker 构建开发环境的步骤,涵盖 MySQL 数据库配置、Nacos 服务发现与配置管理、Prometheus 监控及 Grafana 可视化。通过 Docker Compose 结构化配置,实现了多组件集成。文章提供了详细的 `docker-compose.yml` 文件示例,并探讨了自动接入监控、应用打包等优化方向,适用于需要集中管理多项开发工具的场景。
by @技术头条 2024-11-02 16:33 查看详情
统计之魂,人生之师 —— 祝吴喜之老师八十寿辰快乐 (bjt.name)
本文致敬吴喜之教授的教学与研究贡献,分享了他对统计学的深远影响,以及通过 R 语言和自学精神,激励学生不断追求知识和学术创新。
by @技术头条 2024-11-02 16:31 查看详情
使用结构化数据管理 SSH 配置:SSH Config Tool (soulteary.com)
本文介绍了使用 SSH Config Tool 管理 SSH 配置的最佳实践。工具将复杂的 SSH 配置简化为 YAML 格式,实现模块化和自动化管理,适用于设备多、配置庞杂的场景。通过 YAML 文件生成精简的 SSH Config,可提高可读性,减少冗余。工具支持 Docker 运行和 Linux 管道,提供灵活的跨平台应用方式。
by @技术头条 2024-11-02 16:27 查看详情