BR 技术头条 技术链接、资讯与社区分享流
sh www.shareditor.com / 2016-08-20 15:09 / by @闯王来了要纳粮

一文读懂hadoop、hbase、hive、spark分布式系统架构

打开原文 0 条评论

发表评论

相关分享

ix ixyzero.com / 2025-01-12 12:08

Hive SQL中的单引号和双引号

本文讨论了在 Hive SQL 中处理单引号和双引号的技巧。作者建议：
1、显示包含单引号的字符串：使用双引号括起来，因在单引号内直接显示单引号的方法尚未找到。
2、显示包含双引号的字符串：使用单引号括起来，或对内部的双引号进行转义。
3、减少麻烦：尽量使用双引号括起字符串，因为对双引号的转义更方便有效。
作者还提供了测试 SQL 示例，展示了不同情况下单双引号的使用效果。该内容适合从事 Hive SQL 开发的工程师、数据分析师以及需要处理 Hive SQL 字符串转义问题的技术人员阅读。

查看详情
无图
ix ixyzero.com / 2024-11-02 17:02

从Hive SQL的一个正则表达式说起

本文讨论了在 Hive SQL 中使用正则表达式筛选特定 IP 范围（172.16.0.0 到 172.31.255.255）的实现方法，详解了 `[16-31]` 范围的表达方式，给出了完整的正则表达式方案，帮助精准匹配指定的 IPv4 地址范围。

查看详情
无图
ix ixyzero.com / 2024-11-02 16:52

Hive SQL如何找出连续日期数据之间的较大波动

本文介绍了在 Hive SQL 中如何识别连续日期数据的显著波动，适用于异常检测。使用窗口函数 `LAG` 和 `LEAD` 提取前后日期数据，通过对比当天与昨日、近几日的均值或分位数来判定异常。文中提供了查询示例，通过阈值设定（如倍数增加或p90分位数）识别异常值，帮助分析用户行为或数据波动，为风控和数据监控提供技术支持。

查看详情
无图
ix ixyzero.com / 2024-11-02 16:50

Hive SQL如何找出最大的连续操作天数

本文探讨了在 Hive SQL 中计算用户的最大连续操作天数的实现方法。通过窗口函数和日期差计算，文章详细展示了如何找出连续在线的天数，适用于数据分析中的活跃用户筛选。同时还介绍了结合分位数和平均值分析操作频率的查询技巧。

查看详情
无图
ix ixyzero.com / 2024-11-02 16:50

Hive SQL 中的分号、下划线等tips整理

本文整理了 Hive SQL 中的一些实用技巧，包括使用 `\073` 替代分号进行字符串分割、通过转义实现下划线匹配、布尔类型的条件比较，以及在复杂类型字段（如数组或映射）中插入空值的操作方法。这些技巧可以帮助开发者在处理特殊符号和复杂数据类型时，避免语法错误和查询结果不准确的问题，为 Hive SQL 查询优化提供了实用参考。

查看详情
无图
te tech.meituan.com / 2024-09-09 23:41

Spark向量化计算在美团生产环境的实践

美团在 Spark 生产环境中引入了向量化计算，使用 Gluten 和 Velox 框架，实现了大数据任务的加速和资源优化。本文详细讲解了 Spark 向量化的原理、性能提升以及美团的实施过程和遇到的挑战，适合关注大数据优化的技术人员。

查看详情
无图
cr crossoverjie.top / 2024-08-06 08:05

OpenTelemetry 实践指南：历史、架构与基本概念

本文介绍了OpenTelemetry的历史、架构和基本概念。OpenTelemetry是一个用于统一日志、指标和链路追踪的开源项目，旨在简化可观测性技术栈的复杂性。文章详细介绍了OpenTelemetry的三个核心组件：客户端、OTel Collector和数据存储。通过标准化协议，OpenTelemetry实现了与多种后端系统的兼容，为开发者提供了一种灵活且可扩展的可观测性解决方案。

查看详情
无图
te tech.meituan.com / 2024-03-21 22:53

美团大规模KV存储挑战与架构实践

KV 存储作为美团一项重要的在线存储服务，承载了在线服务每天万亿级的请求量，并且保持着 99.995% 的服务可用性。在 DataFunSummit 2023 数据基础架构峰会上，我们分享了《美团大规模 KV 存储挑战与架构实践》，本文为演讲内容的整理。文章主要分为四个部分：第一部分介绍了美团 KV 存储发展历程；第二部分分享了内存 KV Squirrel 挑战和架构实践；第三部分阐述了持久化 KV Cellar 挑战和架构实践；最后一部分介绍了未来的发展规划。希望这些内容对大家有所帮助或启发。

查看详情
无图
ix ixyzero.com / 2023-10-30 23:38

Hadoop安全学习

Hadoop集群基本都放在内网，有一层网络隔离做保护，懂这个且想利用和能利用这个做坏事的人比较少，一般不容易出问题；对于没放在内网或者没有做隔离的那些公司或团队，安全意识和能力肯定是有较大欠缺，数据泄露的渠道和方式很多，不缺这一个，都不需要用这种方式来搞数据；使用第三方云服务的公司或团队一般不需要操心底层服务的安全问题，只需要关注上层应用的账号安全和使用安全等问题就行。

查看详情
无图
ix ixyzero.com / 2023-10-24 23:50

Hive SQL中的like和rlike

以前知道SQL中的 like 和 rlike 是有区别的，差别主要在于前者只支持 百分号(%)——匹配任意数量的任意字符，和下划线(_)——匹配一个任意字符 作为特殊字符，后者支持正则匹配——功能更强大，但速度一般也较慢。所以我一般是简单的、希望速度快些的情况下用like做模糊匹配，其它场景用rlike实现。但是近期在分析日志的时候发现Hive SQL中的 like 和 rlike 除了在功能上有区别之外，过滤生成的结果也有差异，比较奇怪，在此记录一下，方便后面参考。

查看详情
无图