BR 技术头条 技术链接、资讯与社区分享流
yq yq.aliyun.com / 2017-04-01 08:39 / by @云栖精选

Spark与HBase的整合

打开原文 0 条评论

发表评论

相关分享

te tech.meituan.com / 2024-09-09 23:41

Spark向量化计算在美团生产环境的实践

美团在 Spark 生产环境中引入了向量化计算，使用 Gluten 和 Velox 框架，实现了大数据任务的加速和资源优化。本文详细讲解了 Spark 向量化的原理、性能提升以及美团的实施过程和遇到的挑战，适合关注大数据优化的技术人员。

查看详情
无图
bl blog.yuanpei.me / 2023-07-30 17:42

浅议分布式链路追踪与日志的整合

最近拜读了 Artech 大佬的新文章 《几个Caller-特性的妙用》，可以说是受益匪浅。不过，对我而言，最大的收获当属这篇文章里的第二主角，即 ActivitySource 和 Activity，这组 API 可以认为是微软针对 OpenTelemetry 规范的一种实现，即：每一个 Activity 都对应着一个 Span 。经过数日的探索，我有了一点小小的收获。因此，今天这篇博客我想和大家分享的是，分布式链路追踪系统如何和日志系统进行整合。

查看详情
无图
fo forum.lovejade.cn / 2022-03-25 23:24

搜索引擎优化（SEO）之整合重复网址

网络营销中有两个很大的分类，分别为付费的广告和免费的 SEO，SEO 的好处在于：免费流量，被动访问，源源不断。自 2021 年 9 月，对于所维护的 Web 应用：倾城之链，有购买 Google 广告，最近两月已取得不错的效果。在另 SEO 维度，也该付诸努力，使其也发挥效用。春节期间，因为些缘由，没有回老家，闲余时间，有阅读些 SEO 相关分享；本文旨在将可用于倾城之链的优化手法，记录于此，以观后效。

查看详情
无图
in insights.thoughtworks.cn / 2020-04-09 18:49

Apache HBase内核深度剖析

前面一篇文章介绍了Kafka的具体内容，今天讲述一下HBase相关的知识。首先HBase作为大数据发展初期伴随Google三大论文问世的一个组件，在今天依旧被广泛的应用，今天我们来仔细的分析一下HBase的内部原理，了解一下HBase的具体内幕，以便在工作中更好使用它。以下内容涉及到的源码基于HBase 的Master分支编译出的最新的3.0.0版本。

查看详情
无图
54 www.54tianzhisheng.cn / 2020-02-23 09:02

Flink 整合 Nacos，让 Flink 作业配置动态更新不再是难事

本人自己录的视频，讲解 Flink 整和 Nacos，动态更新作业配置，无需重启作业！

我们知道 Flink 作业的配置一般都是通过在作业启动的时候通过参数传递的，或者通过读取配置文件的参数，在作业启动后初始化了之后如果再想更新作业的配置一般有两种解决方法

查看详情
无图
yq yq.aliyun.com / 2019-12-05 17:07

Spark在MaxCompute的运行方式

左侧是原生Spark的架构图，右边Spark on MaxCompute运行在阿里云自研的Cupid的平台之上，该平台可以原生支持开源社区Yarn所支持的计算框架，如Spark等。

查看详情
无图
yq yq.aliyun.com / 2019-11-13 15:28

阿里HBase高可用8年“抗战”回忆录

2017年开始阿里HBase走向公有云，我们有计划的在逐步将阿里内部的高可用技术提供给外部客户，目前已经上线了同城主备，将作为我们后续高可用能力发展的一个基础平台。本文分四个部分回顾阿里HBase在高可用方面的发展：大集群、MTTF&MTTR、容灾、极致体验，希望能给大家带来一些共鸣和思考。

查看详情
无图
yq yq.aliyun.com / 2019-11-12 15:23

最佳实践 | RDS & POLARDB归档到X-Pack Spark计算

X-Pack Spark服务通过外部计算资源的方式，为Redis、Cassandra、MongoDB、HBase、RDS存储服务提供复杂分析、流式处理及入库、机器学习的能力，从而更好的解决用户数据处理相关场景问题。

查看详情
无图
yq yq.aliyun.com / 2019-11-11 15:59

阿里云HBase推出普惠性高可用服务，独家支持用户的自建、混合云环境集群

HBase可以支持百TB数据规模、数百万QPS压力下的毫秒响应，适用于大数据背景下的风控和推荐等在线场景。阿里云HBase服务了多家金融、广告、媒体类业务中的风控和推荐，持续的在高可用、低延迟、低成本方向上进行优化。目前单集群承诺可用性99.9%，SSD机型上可以做到请求毛刺99.5% < 50ms，以及新上线的表内冷热分离可以加速热数据访问性能、减少冷数据存储成本并且在API上对用户透明。为了进一步满足客户在可用性以及低延迟上的诉求，阿里云HBase将提供以主备架构为平台，以冗余、并发、隔离、降级等全方位服务为支撑的高可用解决方案，目标提供99.99%可用性、99.9%请求小于50ms。目前高可用项目一期已经完成，本文将介绍主备架构以及一键切换能力。

查看详情
无图