相关分享
学习了解数据仓库中的分层概念
本文详细介绍了数据仓库的分层概念,包括数据运营层(ODS)、数据仓库层(DW)和数据应用层(APP)。其中,DW层进一步细分为数据明细层(DWD)、数据中间层(DWM)和数据服务层(DWS)。文章阐述了各层的功能和作用,并通过实例说明如何在实际业务中应用这些分层概念。该内容适合数据工程师、数据分析师、数据架构师以及对数据仓库设计和实现感兴趣的技术人员阅读。
全域用户建模在美团首页推荐的探索与实践
本文详述了全域建模技术在美团首页推荐系统的发展和演进。美团首页推荐算法团队通过多阶段递进式探索验证,在召回与排序模块引入多展位、多应用渠道的多源用户交互数据,并在落地过程中解决了美团多展位、多业务、时空场景强相关性的特点导致的严重跨域信号负迁移挑战。
Spark向量化计算在美团生产环境的实践
美团在 Spark 生产环境中引入了向量化计算,使用 Gluten 和 Velox 框架,实现了大数据任务的加速和资源优化。本文详细讲解了 Spark 向量化的原理、性能提升以及美团的实施过程和遇到的挑战,适合关注大数据优化的技术人员。
了解和应对分布式拒绝服务攻击
分布式拒绝服务(DDoS)攻击是当今网络安全的重大威胁,如何有效应对是每个组织必须面对的挑战。本文详细介绍了DDoS攻击的类型、预防措施和应对策略,帮助你更好地保护系统免受攻击。想了解如何在面对DDoS时从容应对?不要错过这篇实用指南!
重复视频检测的价值和常见方法
全网范围内的主要精品视频主要来自MCN机构,一些公司为了更快更好地去覆盖全网内容,会选择和内容代理合作,而代理手上会有很多重复版权的内容,导致重复内容出现。另外,搬运视频也会导致重复内容出现,这些重复内容会造成极差的用户体验。
再者,大量内容相似的视频对于短视频平台存储、网络带宽等资源也是一个极大的挑战,为了不必要的资源浪费,对视频内容进行去重是非常有必要的。
升级到 Pulsar3.0 后深入了解 JWT 鉴权
最近在测试将 Pulsar 2.11.2 升级到 3.0.1的过程中碰到一个鉴权问题,正好借着这个问题充分了解下 Pulsar 的鉴权机制是如何运转的。
Pulsar 支持 Namespace/Topic 级别的鉴权,在生产环境中往往会使用 topic 级别的鉴权,从而防止消息泄露或者其他因为权限管控不严格而导致的问题。
剪映APP的视频特效如何在Web中JS实现
视频剪辑软件,无论是桌面端还是手机端,都已经被剪映称霸。其中,有个“特效”的标签页,里面有各式各样的效果。
本文会以pixi.js为基础工具,介绍这里面的特效如何在Web网页中实现。
这里面的特效分为了两种:一种是直接改变当前绘制的滤镜,主要是通过解析.frag后缀的文件后渲染实现,例如模糊,扭曲等效果。另外一种是混合滤镜,专门实现一些氛围特效效果,主要是通过解析MP4视频资源(本质是图片序列),然后使用滤色混合模式实现,例如下雨起雾,烟花绽放等效果。
前端视频播放技术概览
我们追剧、刷弹幕的时候,很少有人会去深入思考这些平台背后的技术奥秘。直到最近,我需要在前端项目中实现视频播放时,我终于意识到,这些视频不仅在格式上存在着差异,甚至连播放形式都各有不同。举个例子,当下最为火热的 “直播”,通常是指实时的视频播放。相对应地,非实时的视频播放则被称为 “点播”。如果你有接触过 Netflix,你或许还听说过 “流媒体” 这个词汇。为了更好地理解这些概念,我利用空闲时间整理了一个相对完整的技术体系,并以此为基础撰写了今天这篇文章。
美团外卖推荐关于用户新颖体验优化的技术探索
外卖场景下,用户“复购”属性强、下单频次高,既想下单老商家,也会想换换“新口味”。为更好平衡用户的复购、尝新体验,外卖推荐团队从2022年起开始持续投入,构建了外卖场景新颖性推荐的体系化解决方案。截止目前,外卖首页用户曝光新颖性累计提升19%+,新颖好评率累计提升7%+,用户新颖体验Case率累计降低18%+。本文将详细介绍外卖首页Feed用户新颖体验优化过程中面临的挑战、解决思路以及业务思考。
基于AI+数据驱动的慢查询索引推荐
目前,美团内部的日均慢查询数量已经超过上亿条,如何对对这些慢查询进行分析并建立合适的索引,是美团数据库研发中心面临的一项挑战。美团数据库平台研发组与华东师范大学展开了科研合作,通过基于AI+数据驱动的索引推荐,来与基于代价的方法并行地为慢查询推荐索引,以提升推荐效果。
