mp mp.weixin.qq.com / 2017-10-16 10:01 / by @帘卷一庭秋

Kafka端到端审计

Kafka端到端审计是指生产者生产的消息存入至broker，以及消费者从broker中消费消息这个过程之间消息个数及延迟的审计，以此可以检测是否有数据丢失，是否有数据重复以及端到端的延迟等。

赞过的人

du dusays.com / 2024-11-02 16:54

Linux 安全 Auditd 审计工具使用说明

本文介绍了 Linux 的 Auditd 审计工具，用于监控和记录安全相关事件。内容涵盖工具安装、审计规则配置、日志管理和规则持久化。审计规则包括文件、系统调用的监控，适合检测敏感操作。通过 `auditctl`、`ausearch` 和 `aureport` 等工具，管理员可以分析日志并生成报告，提升系统的安全性和合规性。

查看详情

无图

di www.diguage.com / 2023-07-02 23:41

Kafka 常见面试题

Kafka 是由 LinkedIn 开发的一个分布式的消息系统，使用 Scala 编写，它以可水平扩展和高吞吐率而被广泛使用。Kafka 本身设计也非常精巧，有很多关键的知识点需要注意。在面试中，也常常被问到。整理篇文章，梳理一下自己的知识点。

查看详情

无图

te tech.meituan.com / 2022-08-31 23:25

Kafka在美团数据平台的实践

Kafka在美团数据平台承担着统一的数据缓存和分发的角色，随着数据量的增长，集群规模的扩大，Kafka面临的挑战也愈发严峻。本文分享了美团Kafka面临的实际挑战，以及美团针对性的一些优化工作，希望能给从事相关开发工作的同学带来帮助或启发。

查看详情

无图

te tech.meituan.com / 2022-07-24 20:48

数据库全量SQL分析与审计系统性能优化之旅

全量SQL（所有访问数据库的SQL）可以有效地帮助安全进行数据库审计，帮助业务快速排查性能问题。一般可通过开启genlog日志或者启动MySQL审计插件方式来进行获取，而美团选用了一种非侵入式的旁路抓包方案，使用Go语言实现。无论采用哪种方案，都需要重点关注它对数据库的性能损耗。本文介绍了美团基础研发平台抓包方案在数据库审计实践中遇到的性能问题以及优化实践，希望能对大家有所帮助或启发。

查看详情

无图

de developer.aliyun.com / 2020-11-06 09:53

网易云音乐基于 Flink + Kafka 的实时数仓建设实践

本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战：背景、Flink + Kafka 平台化设计、Kafka 在实时数仓中的应用、问题 & 改进。

查看详情

无图

in insights.thoughtworks.cn / 2020-04-01 12:25

目前来说市面上可以选择的消息队列非常多，像activemq，rabbitmq，zeromq已经被大多数人耳熟能详，特别像activemq早期应用在企业中的总线通信，基本作为企业级IT设施解决方案中不可或缺的一部分。目前来说Kafka已经非常稳定，并且逐步应用更加广泛，已经算不得新生事物，但是不可否认Kafka一枝独秀如同雨后春笋，非常耀眼，今天我们仔细分解一下Kafka，了解一下它的内幕。以下的内容版本基于当前最新的Kafka稳定版本2.4.0。文章主要包含以下内容：

Kafka为什么快
Kafka为什么稳
Kafka该怎么用
该文章为开篇引导之做，后续会有对应的HBase，Spark，Kylin，Pulsar等相关组件的剖析。

查看详情

无图

yq yq.aliyun.com / 2019-11-18 15:31

Kafka数据如何同步至MaxCompute实践讲解

本次分享主要介绍Kafka产品的原理和使用方式，以及同步数据到MaxCompute的参数介绍、独享集成资源组与自定义资源组的使用背景和配置方式、Kafka同步数据到MaxCompute的开发到生产的整体部署操作等内容。

查看详情

无图

yq yq.aliyun.com / 2019-10-31 16:12

Knative 实战：基于 Kafka 实现消息推送

当前在 Knative 中已经提供了对 Kafka 事件源的支持，那么如何基于 Kafka 实现消息推送呢？本文作者将以阿里云 Kafka 产品为例，给大家解锁这一新的姿势。消息队列 for Apache Kafka 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。消息队列 for Apache Kafka 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。

查看详情

无图

yq yq.aliyun.com / 2019-10-23 17:33

Flink Kafka Connector 与 Exactly Once 剖析

Flink Kafka Connector 是 Flink 内置的 Kafka 连接器，它包含了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka Topic 写出数据的 Flink Kafka Producer，除此之外 Flink Kafa Connector 基于 Flink Checkpoint 机制提供了完善的容错能力。本文从 Flink Kafka Connector 的基本使用到 Kafka 在 Flink 中端到端的容错原理展开讨论。

查看详情

无图

yq yq.aliyun.com / 2019-09-06 16:07

Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQL

上周六在深圳分享了《Flink SQL 1.9.0 技术内幕和最佳实践》，会后许多小伙伴对最后演示环节的 Demo 代码非常感兴趣，迫不及待地想尝试下，所以写了这篇文章分享下这份代码。希望对于 Flink SQL 的初学者能有所帮助。

查看详情

无图

Kafka端到端审计

赞过的人

发表评论

相关分享