《从0到1学习Flink》—— Flink 写入数据到 Kafka--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

《从0到1学习Flink》—— Flink 写入数据到 Kafka (www.54tianzhisheng.cn)

【简介】

之前文章《从0到1学习Flink》—— Flink 写入数据到 ElasticSearch 写了如何将 Kafka 中的数据存储到 ElasticSearch 中，里面其实就已经用到了 Flink 自带的 Kafka source connector（FlinkKafkaConsumer）。存入到 ES 只是其中一种情况，那么如果我们有多个地方需要这份通过 Flink 转换后的数据，是不是又要我们继续写个 sink 的插件呢？确实，所以 Flink 里面就默认支持了不少 sink，比如也支持 Kafka sink connector（FlinkKafkaProducer），那么这篇文章我们就讲讲如何将数据写入到 Kafka

点击查看原文 >>

由 @zhisheng_blog 2019-01-11 00:11 / 0个评论

赞过的人： @技术头条 @zhisheng_blog

防止数据泄露的高效策略-翻译整理 (ixyzero.com)

简单来说，就是数据安全左移，在每一个阶段都做卡点和检测，提高入侵/获取敏感数据的成本，减少后续阶段的日志告警量，提高告警检测准确率，利用自动化工具/平台提高响应的速度和效率。
未授权不可访问；有账号凭证要检测是否正常（常用设备、常用网络、常见时间、常见操作行为、……）；有账号也仅知其所需最小权限；梳理出的高权限账号的敏感操作进行重点关注。
数据尽量不落地，大部分操作在线即可完成，系统埋点要全面和准确；对于数据下载和外发格外关注，下载设备的DLP的健康状态和策略的有效性需要及时检查。

by @技术头条 2024-03-12 22:56 查看详情

基于接口数据变异的App健壮性测试实践 (tech.meituan.com)

本文主要介绍了对网络返回数据进行变异的客户端健壮性测试实践经验。文章第一部分介绍客户端健壮性测试的基本概念；第二部分分享了基于接口返回数据变异的App健壮性测试方案设计的思路；第三部分主要解读了变异数据的构造和异常检测方案设计；第四部分介绍了精简变异数据的探索方案。

by @技术头条 2024-03-12 22:45 查看详情

个人数据安全不完全指南 (thiscute.world)

这里介绍的并不是什么能一蹴而就获得超高安全性的傻瓜式方案，它需要你需要你有一定的技术背景跟时间投入，是一个长期的学习、实践与方案迭代的过程。另外如果你错误地使用了本文中介绍的工具或方案，可能反而会降低你的数据安全性，由此产生的任何损失与风险皆由你自己承担。

by @技术头条 2024-03-12 22:32 查看详情

简要说明 HTTPS 是如何保证数据安全 (www.addesp.com)

本文简要介绍HTTPS协议是如何保证数据在传输过程中的安全的。
由于是以介绍为主，所以不会涉及细节，而且肯定会有一些错误。如果想要详细了解可自行查阅资料。

by @技术头条 2023-11-06 23:31 查看详情

数据安全是什么？ (ixyzero.com)

说来也怪，做了很久的安全/数据安全，有些时候当其他人问你数据安全是什么，以及你做的是哪一部分，涉及到什么具体工作/产品/项目，为什么要做这些，怎么做好这些的问题时，还是会一愣，然后大概率从自己正在干的事情说起，好一点的可能还要加上以后的规划——这些事情很重要，如果讲不清楚很可能是基础不行或是没做过（又或者是近期务虚的工作多了，以前干的工作又没有及时深入总结，导致一时想不起来）；但在准备晋升答辩时，（这种自下而上的介绍方式/顺序）对于高阶的评委或者管理者来说，又不重要，他们想看的是全局、整体的思考，需要的是自上而下的视角；不过平时大部分实际干活的人，习惯于用自下而上的视角去看待自己的日常工作，这么做久了之后，可能就会光顾埋头赶路，忘了抬头看天，对于有一些想法和追求的人，建议每隔一段时间给自己安排一个从具体事务中抽离出来的机会，用自上而下的视角来观察一下自己的工作甚至是岗位（对公司/团队的价值在哪？），看看能不能有一些不一样的发现。

by @技术头条 2023-10-24 23:44 查看详情

使用 SQL 的方式查询消息队列数据以及踩坑指南 (crossoverjie.top)

为了让业务团队可以更好的跟踪自己消息的生产和消费状态，需要一个类似于表格视图的消息列表，用户可以直观的看到发送的消息；同时点击详情后也能查到消息的整个轨迹。

by @技术头条 2023-09-10 23:23 查看详情

廉价的家用工作站方案：ThinkPad 存储升级及数据迁移 (soulteary.com)

最近，给当台式服务器一样使用了两年的 ThinkPad 做了存储升级和数据迁移，对硬盘也做了额外的散热处理。本篇文章里，我们分享下相关的经验和思考，希望能够帮助到有同样诉求的你。

by @技术头条 2023-09-10 23:14 查看详情

聊一聊：我眼中的数据中台 (yance.wiki)

数据中台的触发点是美好的，作为数据密集型系统，数据的统一管理带来的收益更是巨大的。然而数据中台在企业中落地，实际上是难度很大，打破业务之间的壁垒、去除各部门对业务数据的垄断，如果没有自上而下的利益驱动，困难重重。

by @技术头条 2023-08-06 19:04 查看详情

简化Java单元测试数据 (insights.thoughtworks.cn)

冗杂繁复的数据初始化代码会影响单元测试本身的代码质量，造成单元测试编写成本高、易读性差、易维护性低等问题。

by @Thoughtworks 2023-07-28 12:46 查看详情

数据工程中的任务调度实践 (insights.thoughtworks.cn)

数据工程的任务调度应该以“日志驱动”作为解决方案。而日志驱动的重要部分“日志解耦”正是提高系统健壮性的利器。

by @Thoughtworks 2023-07-24 15:13 查看详情