实战 | canal 实现Mysql到Elasticsearch实时增量同步 (mp.weixin.qq.com)

【简介】

题记
关系型数据库Mysql/Oracle增量同步Elasticsearch是持续关注的问题,也是社区、QQ群等讨论最多的问题之一。 问题包含但不限于: 1、Mysql如何同步到Elasticsearch? 2、Logstash、kafka_connector、canal选型有什么不同,如何取舍? 3、能实现同步增删改查吗? ..... 本文给出答案。

点击查看全文 >>

@zhisheng_tian 2019-04-01 21:57分享 / 0个评论
赞过的人: 技术头条 zhisheng_tian
要不要再学学下面的文章?
MySQL主备模式的数据一致性解决方案 (yq.aliyun.com)
根据阿里交易型业务的特点,以及在双十一这样业内罕有的需求推动下,我们在官方的MySQL基础上增加了非常多实用的功能、性能补丁。而在使用MySQL的过程中,数据一致性是绕不开的话题之一。本文主要从阿里巴巴“去IOE”的后时代讲起,向大家简单介绍下我们过去几年在MySQL数据一致性上的努力和实践,以及目前的解决方案。
by @可耐芊小仙女 2019-07-16 16:05 分享 查看详情
阿里云发布敏感数据保护产品SDDP,数据贴身防护实现“外防内控” (yq.aliyun.com)
数据安全问题,尤其是个人信息保护问题,一直是所有企业和个人关注的重点问题,7月10日,阿里云针对云上企业正式发布一款敏感数据保护产品SDDP(Sensitive Data Detection and Protection),该产品参考Gartner提出的DCAP框架(Data-Centric Audit and Protection,以数据为中心的审计与保护),结合了阿里云多年大数据处理技术、人工智能分析技术和数据安全运营实践,帮助客户精准识别敏感数据存储位置、多种算法组合脱敏确保数据安全可用、智能检测数据访问异常行为,实现了“外部攻击守源端、内部窃取能发现”的双重防护能力,帮助企业有效防止来自外部攻击和内部窃取导致的数据泄露。
by @可耐芊小仙女 2019-07-11 15:32 分享 查看详情
实践:轻松可视化实现设备监控大屏效果 (developer.aliyun.com)
前期团队一直在搭建与云端服务器对接的事情,近期终于落地,数据采集中心实现了服务端与可视化编辑器的融合,整个案例中脚本就两百行左右,基本通过可视化平台配置完成,体现我们平台的高效性。今天通过本案例讲解下服务端接口搭建、服务端与可视化编辑器是如何配合使用的。
by @可耐芊小仙女 2019-07-10 16:38 分享 查看详情
阿里云李响:阿里巴巴大规模云原生应用是如何实现的? (yq.aliyun.com)
6月26日,云原生领域顶级大会KubeCon + CloudNativeCon落下帷幕,作为云原生技术与应用的领先企业,阿里云全面展示了云原生产品家族、开源全景图,让企业、开发者轻松享受云的技术红利。如今,阿里云已经成为国内云原生领域开源贡献最全面的科技公司,涵盖编排调度、作业管理、无服务器框架等:
by @可耐芊小仙女 2019-06-28 16:36 分享 查看详情
突破!阿里云CDN实现毫秒级全网刷新 (yq.aliyun.com)
通常在某网站使用了CDN节点来实现内容分发加速后,当源站内容更新的时候,CDN刷新系统会通过提交刷新请求将CDN节点上的指定缓存内容强制过期。当用户访问的时候,CDN节点将回源获取最新内容返回给用户,并在缓存节点更新资源。传统CDN刷新的生效时间通常需要数分钟,并且随着服务节点的数量和形态增多,生效时间会线性变长。
by @可耐芊小仙女 2019-06-25 15:55 分享 查看详情
干货 | 浅析RDS MySQL 8.0语句级并发控制 (yq.aliyun.com)
为了应对突发的数据库请求流量,资源消耗过载的语句访问,SQL 访问模型的变化, 并保持 MySQL 实例持续稳定运行,AliSQL 版本设计了基于语句规则的并发控制,Statement Concurrency Control,以下简称 CCL,有效控制匹配某种规则的并发度,并提供了一组工具包(DBMS_CCL package) 方便快捷使用。
by @可耐芊小仙女 2019-06-20 17:04 分享 查看详情
重磅 | Elasticsearch7.X学习路线图 (mp.weixin.qq.com)
在关注Elastic 中文社区、QQ群、星球群的过程中,多多少少都会有一些基础问题冒出。而这些问题不复杂,多半都在官方文档中都有提及,稍稍复杂的在官方英文社区、中文社区都有过类似问题的讨论。

基本上通过Google、bing都能直接或间接搜索到答案。

那么问题是:为什么好多初学的朋友,找不到答案呢。

观察和思考了很久。我认为最主要的问题在于,没有建立基础知识全貌的认知。
by @zhisheng_tian 2019-06-18 20:39 分享 查看详情
自动编码(AE)器的简单实现 (yq.aliyun.com)
传统的自动编码器是一种数据的压缩算法,其算法包括编码阶段和解码阶段,且拥有对称的结构。目前自编码器的应用主要有两个方面,第一是数据去噪,第二是为进行可视化而降维。配合适当的维度和稀疏约束,自编码器可以学习到比PCA等技术更有意思的数据投影。
by @可耐芊小仙女 2019-06-18 15:22 分享 查看详情
基于 ZooKeeper 实现爬虫集群的监控 (www.jianshu.com)
本文介绍了如何使用 ZooKeeper 来监控 NetDiscovery 爬虫的集群。
by @Tony沈哲 2019-06-16 22:36 分享 查看详情
从源码角度分析 Kotlin by lazy 的实现 (www.jianshu.com)
延迟属性(lazy properties) 是 Kotlin 标准库中的标准委托之一,可以通过 by lazy 来实现。本文从源码角度分析 Kotlin by lazy 的实现
by @Tony沈哲 2019-06-16 22:32 分享 查看详情