MySql批量插入时,如何不插入重复的数据 (mp.weixin.qq.com)

【简介】

业务很简单:需要批量插入一些数据,数据来源可能是其他数据库的表,也可能是一个外部excel的导入

那么问题来了,是不是每次插入之前都要查一遍,看看重不重复,在代码里筛选一下数据,重复的就过滤掉呢?

点击查看全文 >>

@code小生 2022-02-13 22:18分享 / 0个评论
赞过的人: IT技术博客大学习 code小生
要不要再学学下面的文章?
如何设计数据可视化平台 (insights.thoughtworks.cn)
当数据平台逐渐变成每个企业发展所依赖的重要因素,设计出好用的数据可视化平台便是体验设计师的职责,文章会从设计的角度回答三个问题:什么是数据可视化?为什么需要可视化设计?以及该从何处着手设计一个数据可视化平台?
by @Thoughtworks 3小时前 分享 查看详情
业务数据治理体系化思考与实践 (tech.meituan.com)
美团住宿数据治理团队从事数据治理工作多年,从最初的被动、单点治理,发展到后来的主动、专项治理,再发展到现在的体系化、自动化治理。一路走来,他们不断进行积累和沉淀,也在持续思考与实践。目前该团队取得了一些阶段性的成果,并得到美团多个业务线的认可和肯定。过程的经验与教训,希望能和大家分享,也希望能给从事数据治理工作的同学带来一些新思路。
by @技术头条 2022-06-19 23:26 分享 查看详情
绿盟数据安全整体建设思路 (blog.nsfocus.net)
绿盟科技从数据安全建设顶层设计出发,提出“一个中心,四个领域,五个阶段”的数据安全体系建设思路。以数据安全防护为中心,在组织建设、制度流程,技术工具和人员能力4个领域同时开展建设工作,通过“知、识、控、察、行”五个步骤进行数据安全落地建设。
by @技术头条 2022-06-19 23:23 分享 查看详情
蒙皮数据的压缩 (blog.codingnow.com)
传统的蒙皮数据需要在模型顶点上存两组数据,其一为该顶点受哪些骨头的影响,其二为受这些骨头影响的权重。因为 GPU 的对齐影响,通常游戏中会将同一顶点受影响的骨头数量上限设为 4 。如果不做任何优化,骨头总数在 256 以下时,每个顶点需要 4 个字节保存骨头编号,再用 4 个 float 表示分别的权重。

因为权重之和总是为 1 ,所以,只用 3 个 float 也是可以的(第四个权重通过简单的计算就可以得到)。

因为权重总是 0-1 之间的数字,所以 32bits float 的精度远超所需,我们也并不需要浮点数。所以用 16bits [0,65535) 甚至 8bits (0,255] 来表示 0-1 的权重也够了。

所以,蒙皮一般至少占用 64bit 的定点数据 (4+4 bytes) 。

如果想进一步压缩,就需要一些复杂的技巧了。
by @技术头条 2022-06-19 22:42 分享 查看详情
正确处理全球五大互联网注册机构的 IP 数据 (soulteary.com)
如果我们不需要精准判断服务请求来源和用户 IP 归属地,使用全球五大 RIR 机构每日更新的 IP 分配数据,相比较使用商业 IP 数据库而言,会是一个低成本的方案(免费)。本文将聊聊如何正确对 APNIC、ARIN、RIPE NCC、LACNIC 和 AFRINIC 这五个全球顶级互联网注册机构(RIR)的 IP 注册数据进行处理。
by @技术头条 2022-06-19 19:25 分享 查看详情
4 个用来擦除数据的 Linux 工具 (linux.cn)
保持数据安全的最好方法之一是只向加密的硬盘驱动器写入数据。在一个标准的硬盘上,只要把硬盘挂载就可以查看数据,就像 U 盘一样,甚至可以用 Scalpel 和 Testdisk 等工具显示和恢复已删除的数据。但是在一个加密的驱动器上,如果没有解密密钥(通常是你在挂载驱动器时输入的密码),数据是无法被读取的。
加密可以在你安装操作系统时建立,有些操作系统甚至可以在安装后的任何时候激活加密功能。
但是,当你卖掉一台电脑或更换一个一开始就没有被加密的驱动器时,你该怎么办呢?
与从一开始就加密你的数据相比,最好的办法是在你用完硬盘后删除数据。
by @技术头条 2022-05-23 00:14 分享 查看详情
在 Apache Cassandra 中定义和优化数据分区 (linux.cn)
Apache Cassandra 是一个数据库,但又不是一个简单的数据库;它是一个复制数据库,专为可扩展性、高可用性、低延迟和良好性能而设计调整。Cassandra 可以帮你的数据在区域性中断、硬件故障时,以及很多管理员认为数据量过多的情况下幸免于难。

全面掌握数据分区知识,你就能让 Cassandra 集群实现良好的设计、极高的性能和可扩展性。在本文中,我将探究如何定义分区,Cassandra 如何使用这些分区,以及一些你应该了解的最佳实践方案和已知问题。
by @技术头条 2022-05-23 00:14 分享 查看详情
MySQL 云数据库物理备份本地恢复方案 (soulteary.com)
在国内不论是使用阿里云、腾讯云还是华为云的云平台版本的 MySQL 数据库,在遇到数据备份恢复的场景,都会遇到需要使用 Percona XtraBackup 工具进行备份还原的需求。看着网上一堆既啰嗦又落后的备份恢复方案,不免厌烦,借着再次帮朋友做数据迁移的机会,整理分享之前的实战笔记,希望能够帮助到有需求的同学。
by @技术头条 2022-05-23 00:09 分享 查看详情
MySQL5.7 vs 8.0,哪个性能更牛? (mp.weixin.qq.com)
测试mysql5.7和mysql8.0分别在读写,选定,只写模式下不同并发时的性能(tps,qps)
by @code小生 2022-05-15 09:51 分享 查看详情
彻底搞懂 MySQL 的 explain (cmsblogs.com)
explain关键字可以模拟MySQL优化器执行SQL语句,可以很好的分析SQL语句或表结构的性能瓶颈。
by @技术头条 2022-05-06 23:36 分享 查看详情