基于AI+数据驱动的慢查询索引推荐 (tech.meituan.com)
目前,美团内部的日均慢查询数量已经超过上亿条,如何对对这些慢查询进行分析并建立合适的索引,是美团数据库研发中心面临的一项挑战。美团数据库平台研发组与华东师范大学展开了科研合作,通过基于AI+数据驱动的索引推荐,来与基于代价的方法并行地为慢查询推荐索引,以提升推荐效果。
by @技术头条 2023-07-04 23:28 查看详情
分布式锁之 Apache Curator InterProcessReadWriteLock (www.diguage.com)
在上一篇文章 分布式锁之 Apache Curator InterProcessMutex 中介绍了基于 ZooKeeper 实现的互斥锁。除此之外,还可以实现读写锁。这篇文章就来简要介绍一下 InterProcessReadWriteLock 的实现原理。
by @技术头条 2023-07-04 23:26 查看详情
分布式锁之 Apache Curator InterProcessMutex (www.diguage.com)
对分布式锁耳熟能详。不过,一直关注的是基于 Redis 实现的分布式锁。知道 ZooKeeper 也可以实现分布式锁。但是,原来的想法是把 Redis 那个思路切换到 ZooKeeper 上来实现就好。今天了解到 Apache Curator 内置了分布式锁的实现: InterProcessMutex。查看了一下源码实现,发现跟基于 Redis 实现的源码相比,在思路上还是有很大不同的。所以,特别作文记录一下。
by @技术头条 2023-07-04 23:25 查看详情
低代码,想说爱你不容易 (blog.yuanpei.me)
当我了解了低代码和零代码的差异以后,我突然明白,我需要的其实是零代码,因为我希望那帮业务人员能自己搞定,这样就不用再来烦我,可经历这段时间的“低代码”,我清醒地认识到,这个想法根本不现实。
by @技术头条 2023-07-04 23:24 查看详情
日志最佳实践探究 (www.diguage.com)
加入公司以来,参与了很多个项目的开发维护;也排查处理过很多线上问题;为了写 Mock 测试,也专门去日志系统上扒拉过不少日志等等。在整个过程中,对日志的认识有了不少更深刻的认识和体会。也发现不少问题。这里先从存在的问题展开论述。
by @技术头条 2023-07-04 23:22 查看详情
密码管理和2FA管理软件 (ttzz.eu.org)
现在网络上各种网站服务非常多,每个人至少都有注册过几十上百个网站,账号密码的管理显得尤为重要,很多人为了便于记忆,多种账号采用相同的密码,这种做法非常不安全,因为一旦有一个平台的密码泄露,就很容易被撞库攻击。
by @技术头条 2023-07-04 23:22 查看详情
为你的服务器集成 LDAP 认证 (blog.yuanpei.me)
本文分享了 Nginx 和 Apache 结合 LDAP 实现身份认证的过程,背景则是企业级应用开发过程中对单点登陆、域账号登录的诉求。
by @技术头条 2023-07-04 23:18 查看详情
iptables 及 docker 容器网络分析 (thiscute.world)
本文先介绍 iptables 的基本概念及常用命令,然后分析 docker/podman 是如何利用 iptables 和 Linux 虚拟网络接口实现的单机容器网络。
by @技术头条 2023-07-04 23:16 查看详情
JWT 签名算法 HS256、RS256 及 ES256 及密钥生成 (thiscute.world)
JWT 规范的详细说明请见「参考」部分的链接。这里主要说明一下 JWT 最常见的几种签名算法(JWA):HS256(HMAC-SHA256) 、RS256(RSA-SHA256) 还有 ES256(ECDSA-SHA256)。

这三种算法都是一种消息签名算法,得到的都只是一段无法还原的签名。区别在于消息签名与签名验证需要的 「key」不同。
by @技术头条 2023-07-04 23:16 查看详情
聊一聊:Python和Golang的垃圾回收 (yance.wiki)
GC作为现代编程语言的自动内存管理机制,专注于两件事:1. 找到内存中无用的垃圾资源 2. 清除这些垃圾并把内存让出来给其他对象使用。GC彻底把程序员从资源管理的重担中解放出来,让他们有更多的时间放在业务逻辑上。但这并不意味着码农就可以不去了解GC,毕竟多了解GC知识还是有利于我们写出更健壮的代码。
by @技术头条 2023-07-04 23:14 查看详情
Prometheus relabel实现动态metrics path (www.iots.vip)
  Prometheus 的 relabel 功能可以在目标的 label 被抓取之前重写它,每个采集配置可以配置多个 relabel,并按照配置的顺序来应用于每个 target 的 label。利用这个特性,我们可以实现动态的 metrics-path。
by @技术头条 2023-07-04 23:12 查看详情
iterm2自动输入堡垒机TOTP验证码 (www.iots.vip)
  堡垒机强制启用了 MFA 双因子认证,每次都需要打开 APP 输入验证码,对于登录频繁的人来说非常不方便,于是利用 expect 与 oath-toolkit 完成了自动登录。(友情提示:本处堡垒机为仅内网可访问,且为边缘测试系统环境,出于安全考虑请不要在重要环境下使用)。
by @技术头条 2023-07-04 23:12 查看详情
使用底层的syscall.Socket实现网络编程 (colobu.com)
socket 函数是一个系统调用,用于在操作系统内核中创建一个新的网络套接字。套接字是一种在网络上进行通信的抽象对象,通过套接字,应用程序可以使用不同的网络协议进行通信,如 TCP、UDP 等,甚至我们可以实现自定义的协议。
by @技术头条 2023-07-04 23:11 查看详情
每秒1百万的包传输,几乎不耗CPU的那种 (colobu.com)
这两年来我一直在做网络故障监控的工作,经常使用的一个手段就是发送一些探测包进行网络的探测,根据丢包和时延,再结合网络拓扑等手段分析现网网络故障。因为要监控的是度厂全部网络的质量状况,并且需要很高的精度去覆盖网络设备、板卡、端口以及他们之间映射等所有的路径,所以需要尽量发送高频的探测包去快准狠的感知到故障并发现。同时,和业务网络程序的不一样,业务程序一般是业务层代码,TCP的重传的机制,或者业务换个五元组重连一次,就会绕过网络中的故障,而网络监控也需要把这个链路中这些故障找出来,经常我会使用UDP或者TCP的握手包进行网络的探测,再不济使用ICMP协议进行网络的探测。
by @技术头条 2023-07-04 23:11 查看详情
AWK 简介 (www.diguage.com)
这周需要处理一个日志文件,有一次体会到 AWK 强大和方便,但也认识到自己对 AWK 了解的粗浅。所以,写篇文章再深入学习一下。
根据维基百科显示,AWK 于二十世纪七十年代在 Bell Labs 创建;其名字来源于三位创始人: Alfred Aho、Peter Weinberger and Brian Kernighan。AWK 是一个现在几乎每台 Linux 机器上都会有这个命令。
AWK 是一种领域专用语言,专用设计用于文本处理,常用于提取文本或者生成报告。 AWK 也像 Shell 一样,方言和实现众多。D瓜哥这里选择最常用的 GNU AWK 实现。
AWK 是以行为单位来处理文本的。它不仅仅是一个命令行,而且是一门语言。
by @技术头条 2023-07-04 23:10 查看详情
关于 MySQL 新版连接驱动时区对齐问题的研究 (www.diguage.com)
在一个项目开量验证过程中,发现 createDate 字段不正确,比正确时间晚了十四个小时。调研发现,这是一个非常典型的问题。现在把定位问题的思路和解决办法给大家做个分享。
by @技术头条 2023-07-04 23:10 查看详情
像闪电一样快速扫描全网的IP地址 (colobu.com)
这一篇是使用gopacket库编程的一部分,主要是通过手工构造数据链路层、网络层、传输层的包,实现扫描全网(示例中是中国大陆的) ipv4的IP地址,看看对应的网络是否可达。 首先我们需要知道全网的IP地址,其实我们可以使用fping探测这些IP是否连通,然后我们自己基于ICMP快速扫描这些IP,找出全网活跃的IP地址,最后我们使用tcp scan的方式扫描全网的IP,甚至你可以扫描公网上暴露的Redis实例。


请勿用本文介绍的技术做任何违法的事情。本文只分享网络底层(高级)的编程技术,不涉及公司的业务逻辑,不涉及任何黑客行为。
by @技术头条 2023-07-04 23:09 查看详情
像闪电一样快速扫描全网的IP地址 (colobu.com)
这一篇是使用gopacket库编程的一部分,主要是通过手工构造数据链路层、网络层、传输层的包,实现扫描全网(示例中是中国大陆的) ipv4的IP地址,看看对应的网络是否可达。 首先我们需要知道全网的IP地址,其实我们可以使用fping探测这些IP是否连通,然后我们自己基于ICMP快速扫描这些IP,找出全网活跃的IP地址,最后我们使用tcp scan的方式扫描全网的IP,甚至你可以扫描公网上暴露的Redis实例。


请勿用本文介绍的技术做任何违法的事情。本文只分享网络底层(高级)的编程技术,不涉及公司的业务逻辑,不涉及任何黑客行为。
by @技术头条 2023-07-04 23:09 查看详情
人机语音交互场景中的低延迟流式语音识别技术 (tech.meituan.com)
美团语音交互部针对交互场景下的低延迟语音识别需求,提出了一种全新的低出字延迟流式语音识别方案。本方法将降低延迟问题转换成一个知识蒸馏过程,极大地简化了延迟优化的难度,仅通过一个正则项损失函数就使得模型在训练过程中自动降低出字延迟。在实验测试集上,本方法能够获得最高近 200 毫秒左右的平均出字延迟降低。
by @技术头条 2023-07-04 23:08 查看详情
任意两个点的曲线连接JS算法 (www.zhangxinxu.com)
研究下给任意两个点,这两个点使用贝塞尔曲线连接该如何实现。
by @技术头条 2023-07-04 23:08 查看详情