技术头条的分享--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

Redis可以说是一个内存级数据库，受限于物理内存的大小，我们会限制Redis对内存的使用，这在Redis中主要体现在以下两个方面：
1、删除已经过期的Key；
2、内存使用达到maxmemory上限时触发内存溢出控制策略；

by @技术头条 2022-12-10 22:59 分享查看详情

在使用Docker或者Kubernetes时，我们经常需要监控容器或者Pod的内存，同时我们也经常收到反馈内存不准确的情况，这不仅是因为存在Buffer、Cache的影响，不同的算法指标也会得出不同的结果。

接下来我们先回顾下我们最古老的计算方法，然后分别取分析docker stats 和 kubectl top 中的内存计算方法。

by @技术头条 2022-12-10 22:58 分享查看详情

MogDB ASH机制浅析 (www.dbform.com)

ASH实际上是Oracle数据库中的一个名词，全称是Active Session History，这项功能会在数据库内存和持久化的系统表里都记录下每隔一定周期的活跃会话的信息，内存中的数据重启数据库以后会清空，但是持久化的系统表数据会长期保留。因为ASH的存在，所以当数据库发生故障或者经历性能问题，需要回溯定位问题原因的时候，非常有帮助。

在MogDB中，同样实现了ASH能力。

by @技术头条 2022-12-10 22:57 分享查看详情

间断储存的字符串 (blog.codingnow.com)

绝大部分的基础数据结构都是定长的，很容易针对优化它们的内存管理。但字符串是一个例外。
内存管理和其它资源管理有明显的不同。管理内存有点像切蛋糕，从整块蛋糕上切下需要的那块，但归还的时候却因为支离破碎难以合并起来满足后续用途。举个极端的例子：如果内存堆有 2G 大小，如果碰巧在正中间分配了几个字节而从未释放，这个堆就被永久的分成了两个不足 1G 的分片。之后再无可能从这个 2G 大小的堆中分配出 1G 的内存块。
改进内存分配算法或许可以减轻内存碎片的危害，但即使是在此方面做了相当多努力的 jemalloc ，其表现也大大低于一般用户的预期。以我的经验，一个 16G 的内存堆，对于长期运行，需要大量反复分配释放内存的程序，通常能做到 10G 左右的峰值有效内存占用就不错了。这里说的有效内存使用，指你调用 malloc 传入的字节数之和。根据应用程序使用内存的方式不同，这个数字会有很大的不同。

by @技术头条 2022-12-10 22:56 分享查看详情

短视频平台上与不实信息的博弈 (weiwuhui.com)

可以说，不实信息和人类的诞生如影随形。这和我们天生就爱八卦有关，赫拉利在《人类简史》中给出了有趣的一段论证。
本来限于传播技术，流言蜚语也好，道听途说也好，传播的速度和广度也是有限的。web2.0带来的ugc，使得这些内容借助跨越时空的互联网，出现在信息世界中。
时至今日，这类信息与传播，在短视频上，找到了它们的栖息地。
这和短视频这种媒介形式有关。

by @技术头条 2022-12-10 22:46 分享查看详情

关于充电宝的小电流模式 (phpor.net)

很多元件都支持usb供电，这个也是充电宝的本职工作。

但是，插上之后开始还好好的，过不了几秒就不行了，难道是充电宝坏了？重插就是好的。

by @技术头条 2022-12-10 22:46 分享查看详情

智能文档处理IDP关键技术与实践-高翔 (www.52nlp.cn)

什么是智能文档处理？针对文本数据处理尤其是纯文本，大家通常会想到使用自然语言处理（Natural language processing，NLP）技术来解决语义理解及分析处理工作。关于自然语言处理技术的研究有很长历史，针对不同层面文本处理和分析有很多技术点，常见技术例如分词与词性标注、命名实体识别、句法结构分析、文本分类、文本摘要等功能。

by @技术头条 2022-12-10 22:41 分享查看详情

OCR技术发展综述与达观数据的实践经验 (www.52nlp.cn)

光学字符识别OCR技术（Optical Character Recognition）是指从图像中自动提取文字信息的技术。这项技术横跨了人工智能里的两大领域：CV（计算机视觉）和NLP（自然语言处理），综合使用了这两大领域中的很多技术成果。

在过往40余年的技术发展历程中，OCR始终具备很强的产业应用背景，是计算机领域里少数几个一开始就由工业界和学术界双轮驱动的领域。近年来OCR技术已经在工业界成熟落地应用，学术界里对此的研究热度反而弱于其他方向。甚至有人认为OCR技术已经充分成熟，没有更多研究必要了。然而随着近年来智能文本处理IDP（Intelligent Document Processing）在工业界的逐步落地应用，OCR和IDP相结合的应用场景越来越多，用语义理解NLP的角度进一步去延伸OCR的应用，出现了很多更有产业应用价值的场景。本文回顾了OCR技术的发展历程，并结合达观数据在工程实践方面的经验，介绍与语义分析技术结合后，当前OCR技术的一些最新发展和落地经验。

by @技术头条 2022-12-10 22:41 分享查看详情

如何在 VSCode 中自动缩进你的代码 (linux.cn)

代码中的缩进指的是你在代码行的开头处的空格。像其他代码编辑器和 IDE 一样，VSCode 允许你自动缩进你的代码。

by @技术头条 2022-12-10 22:36 分享查看详情

如何在 16 位系统上进行 64 位数学运算 (linux.cn)

只要对汇编有一点基本的了解，这些函数就能扩展到任意位长的整型数学运算。

几年前，作者为 FreeDOS 写了一个叫做 VMATH 的命令行数学程序。它只能在很小的无符号整型上执行十分简单的数学运算。随着近来 FreeDOS 社区里对基础数学的兴趣，作者改进了 VMATH 使其可以为有符号 64 位整型提供基本的数学支持。

仅使用 16 位 8086 兼容的汇编指令来操控大型数字的过程并不简单。作者希望能够分享一些在 VMATH 中用到的技术例子。其中一些方法掌握起来相当容易。而另外一些方法则看起来有点奇怪。你甚至可能学到一种进行基本数学运算的全新方式。

by @技术头条 2022-12-10 22:36 分享查看详情

了解 Lua 的 for 循环 (linux.cn)

了解 for 循环结构和你在控制它时拥有的选项，这样你可以对如何在 Lua 中处理数据做出聪明的决定。

在编程中，迭代是一个重要的概念，因为代码通常必须多次扫描一组数据，以便它可以单独处理每个项目。控制结构使你能够根据通常在程序运行时动态建立的条件来指导程序的流程。不同的语言提供不同的控制，在Lua中，有while循环、for循环和repeat until循环。本文介绍for循环。

by @技术头条 2022-12-10 22:35 分享查看详情

Apache Doris在美团外卖数仓中的应用实践 (tech.meituan.com)

美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析，由于外卖业务特点带来的数据生产成本较高和查询效率偏低的问题，他们通过引入Apache Doris引擎优化生产方案，实现了低成本生产与高效查询的平衡。

by @技术头条 2022-12-10 22:32 分享查看详情

美团弹性伸缩系统的技术演进与落地实践 (tech.meituan.com)

弹性伸缩具有应突发、省成本、自动化的业务价值。平台侧将各业务零散、闲置资源进行整合，形成一个大规模资源池，通过弹性调度、库存管控技术在公司运营成本和业务体感中寻求较好的平衡。本文将介绍弹性伸缩系统落地过程中面临的技术挑战、推广以及运营层面的一些思考。

by @技术头条 2022-12-10 22:31 分享查看详情

图技术在美团外卖下的场景化应用及探索 (tech.meituan.com)

在外卖广告CTR预估建模中，我们依托图技术在场景化上进行了一系列探索。本文首先介绍了使用图网络技术的出发点，然后从特征层面的抽象图关系到子图扩展以及场景感知子图，逐步介绍如何使用图技术建模业务问题，并针对联合训练的线上服务细节及效果进行解释和分析，希望能给从事相关工作的同学带来一些帮助或启发。

by @技术头条 2022-09-13 23:34 分享查看详情

TLS指纹分析研究（上） (blog.nsfocus.net)

TLS协议已经成为互联网上最流行的协议，以确保网络通信免受干扰和窃听。TLS被用于加载Firefox浏览器中超过70%的网页，随着越来越多的网站、服务和应用程序切换到TLS，其应用将继续增长。

由于网络管理人员可以识别和阻止自定义协议，很多恶意工具已经转向使用现有协议，TLS的流行为这些恶意工具提供了一个很好的选择，使用TLS协议的恶意工具可以将其流量隐藏在大量web浏览器和其他TLS的合法覆盖流量中以逃避检测。

本文分享一篇指纹数据分析的论文，通过收集和分析9个月内超过110亿个真实的TLS连接流量，从白流量的角度给出一些结论，希望给研究人员带来一些思考。

by @技术头条 2022-09-13 23:33 分享查看详情

Unix 历史：一个伟大作品的诞生 (linux.cn)

本文是关于 Unix 及其起源的简短回忆。

Unix 是少数具有独到思想并致力于解决问题的人取得的非凡成就。如果考虑到在创建操作系统当时可用的计算能力和内存量，这个操作系统简直就是一件艺术品。

几十年来，所有这些一步步的进步，最终使我们走到了今天。无论有多少内核、操作系统和以编程语言形式出现的抽象概念，就其本质而言，它们都始于一个单一的来源。

我一直认为程序或代码是人类的思想，是你的逻辑、想法，只是写在 “IF-ELSE” 语句中，以实现一些现实世界的结果。

by @技术头条 2022-09-13 23:30 分享查看详情

GraphQL及元数据驱动架构在后端BFF中的实践 (tech.meituan.com)

GraphQL是Facebook提出的一种数据查询语言，核心特性是数据聚合和按需索取，目前被广泛应用于前后端之间，解决客户端灵活使用数据问题。本文介绍的是GraphQL的另一种实践，我们将GraphQL下沉至后端BFF层之下，结合元数据技术，实现数据和加工逻辑的按需查询和执行。这样不仅解决了后端BFF层灵活使用数据的问题，这些字段加工逻辑还可以直接复用，大幅度提升了研发的效率。本文介绍的实践方案已经在美团部分业务场景中落地，并取得不错效果，希望这些经验能够对大家有帮助。

by @技术头条 2022-09-13 23:28 分享查看详情

提升资源利用率与保障服务质量，鱼与熊掌不可兼得？ (tech.meituan.com)

美团Hulk调度系统团队在集群服务质量与资源利用率运营的长期落地实践中，基于业务实际场景，自主设计研发了集群负载自动调控系统（LAR）以及配套的运营体系，在提升集群整体资源利用率的同时保障了业务服务质量。本文介绍了LAR的设计理念、基本框架以及核心设计，并结合在线和混部场景应用展开思考，并展示了部分落地成果。希望能为从事相关工作的同学带来一些启发或者帮助。

by @技术头条 2022-09-13 23:27 分享查看详情

智能搜索模型预估框架Augur的建设与实践 (tech.meituan.com)

本文将与大家探讨美团搜索与NLP部使用的统一在线预估框架Augur的设计思路、效果、优势与不足，希望对大家有所帮助或者启发。

by @技术头条 2022-09-12 22:41 分享查看详情

基于AI算法的数据库异常监测系统的设计与实现 (tech.meituan.com)

美团数据库平台研发组，面临日益急迫的数据库异常发现需求，为了更加快速、智能地发现、定位和止损，我们开发了基于AI算法的数据库异常检测服务。本文从特征分析、算法选型、模型训练与实时检测等维度介绍了我们的一些实践和思考，希望为从事相关工作的同学带来一些启发或者帮助。

by @技术头条 2022-09-12 22:41 分享查看详情

技术头条 的分享

技术头条的分享