时间序列数据的处理--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

【简介】

随着云计算和IoT的发展，时间序列数据的数据量急剧膨胀，高效的分析时间序列数据，使之产生业务价值成为一个热门话题。阿里巴巴数据库事业部的HiTSDB团队为您分享时间序列数据的计算分析的一般方法以及优化手段。

由 @幸运的猫耳 2018-05-30 16:10 / 0个评论

Go 中的高速数据包处理:从 net.Dial 到 AF_XDP (colobu.com)

最近编写了一个Go程序，向数百万个IP地址发送ICMP ping消息。显然，希望这个过程能尽可能快速高效地完成。因此,这促使我研究各种与网络栈交互和快速发送数据包的各种方法。这是一个有趣的旅程,所以在本文中,我将分享一些学习成果,并记录下来供将来参考:)你将看到，仅使用8个内核就可以达到1880万数据包/秒。这里还有一个GitHub仓库,其中包含了示例代码,可以方便地跟随学习。

by @技术头条 2024-03-21 22:55 查看详情

防止数据泄露的高效策略-翻译整理 (ixyzero.com)

简单来说，就是数据安全左移，在每一个阶段都做卡点和检测，提高入侵/获取敏感数据的成本，减少后续阶段的日志告警量，提高告警检测准确率，利用自动化工具/平台提高响应的速度和效率。
未授权不可访问；有账号凭证要检测是否正常（常用设备、常用网络、常见时间、常见操作行为、……）；有账号也仅知其所需最小权限；梳理出的高权限账号的敏感操作进行重点关注。
数据尽量不落地，大部分操作在线即可完成，系统埋点要全面和准确；对于数据下载和外发格外关注，下载设备的DLP的健康状态和策略的有效性需要及时检查。

by @技术头条 2024-03-12 22:56 查看详情

基于接口数据变异的App健壮性测试实践 (tech.meituan.com)

本文主要介绍了对网络返回数据进行变异的客户端健壮性测试实践经验。文章第一部分介绍客户端健壮性测试的基本概念；第二部分分享了基于接口返回数据变异的App健壮性测试方案设计的思路；第三部分主要解读了变异数据的构造和异常检测方案设计；第四部分介绍了精简变异数据的探索方案。

by @技术头条 2024-03-12 22:45 查看详情

个人数据安全不完全指南 (thiscute.world)

这里介绍的并不是什么能一蹴而就获得超高安全性的傻瓜式方案，它需要你需要你有一定的技术背景跟时间投入，是一个长期的学习、实践与方案迭代的过程。另外如果你错误地使用了本文中介绍的工具或方案，可能反而会降低你的数据安全性，由此产生的任何损失与风险皆由你自己承担。

by @技术头条 2024-03-12 22:32 查看详情

高效I/O并发处理：双缓冲和Exchanger (colobu.com)

双缓冲(double buffering)是高效处理I/O操作的一种并发技术，它使用两个buffer,一个goroutine使用其中一个buffer进行写，而另一个goroutine使用另一个buffer进行读，然后进行交换。这样两个goroutine可能并发的执行，减少它们之间的等待和阻塞。

本文还提供了一个类似Java的java.util.concurrent.Exchanger的Go并发原语，它可以用来在两个goroutine之间交换数据，快速实现双缓冲的模式。这个并发原语可以在github.com/smallnest/exp/sync/Exchanger找到。

by @技术头条 2024-01-17 23:05 查看详情

简要说明 HTTPS 是如何保证数据安全 (www.addesp.com)

本文简要介绍HTTPS协议是如何保证数据在传输过程中的安全的。
由于是以介绍为主，所以不会涉及细节，而且肯定会有一些错误。如果想要详细了解可自行查阅资料。

by @技术头条 2023-11-06 23:31 查看详情

更精准的时延：使用软件时间戳和硬件时间戳 (colobu.com)

一般情况下，我们通过在应用层读取时间戳，计算两个时间戳的延时($t1 - t0$)，就可以得到时延，就足够了。通过观察这个数据，我们可以看到网络的时延情况(latency)和抖动(jitter)。但是有时候,我们想知道物理网络传输网络的时延是多少，比如北京A机房到B机房的时延，如果通过应用层的时间戳来计算，误差就太大了。为什么呢？

by @技术头条 2023-10-24 23:54 查看详情

数据安全是什么？ (ixyzero.com)

说来也怪，做了很久的安全/数据安全，有些时候当其他人问你数据安全是什么，以及你做的是哪一部分，涉及到什么具体工作/产品/项目，为什么要做这些，怎么做好这些的问题时，还是会一愣，然后大概率从自己正在干的事情说起，好一点的可能还要加上以后的规划——这些事情很重要，如果讲不清楚很可能是基础不行或是没做过（又或者是近期务虚的工作多了，以前干的工作又没有及时深入总结，导致一时想不起来）；但在准备晋升答辩时，（这种自下而上的介绍方式/顺序）对于高阶的评委或者管理者来说，又不重要，他们想看的是全局、整体的思考，需要的是自上而下的视角；不过平时大部分实际干活的人，习惯于用自下而上的视角去看待自己的日常工作，这么做久了之后，可能就会光顾埋头赶路，忘了抬头看天，对于有一些想法和追求的人，建议每隔一段时间给自己安排一个从具体事务中抽离出来的机会，用自上而下的视角来观察一下自己的工作甚至是岗位（对公司/团队的价值在哪？），看看能不能有一些不一样的发现。

by @技术头条 2023-10-24 23:44 查看详情

使用 SQL 的方式查询消息队列数据以及踩坑指南 (crossoverjie.top)

为了让业务团队可以更好的跟踪自己消息的生产和消费状态，需要一个类似于表格视图的消息列表，用户可以直观的看到发送的消息；同时点击详情后也能查到消息的整个轨迹。

by @技术头条 2023-09-10 23:23 查看详情

廉价的家用工作站方案：ThinkPad 存储升级及数据迁移 (soulteary.com)

最近，给当台式服务器一样使用了两年的 ThinkPad 做了存储升级和数据迁移，对硬盘也做了额外的散热处理。本篇文章里，我们分享下相关的经验和思考，希望能够帮助到有同样诉求的你。

by @技术头条 2023-09-10 23:14 查看详情