PyODPS DataFrame 处理笛卡尔积的几种方式--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

PyODPS DataFrame 处理笛卡尔积的几种方式 (yq.aliyun.com)

【简介】

笛卡尔积最常出现的场景是两两之间需要比较或者运算。以计算地理位置距离为例，假设大表 Coordinates1 存储目标点经纬度坐标，共有 M 行数据，小表 Coordinates2 存储出发点经纬度坐标，共有 N 行数据，现在需要计算所有离目标点最近的出发点坐标。对于一个目标点来说，我们需要计算所有的出发点到目标点的距离，然后找到最小距离，所以整个中间过程需要产生 M * N 条数据，也就是一个笛卡尔积问题。

点击查看原文 >>

由 @可耐芊小仙女 2019-06-13 15:37 / 0个评论

Go 中的高速数据包处理:从 net.Dial 到 AF_XDP (colobu.com)

最近编写了一个Go程序，向数百万个IP地址发送ICMP ping消息。显然，希望这个过程能尽可能快速高效地完成。因此,这促使我研究各种与网络栈交互和快速发送数据包的各种方法。这是一个有趣的旅程,所以在本文中,我将分享一些学习成果,并记录下来供将来参考:)你将看到，仅使用8个内核就可以达到1880万数据包/秒。这里还有一个GitHub仓库,其中包含了示例代码,可以方便地跟随学习。

by @技术头条 2024-03-21 22:55 查看详情

以非阻塞方式执行一个函数 (blog.codingnow.com)

用过 skynet 的应该都碰到过：当我们在服务中不小心调用了一个长时间运行而不返回的 C 函数，会独占一个工作线程。同时，这个被阻塞的服务也无法处理新的消息。一旦这种情况发生，看似是无解的。我们通常认为，是设计问题导致了这种情况发生。skynet 的框架在监测到这种情况发生时，会输出 maybe in an endless loop 。

如果是 Lua 函数产生的死循环，可以通过发送 signal 打断正在运行运行的 Lua 虚拟机，但如果是陷入 C 函数中，只能事后追查 bug 了。

那么，如果我原本就预期一段 C 代码会运行很长时间，有没有可能从底层支持以非阻塞方式运行这段代码呢？即，在这段代码运行期间，该服务还可以接收并处理新的消息？

by @技术头条 2024-03-13 13:20 查看详情

高效I/O并发处理：双缓冲和Exchanger (colobu.com)

双缓冲(double buffering)是高效处理I/O操作的一种并发技术，它使用两个buffer,一个goroutine使用其中一个buffer进行写，而另一个goroutine使用另一个buffer进行读，然后进行交换。这样两个goroutine可能并发的执行，减少它们之间的等待和阻塞。

本文还提供了一个类似Java的java.util.concurrent.Exchanger的Go并发原语，它可以用来在两个goroutine之间交换数据，快速实现双缓冲的模式。这个并发原语可以在github.com/smallnest/exp/sync/Exchanger找到。

by @技术头条 2024-01-17 23:05 查看详情

使用 SQL 的方式查询消息队列数据以及踩坑指南 (crossoverjie.top)

为了让业务团队可以更好的跟踪自己消息的生产和消费状态，需要一个类似于表格视图的消息列表，用户可以直观的看到发送的消息；同时点击详情后也能查到消息的整个轨迹。

by @技术头条 2023-09-10 23:23 查看详情

优雅的处理Git多帐号与代理问题 (www.iots.vip)

　　在工作中，常常会容易遇到一台电脑用多个 Git 账号的场景，比如账号 company 账号是工作用的，而账号 personal 是自己个人用的。由于 Git 本身并没有多账号的机制，导致我们在默认设置下无法很好的区分哪个仓库使用哪个账号。同时，在某些众所周知的场景下，我们无法直接访问到 Github 仓库，需要走一层 proxy 来加速我们的代码拉取与推送速度，本文将使用 SSH config 相对优雅的解决这些问题。

by @技术头条 2023-08-18 23:09 查看详情

实现 go 的 goroutine 本地存储又一种方式 (xiezhenye.com)

go 本身没有对外提供 goroutine 本地存储，而现实中，又经常需要在上下文中传递一些数据。使用 context 也是一种方式，但是要求在所有需要的地方都要传递，还是非常麻烦，而且有侵入性。
偶然发现 go 已经提供了一个用于 profile 的 pprof label，可以在 goroutine 中携带一些数据。不过这个东西既然是用于 pprof 的，随意往里塞太多东西显然也不适合，还会对 pprof 产生干扰。所以，想办法只用其中一个 label，用一些黑科技把一个 map 放了进去，将影响降到最小。同时，pprof 包中已经有一些基于 context 访问处理 label 的逻辑，所以还要做一些兼容处理，避免被其覆盖。

by @技术头条 2023-07-04 23:07 查看详情

Spring AOP 处理流程概述 (www.diguage.com)

AOP 是 Spring 框架的最核心的两个功能之一，这里来细致分析一下 Spring AOP 的实现原理和处理流程。

by @技术头条 2023-06-24 23:29 查看详情

Nginx实现http和https复用1个端口的2种解决方式 (hugo.111520.xyz)

本文介绍在无法使用80，443标准端口情况下，通过Nginx复用1个端口实现访问http和https的两种方式。

by @技术头条 2023-06-24 23:21 查看详情

智能文档处理IDP关键技术与实践-高翔 (www.52nlp.cn)

什么是智能文档处理？针对文本数据处理尤其是纯文本，大家通常会想到使用自然语言处理（Natural language processing，NLP）技术来解决语义理解及分析处理工作。关于自然语言处理技术的研究有很长历史，针对不同层面文本处理和分析有很多技术点，常见技术例如分词与词性标注、命名实体识别、句法结构分析、文本分类、文本摘要等功能。

by @技术头条 2022-12-10 22:41 查看详情

向量数据库入坑：传统文本检索方式的降维打击，使用 Faiss 实现向量语义检索 (soulteary.com)

在上一篇文章[《聊聊来自元宇宙大厂 Meta 的相似度检索技术 Faiss》]中，我们有聊到如何快速入门向量检索技术，借助 Meta AI（Facebook Research）出品的 faiss 实现“最基础的文本内容相似度检索工具”，初步接触到了“语义检索”这种对于传统文本检索方式具备“降维打击”的新兴技术手段。有朋友在聊天中提到，希望能够聊点更具体的，比如基于向量技术实现的语义检索到底比传统文本检索强多少，以及是否有局限性，能不能和市场上大家熟悉的技术产品进行一个简单对比。那么，本篇文章就试着从这个角度来聊聊。

by @技术头条 2022-09-12 22:39 查看详情