流式大数据处理的三种框架：Storm，Spark和Samza。许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对Storm、Spark和Samza等三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

流式大数据处理的三种框架：Storm，Spark和Samza。许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对Storm、Spark和Samza等三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。 (www.csdn.net)

由 @技术头条 2015-06-21 22:15 / 0个评论

赞过的人： @技术头条

第一性原理思考：解决问题的通用框架(续) (blog.devtang.com)

本文深入探讨了几种思维框架，包括28原理、谬误推导和终局思维等，帮助在决策中聚焦关键因素，判断信息真伪。文章还列举了常见误区，如误把相关性当因果、从众心理和情绪化决策等，提醒在信息泛滥中保持清晰的逻辑思维。通过案例分析，这些思维模式能有效提升问题解决和决策的效率。

by @技术头条 2024-11-02 16:25 查看详情

第一性原理思考：解决问题的通用框架 (blog.devtang.com)

本文介绍了解决问题的通用框架，基于“第一性原理”思考，分为信息收集、建模、判断和策略迭代四步。通过广泛收集经验与原始数据，建立问题模型，量化核心指标并不断优化策略，可以逐步解决复杂问题。框架虽无法保证执行到位，但帮助接近真实问题，为复杂决策提供可靠支持。

by @技术头条 2024-11-02 16:20 查看详情

Spark向量化计算在美团生产环境的实践 (tech.meituan.com)

美团在 Spark 生产环境中引入了向量化计算，使用 Gluten 和 Velox 框架，实现了大数据任务的加速和资源优化。本文详细讲解了 Spark 向量化的原理、性能提升以及美团的实施过程和遇到的挑战，适合关注大数据优化的技术人员。

by @技术头条 2024-09-09 23:41 查看详情

OpenCV 模糊处理图片中包含的二维码 (blog.wangmao.me)

之前在某电商 App 上浏览商品评论区时，发现一些晒单照片中包含的二维码被马赛克处理了，从马赛克的处理痕迹来看不像是用户手动处理的，更像是机器识别+处理的，对此我更好奇其实现原理了。

借助 ChatGPT，了解到主流的处理方式是通过 OpenCV 识别二维码的位置，并创建一个模糊图层对其覆盖。

by @技术头条 2024-08-06 07:37 查看详情

Lamport时钟介绍 (www.codedump.info)

在分布式系统中，由于有多个机器（进程）在一起协调工作，于是如何定义分布式系统中事件的先后顺序就成了难题，本文介绍论文《Time, Clocks, and the Ordering of Events in a Distributed System》中提到的Lamport时钟。

by @技术头条 2024-03-21 23:24 查看详情

Go 中的高速数据包处理:从 net.Dial 到 AF_XDP (colobu.com)

最近编写了一个Go程序，向数百万个IP地址发送ICMP ping消息。显然，希望这个过程能尽可能快速高效地完成。因此,这促使我研究各种与网络栈交互和快速发送数据包的各种方法。这是一个有趣的旅程,所以在本文中,我将分享一些学习成果,并记录下来供将来参考:)你将看到，仅使用8个内核就可以达到1880万数据包/秒。这里还有一个GitHub仓库,其中包含了示例代码,可以方便地跟随学习。

by @技术头条 2024-03-21 22:55 查看详情

带你认识本地大模型框架Ollama(可直接上手) (wiki.eryajf.net)

自 OpenAI 公司于2022 年 11 月 30 日发布 ChatGPT 以来，经过 23 年一整年的发展之后，大模型的概念已逐渐普及，各种基于大模型的周边产品，以及集成层出不穷，可以说已经玩出花来了。在这个过程中，也有不少本地化的模型应用方案冒了出来，针对一些企业知识库问答的场景中，模型本地化是第一优先考虑的问题，因此如何在本地把模型调教的更加智能，就是一个非常重要的技能了。在 23 年的时候，我也接触过一些本地模型的开源项目(比如 LocalAI)，当时在本地部署跑起来之后，发现交互的体验，回答的速度，以及智能程度，都远低于预期。最近又一次了解本地模型的玩法，从微信群里了解到了 ollama，经过几天业余时间的研究及了解，发现现在模型本地化的玩法，以及能力都早已不可同日而语，本文，将记录我这几天来对于 ollama 的粗浅认识以及快速入门玩起来。

by @技术头条 2024-03-12 22:53 查看详情

通过漫游交换进行隐蔽访问的新型后门 GTPDOOR 分析 (paper.seebug.org)

GTPDOOR 是一种基于 Linux 的恶意软件，旨在部署在邻近 GRX（GPRS 交换网络）的电信网络系统中，具有通过GTP-C（GPRS 隧道协议- 控制平面）信令消息传递 C2 流量的功能。这使得 C2 流量能够与正常流量混合，并重新利用可能对 GRX 网络开放且暴露的已允许端口。

by @技术头条 2024-03-12 22:49 查看详情

使用 llama.cpp 在本地部署 AI 大模型的一次尝试 (blog.yuanpei.me)

本文旨在尝试使用 llama.cpp 在本地部署 AI 大模型，随着人工智能的快速发展，我们逐渐认识到私有化部署的重要性和潜力。在此背景下，llama.cpp 作为一个纯 C/C++ 实现的 LLaMA 模型推理工具，提供了在本地环境下高性能的 AI 推理能力。在这篇文章中，我们可以了解到 llama.cpp 具有在 GPU 和 CPU 环境下运行的灵活性，满足私有化部署的需求。文章详细介绍了 llama.cpp 编译和部署的过程，为读者提供了一份在本地部署 AI 大模型的教程。私有化部署的 AI 大模型，相比于 ChatGPT 这类通用大模型，更注重数据隐私和安全性，对云服务的依赖更少，可以做到更好的本地化控制。虽然编译 llama.cpp 有一定的复杂性，AI 大模型的下载、转化、量化需要一定的耐心，可当本地的 AI 应用运行起来的那一刻，博主觉得这一切完全值得。

by @技术头条 2024-03-12 22:29 查看详情

Java SPI机制学习与常用框架SPI案例 (l1n.wang)

SPI（Service ProviderInterface）是JDK内置的服务提供机制，常用于框架的动态扩展，类似于可拔插机制。提供方将接口实现类配置在classpath下的指定位置，调用方读取并加载。当提供方发生变化时，接口的实现也会改变。Java生态中JDK、Dubbo、Spring等都通过SPI提供了动态扩展的能力。

by @技术头条 2024-01-17 23:19 查看详情