Python轻量爬虫框架--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

【简介】

已内置微博、自如、拼多多、拉钩网等规则，正在扩充更多爬虫，让开发者便捷地获取结构化数据。

由 @寗keyyyy 2018-09-09 16:08 / 0个评论

作为一名资深Python CRUD boy，在今天用flask和django干这些体力活已经稍显过时，flask这些年来功能并没太大进步，想用什么还是得自己折腾，在工程化方面比较考验开发者的个人素养。而django的虽然功能完善，但它的笨重在需要深度定制时，又显得束手束脚。

by @技术头条 2024-05-05 23:18 查看详情

带你认识本地大模型框架Ollama(可直接上手) (wiki.eryajf.net)

自 OpenAI 公司于2022 年 11 月 30 日发布 ChatGPT 以来，经过 23 年一整年的发展之后，大模型的概念已逐渐普及，各种基于大模型的周边产品，以及集成层出不穷，可以说已经玩出花来了。在这个过程中，也有不少本地化的模型应用方案冒了出来，针对一些企业知识库问答的场景中，模型本地化是第一优先考虑的问题，因此如何在本地把模型调教的更加智能，就是一个非常重要的技能了。在 23 年的时候，我也接触过一些本地模型的开源项目(比如 LocalAI)，当时在本地部署跑起来之后，发现交互的体验，回答的速度，以及智能程度，都远低于预期。最近又一次了解本地模型的玩法，从微信群里了解到了 ollama，经过几天业余时间的研究及了解，发现现在模型本地化的玩法，以及能力都早已不可同日而语，本文，将记录我这几天来对于 ollama 的粗浅认识以及快速入门玩起来。

by @技术头条 2024-03-12 22:53 查看详情

Java SPI机制学习与常用框架SPI案例 (l1n.wang)

SPI（Service ProviderInterface）是JDK内置的服务提供机制，常用于框架的动态扩展，类似于可拔插机制。提供方将接口实现类配置在classpath下的指定位置，调用方读取并加载。当提供方发生变化时，接口的实现也会改变。Java生态中JDK、Dubbo、Spring等都通过SPI提供了动态扩展的能力。

by @技术头条 2024-01-17 23:19 查看详情

完善 Golang Gin 框架的静态中间件：Gin-Static (soulteary.com)

Gin 是 Golang 生态中目前最受用户欢迎和关注的 Web 框架，但是生态中的 Static 中间件使用起来却一直很不顺手。所以，我顺手改了它，然后把这个改良版开源了。

by @技术头条 2024-01-14 19:19 查看详情

初探 Struts2 框架安全 (paper.seebug.org)

最近分析 confluence 的漏洞，发现是基于 Struts 框架的，其中有很多相关知识点并不了解，因此专门来学习一下 Struts 2。

在网上一搜 Struts 2 资料发现介绍漏洞的文章比介绍开发的还多，少数开发者的声音也是 “Struts 过时了吗？” 之类的疑问，事实上这个框架也确实是过时了，现在Java Web 开发早已是 Spring 全家桶一统江山的局面。但我们也不能不承认曾经 Struts 的地位。Struts2 + Spring + Hibernate 三大框架在当年组合号称 SSH，对 Java Web 应用生态产生了深远的影响，以至于现在有许多知名应用中还有 Struts 的影子。

因此，即便 Struts 已经日薄西山，对于 Java 安全研究者而言也是需要深入了解的目标，就像二进制研究员需要理解 “过时” 的 jmp esp 栈溢出利用方法一样。

by @技术头条 2023-11-06 22:58 查看详情

Android｜集成 slf4j + logback 作为日志框架 (mazhuang.org)

最近在做一个 Android APP 的日志改造，我搜了一下「Android 日志框架」，大多网友推荐的是 logger、timber、xLog 等等，看着也不错。不过出于几年后端开发的经验和习惯，我进一步了解，发现熟悉的 log4j 和 logback 在 Android 上也有人做过适配，所以最终决定使用 slf4j + logback，以在前后端开发中取得一致的体验。

by @技术头条 2023-10-30 22:56 查看详情

美团前端研发框架Rome实践和演进趋势 (tech.meituan.com)

本文整理自美团技术沙龙第76期《大前端研发协同效能提升与实践》，为大家介绍了美团到店前端研发框架Rome实践和演进趋势。具体来讲，本文首先介绍了Rome整体的工程生态、演变路径、规模化升级以及工程框架外的开发辅助工具；第二部分，重点阐述了如何做框架度量和相关的业务实践；最后做整体的总结以及对工程框架的下一阶段的思考。希望能对大家带来一些帮助或启发。

by @技术头条 2023-08-18 22:56 查看详情

Python源码剖析：深度探索Cpython对象 (www.52nlp.cn)

Python是一门备受推崇的脚本语言，以其简单的语法和全面的功能而著称，可快速实现各种业务。本文从 CPython 对象构造器入手，介绍了浮点数对象在 CPython 底层数据结构中的表现形式以及对象创建的过程。通过进一步了解 CPython 动态性的实现方式，读者可望在阅读 CPython 源码后提升编写高质量代码的能力。

by @技术头条 2023-07-23 11:28 查看详情

聊一聊：FaaS 在大规模网络爬虫的实践 (yance.wiki)

使用 FaaS 模型是通过无服务器架构来构建应用的方法之一，但随着无服务器模式的日渐普及，开发人员正在寻找支持构建无服务器微服务和无状态容器的解决方案。

by @技术头条 2023-07-04 23:32 查看详情

聊一聊：Python和Golang的垃圾回收 (yance.wiki)

GC作为现代编程语言的自动内存管理机制，专注于两件事：1. 找到内存中无用的垃圾资源 2. 清除这些垃圾并把内存让出来给其他对象使用。GC彻底把程序员从资源管理的重担中解放出来，让他们有更多的时间放在业务逻辑上。但这并不意味着码农就可以不去了解GC，毕竟多了解GC知识还是有利于我们写出更健壮的代码。

by @技术头条 2023-07-04 23:14 查看详情