Python爬虫requests爬取页面的编码问题--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

Python爬虫requests爬取页面的编码问题 (www.ipcpu.com)

【简介】

很多时候，我们发现，requests库返回的页面编码都是ISO-8859-1，需要指定为UTF-8才能正确读取。这是为什么呢？

由 @技术头条 2022-08-18 23:10 / 0个评论

本文深入探讨了几种思维框架，包括28原理、谬误推导和终局思维等，帮助在决策中聚焦关键因素，判断信息真伪。文章还列举了常见误区，如误把相关性当因果、从众心理和情绪化决策等，提醒在信息泛滥中保持清晰的逻辑思维。通过案例分析，这些思维模式能有效提升问题解决和决策的效率。

by @技术头条 2024-11-02 16:25 查看详情

第一性原理思考：解决问题的通用框架 (blog.devtang.com)

本文介绍了解决问题的通用框架，基于“第一性原理”思考，分为信息收集、建模、判断和策略迭代四步。通过广泛收集经验与原始数据，建立问题模型，量化核心指标并不断优化策略，可以逐步解决复杂问题。框架虽无法保证执行到位，但帮助接近真实问题，为复杂决策提供可靠支持。

by @技术头条 2024-11-02 16:20 查看详情

Nginx 反代 SSL_do_handshake 问题解决思路 (dusays.com)

遇到 Nginx 反代时的 SSL_do_handshake 错误？本文深入分析了该问题的原因，并提供了详细的解决方案，包括如何配置 Nginx 以避免 502 错误。如果你在运维中遇到 SSL 问题，这篇文章能帮你快速解决！

by @技术头条 2024-09-09 23:35 查看详情

Java程序调用外网API时CA问题 (lisenhui.cn)

Java 安全设置问题常常让开发者头疼，特别是与 cacerts 证书库相关的配置。本文详细解读了 Java 中的 cacerts 文件问题，帮助你排除常见错误，并提供了实用的解决方案。通过这些技巧，你可以更好地管理证书库，提升应用安全性。如果你在 Java 开发中遇到证书问题，千万不要错过！

by @技术头条 2024-09-08 23:22 查看详情

ubuntu 克隆 netplan dhcp ip 冲突问题 (www.frytea.com)

本文介绍了如何解决在Ubuntu虚拟机克隆过程中出现的netplan DHCP IP冲突问题。作者发现冲突的原因是/etc/machine-id在克隆时保持不变，导致系统分配相同的IP地址。通过在/etc/netplan/xx-installer-config.yaml中添加dhcp-identifier: mac，可以确保每次克隆时获得唯一的IP地址。文章还解释了/etc/machine-id和/sys/class/dmi/id/product_uuid的作用。

by @技术头条 2024-08-06 08:15 查看详情

如何将图片编码成base64? (colobu.com)

图片的 base64 编码在多种上下文中都很有用。当需要通过旨在处理文本数据的媒体存储或传输图片时，它通常会被使用，比如嵌入到网页或者通过 API 上传图片。这篇文章将介绍如何使用 Go 标准库得到任何图片的 base64 编码的值。

在 Go 中将图片转换为其 base64 表示很容易。所有你需要做的是将文件读取为字节 slice并使用包 encoding/base64 对其进行编码。

by @技术头条 2024-08-06 07:54 查看详情

对“技术质问产品的几个常见问题”的回答 (blog.csdn.net)

给某大厂的技术新人做了一个关于产品思维的分享，提前收集了一些困惑，贴几条提及最多的，稍微聊一下。

哦对了，先帮产品说句话——技术同学，千万别简单地用“那个产品是傻X”来回答以下问题。这是因为，作为技术，如果你总觉得和你配合的产品都是傻X，那大概率，别人会觉得你也是——要不然，为什么选择与傻X共事？所谓 “若，我看周围皆傻X，料，世人看我亦如是”。

by @技术头条 2024-05-05 23:33 查看详情

现代Python CRUD技术栈 (farer.org)

作为一名资深Python CRUD boy，在今天用flask和django干这些体力活已经稍显过时，flask这些年来功能并没太大进步，想用什么还是得自己折腾，在工程化方面比较考验开发者的个人素养。而django的虽然功能完善，但它的笨重在需要深度定制时，又显得束手束脚。

by @技术头条 2024-05-05 23:18 查看详情

UTF-8 Overlong Encoding导致的安全问题 (www.leavesongs.com)

Overlong Encoding是将1个字节的字符，按照UTF-8编码方式强行编码成2位以上UTF-8字符的方法。

0xC0AE并不是一个合法的UTF-8字符，但我们按照UTF-8编码方式将其转换出来的，这就是UTF-8设计中的一个缺陷。

按照UTF-8的规范来说，我们应该使用字符可以对应的最小字节数来表示这个字符。那么对于点号来说，就应该是0x2e。但UTF-8编码转换的过程中，并没有限制往前补0，导致转换出了非法的UTF-8字符。

这种攻击方式就叫“Overlong Encoding”。

by @技术头条 2024-03-13 13:26 查看详情

Nginx proxy_pass到AWS ALB的504问题 (www.iots.vip)

我们的部分后端服务正在经历容器化的改造，由于历史包袱，现网的网关等设施无法一次性迁移到 k8s 集群中，因此使用 Nginx proxy_pass 转发到 AWS ALB 这样一个曲线救国的临时方案。

但是在使用时，我们发现一段时间后 Nginx 出现了 504 的错误，检查后端服务均是正常的，而单独访问 ALB 也是正常响应的，因此便有了此文。

by @技术头条 2024-03-13 13:22 查看详情