BR 技术头条

技术头条

技术链接、资讯与社区分享流

ip www.ipcpu.com / 2022-08-18 23:10 / by @技术头条

Python爬虫requests爬取页面的编码问题

打开原文 0 条评论
很多时候，我们发现，requests库返回的页面编码都是ISO-8859-1，需要指定为UTF-8才能正确读取。这是为什么呢？

赞过的人

@IT技术博客大学习

发表评论

相关分享

co colobu.com / 2025-01-20 00:00

如何将图片编码成base64?

这篇文章介绍了如何使用 Go 语言将图片转换为 Base64 编码，适用于本地和远程图片。作者提供了完整的代码示例，演示了如何读取图片文件、检测其 MIME 类型，并生成包含适当数据 URI 方案头的 Base64 编码字符串。这些步骤对于在网页中嵌入图片或通过 API 上传图片等场景非常有用。

适合人群：Go 语言开发者，尤其是需要处理图片编码、网络传输或网页嵌入图片的工程师。

查看详情
无图
bl blog.devtang.com / 2024-11-02 16:25

第一性原理思考：解决问题的通用框架(续)

本文深入探讨了几种思维框架，包括28原理、谬误推导和终局思维等，帮助在决策中聚焦关键因素，判断信息真伪。文章还列举了常见误区，如误把相关性当因果、从众心理和情绪化决策等，提醒在信息泛滥中保持清晰的逻辑思维。通过案例分析，这些思维模式能有效提升问题解决和决策的效率。

查看详情
无图
bl blog.devtang.com / 2024-11-02 16:20

第一性原理思考：解决问题的通用框架

本文介绍了解决问题的通用框架，基于“第一性原理”思考，分为信息收集、建模、判断和策略迭代四步。通过广泛收集经验与原始数据，建立问题模型，量化核心指标并不断优化策略，可以逐步解决复杂问题。框架虽无法保证执行到位，但帮助接近真实问题，为复杂决策提供可靠支持。

查看详情
无图
du dusays.com / 2024-09-09 23:35

Nginx 反代 SSL_do_handshake 问题解决思路

遇到 Nginx 反代时的 SSL_do_handshake 错误？本文深入分析了该问题的原因，并提供了详细的解决方案，包括如何配置 Nginx 以避免 502 错误。如果你在运维中遇到 SSL 问题，这篇文章能帮你快速解决！

查看详情
无图
li lisenhui.cn / 2024-09-08 23:22

Java程序调用外网API时CA问题

Java 安全设置问题常常让开发者头疼，特别是与 cacerts 证书库相关的配置。本文详细解读了 Java 中的 cacerts 文件问题，帮助你排除常见错误，并提供了实用的解决方案。通过这些技巧，你可以更好地管理证书库，提升应用安全性。如果你在 Java 开发中遇到证书问题，千万不要错过！

查看详情
无图
fr www.frytea.com / 2024-08-06 08:15

ubuntu 克隆 netplan dhcp ip 冲突问题

本文介绍了如何解决在Ubuntu虚拟机克隆过程中出现的netplan DHCP IP冲突问题。作者发现冲突的原因是/etc/machine-id在克隆时保持不变，导致系统分配相同的IP地址。通过在/etc/netplan/xx-installer-config.yaml中添加dhcp-identifier: mac，可以确保每次克隆时获得唯一的IP地址。文章还解释了/etc/machine-id和/sys/class/dmi/id/product_uuid的作用。

查看详情
无图
co colobu.com / 2024-08-06 07:54

如何将图片编码成base64?

图片的 base64 编码在多种上下文中都很有用。当需要通过旨在处理文本数据的媒体存储或传输图片时，它通常会被使用，比如嵌入到网页或者通过 API 上传图片。这篇文章将介绍如何使用 Go 标准库得到任何图片的 base64 编码的值。

在 Go 中将图片转换为其 base64 表示很容易。所有你需要做的是将文件读取为字节 slice并使用包 encoding/base64 对其进行编码。

查看详情
无图
bl blog.csdn.net / 2024-05-05 23:33

对“技术质问产品的几个常见问题”的回答

给某大厂的技术新人做了一个关于产品思维的分享，提前收集了一些困惑，贴几条提及最多的，稍微聊一下。

哦对了，先帮产品说句话——技术同学，千万别简单地用“那个产品是傻X”来回答以下问题。这是因为，作为技术，如果你总觉得和你配合的产品都是傻X，那大概率，别人会觉得你也是——要不然，为什么选择与傻X共事？所谓 “若，我看周围皆傻X，料，世人看我亦如是”。

查看详情
无图
fa farer.org / 2024-05-05 23:18

现代Python CRUD技术栈

作为一名资深Python CRUD boy，在今天用flask和django干这些体力活已经稍显过时，flask这些年来功能并没太大进步，想用什么还是得自己折腾，在工程化方面比较考验开发者的个人素养。而django的虽然功能完善，但它的笨重在需要深度定制时，又显得束手束脚。

查看详情
无图
le www.leavesongs.com / 2024-03-13 13:26

UTF-8 Overlong Encoding导致的安全问题

Overlong Encoding是将1个字节的字符，按照UTF-8编码方式强行编码成2位以上UTF-8字符的方法。

0xC0AE并不是一个合法的UTF-8字符，但我们按照UTF-8编码方式将其转换出来的，这就是UTF-8设计中的一个缺陷。

按照UTF-8的规范来说，我们应该使用字符可以对应的最小字节数来表示这个字符。那么对于点号来说，就应该是0x2e。但UTF-8编码转换的过程中，并没有限制往前补0，导致转换出了非法的UTF-8字符。

这种攻击方式就叫“Overlong Encoding”。

查看详情
无图