干货 | 那些你不知道的爬虫反爬虫套路--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

【简介】

爬虫与反爬虫，是一个很不阳光的行业。

这里说的不阳光，有两个含义。

第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这可能是出于公司战略角度来看的，与技术无关。

第二是，这个行业并不是一个很积极向上的行业。很多人在这个行业摸爬滚打了多年，积攒了大量的经验，但是悲哀的发现，这些经验很难兑换成闪光的简历。面试的时候，因为双方爬虫理念或者反爬虫理念不同，也很可能互不认可，影响自己的求职之路。本来程序员就有“文人相轻”的倾向，何况理念真的大不同。

点击查看原文 >>

由 @码个蛋 2018-01-22 17:00 / 0个评论

赞过的人： @技术头条 @码个蛋

聊一聊：FaaS 在大规模网络爬虫的实践 (yance.wiki)

使用 FaaS 模型是通过无服务器架构来构建应用的方法之一，但随着无服务器模式的日渐普及，开发人员正在寻找支持构建无服务器微服务和无状态容器的解决方案。

by @技术头条 2023-07-04 23:32 查看详情

使用多线程为你的 Python 爬虫提速的 N 种姿势，你会几种？ (blog.yuanpei.me)

和大多数学习 Python 的人一样，博主学习 Python 是从写爬虫开始的，而这个爬虫程序刚好是那种抓取“宅男女神”的程序，下载图片无疑是整个流程里最关键的环节，所以，整个优化的核心，无外乎提升程序的稳定性、提高抓取速度。所以，接下来，我会带大家走近 Python 中的多线程编程，涉及到的概念主要有线程(池)、进程(池)、异步I/O、协程、GIL等，而理解这些概念，对我们而言是非常重要的，因为它将会告诉你选择什么方案更好一点。想让你的爬虫更高效、更快吗？在这里就能找到你的答案。

by @技术头条 2023-07-02 23:27 查看详情

Python爬虫requests爬取页面的编码问题 (www.ipcpu.com)

很多时候，我们发现，requests库返回的页面编码都是ISO-8859-1，需要指定为UTF-8才能正确读取。这是为什么呢？

by @技术头条 2022-08-18 23:10 查看详情

【干货】为什么我会放弃Webpack而选择Vite (mp.weixin.qq.com)

Webpack 是当今最流行的打包工具之一。大量生产应用程序和框架（比如Next.js、Create React App 等）的打包和构建都采用了 Webpack。此外，它还拥有最大的插件库，在这方面超过了任何其他同类工具。然而，自 Webpack 问世以来，时代已经发生了变化，如今在很多情况下，它已不是最佳工具。

by @code小生 2022-02-27 20:59 查看详情

你不知道的CSS media查询与用户体验 (www.zhangxinxu.com)

本文介绍 4 个很多前端开发不知道的可以提升用户体验的 media 媒体查询语句，希望可以帮到大家的学习。

by @技术头条 2022-02-01 22:52 查看详情

干货！Android 各大版本的差异(安卓4+版本) (mp.weixin.qq.com)

在安卓4以前的版本不作为讨论对象，在安卓4之前的版本，谷歌一度想闭源安卓，可惜失败了，而且安卓那时的开放性不高，可设计性也不高。而且手机普及性不高，流量少，市场趋势还没有趋向移动端发展。

by @code小生 2021-11-08 10:21 查看详情

小样本做文本分类：超干货解读，看完别说你还不懂胶囊网络 (www.52nlp.cn)

人脑对图像的认识关键的点在于图像位置姿态的认识，也就是即便图像进行了旋转，平移人脑依然可以认识图像，而计算机却不行。因此提出胶囊网络CapsNet。

by @技术头条 2021-06-13 22:35 查看详情

干货！程序员常用工具和网站集合（舍不得分享的） (mp.weixin.qq.com)

学习技术过程我们经常需要使用搜索引擎来检索资料，国内常用的也就是某了。

by @code小生 2021-02-28 11:42 查看详情

国内开发者开源爬虫工具箱爆红 GitHub (mp.weixin.qq.com)

国内一位开发者在 GitHub 上开源了个集众多数据源于一身的爬虫工具箱——InfoSpider，一不小心就火了！！！

by @code小生 2021-01-18 15:27 查看详情

你还不知道？有的软件会偷偷打开你的摄像头或麦克风 (mp.weixin.qq.com)

当代人共有的一大迷惑就是聊天提到的内容，隔天就会出现在相关App的推荐里。

大家都在怀疑这些App偷听了我们讲话，但是又没有证据。当然，也有人曾经提出过质疑，但一问就是，大数据筛选、小概率、纯属巧合。

by @code小生 2020-12-20 14:41 查看详情