BR 技术头条 技术链接、资讯与社区分享流
li www.linuxprobe.com / 2017-11-16 16:03 / by @Linux就该这么学

Linux单机配置多IP squid3 代理

网络爬虫最终要的资源就是IP地址,尤其是在各大网站纷纷把自家数据当初看家宝贝的“大数据时代”。即使IP地址多了,爬虫改成分布式,管理那么多服务器上的爬虫也是够头疼的。一种方法就是配置代理服务器,爬虫只在几台机器是跑就可以啦。

赞过的人

@Linux就该这么学

发表评论