BR 技术头条 技术链接、资讯与社区分享流
mp mp.weixin.qq.com / 2021-01-18 15:27 / by @code小生

国内开发者开源爬虫工具箱爆红 GitHub

打开原文 0 条评论
国内一位开发者在 GitHub 上开源了个集众多数据源于一身的爬虫工具箱——InfoSpider，一不小心就火了！！！

赞过的人

@code小生

发表评论

相关分享

cr crossoverjie.top / 2023-10-25 00:02

Github commit 签名+合并 Commit

借着这个机会也了解了 rebase 的骚操作挺多的，不过我平时用的最多的还是 merge，这个倒没有好坏之分，只要同组的开发者都达成一致即可。

查看详情
无图
ya yance.wiki / 2023-07-04 23:32

聊一聊：FaaS 在大规模网络爬虫的实践

使用 FaaS 模型是通过无服务器架构来构建应用的方法之一，但随着无服务器模式的日渐普及，开发人员正在寻找支持构建无服务器微服务和无状态容器的解决方案。

查看详情
无图
bl blog.yuanpei.me / 2023-07-02 23:27

使用多线程为你的 Python 爬虫提速的 N 种姿势，你会几种？

和大多数学习 Python 的人一样，博主学习 Python 是从写爬虫开始的，而这个爬虫程序刚好是那种抓取“宅男女神”的程序，下载图片无疑是整个流程里最关键的环节，所以，整个优化的核心，无外乎提升程序的稳定性、提高抓取速度。所以，接下来，我会带大家走近 Python 中的多线程编程，涉及到的概念主要有线程(池)、进程(池)、异步I/O、协程、GIL等，而理解这些概念，对我们而言是非常重要的，因为它将会告诉你选择什么方案更好一点。想让你的爬虫更高效、更快吗？在这里就能找到你的答案。

查看详情
无图
db www.dbform.com / 2023-06-05 23:59

如何高效使用 GitHub Copilot

GitHub Copilot 是一款由 OpenAI 和 GitHub 联合开发的人工智能编程助手，基于 GPT-4 模型。它可以帮助你编写代码、提供代码建议、自动完成代码片段等，大大提高编程效率。下面是如何高效使用 GitHub Copilot 的一些建议。

查看详情
无图
xu xuexb.com / 2022-06-19 22:45

拥抱 GitHub Actions

工作这么多年以来，种类 CI/CD 工具都有些接触。但唯独最青睐的还是 Jenkins ，她的灵活性、定制化、插件覆盖度等都是一度好评。
我有多个服务、站点，虽然没什么流量，但一直做为我自己调研的目标和学习的途径。在实际使用 Jenkins 时，也屡试不爽。但随着服务数量的增加，是越来越不好维护。当然，这里并不是说 Jenkins ，因为跟我本身能力有很大关系，没有好与不好，只有合适不合适。

查看详情
无图
zw zww.me / 2022-05-04 16:36

iOS 开发者证书不受信任的解决方法

网上搜了一下原因和解决方法，发现都写的啰里吧嗦还不把全部下载链接放出来，这里直接贴，把文中 2个 AppleWWDRCA 证书下载并导入即可。

查看详情
无图
mp mp.weixin.qq.com / 2022-04-10 21:10

成为糟糕开发者的5个建议！

伟大的数学家 Carl Jacobi 曾说过“反过来想，一定要反过来想”。在他看来，逆向分析问题有助于找到最佳解决方案。有鉴于此，伯克希尔·哈撒韦公司传奇合伙人查理·芒格在哈佛大学做了一场精彩的分享，主题关于探讨“怎样才能不成功”。由此，这让我开始思考——有什么最简单的方法能让你成为一名糟糕的开发者？你接下来将要看到的这些原则很主观，不尽全面，也没什么顺序。不过，如果你遵循这些原则，那么我敢保证你会成为一名糟糕的开发者。

查看详情
无图
mp mp.weixin.qq.com / 2022-03-13 23:32

上架Steam一周的付费游戏，在GitHub开源了！

最近，一位开发者把自己在 Steam 上的游戏 ——SNKRX 开源了，这一举动引发了网友们的关注。
这款游戏几天前刚刚在 Steam 上线，售价是 15 元（促销价 12 元）。

并且大部分网友给出了很高的评价：

查看详情
无图
mp mp.weixin.qq.com / 2022-02-08 23:30

在GitHub上提交代码必备指南！

将拉取请求（Pull Request，即 PR）控制在很小是一门艺术。在编写代码的时候，你经常会有重写、重构代码或整理代码的格式的冲动，但总的来说，优秀的开发人员会抵制一次性修改所有内容的诱惑。他们会集中一个目标，并将需要更改的代码量降到最低。有些人甚至会相互比较“删除的代码行数”与“增加的代码行数”比率。如果你需要重构和优化代码，那么请分别进行。不要找借口将所有改动都塞到一个 PR 中，这是懒惰。

查看详情
无图