如何抓取汽车之家的车型库 (huoding.com)

【简介】

实际上,关于「如何抓取汽车之家的车型库」,我已经在「使用 Mitmproxy 分析接口」一文中给出了方法,不过那篇文章里讲的是利用 API 接口来抓取数据,一般来说,因为接口不会频繁改动,相对 WEB 页面而言更稳定,所以通常这是数据抓取的最佳选择,不过利用 API 接口来抓取数据有一些缺点,比如有的数据没有 API 接口,亦可能虽然有 API 接口,但是数据使用了加密格式,此时只能通过 WEB 页面来抓取数据。 既然要通过 WEB 页面来抓取数据,那么就不得不提到 Scrapy,它可以说是爬虫之王,我曾经听说有人用 Scrapy,以有限的硬件资源在几天的时间里把淘宝商品数据从头到尾撸了一遍,如此看来,本文用 Scrapy 来抓取汽车之家的车型库应该是绰绰有余的了。 在抓取汽车之家的车型库之前,我们应该对其结构有一个大致的了解,按照百科中的描述,其大致分为四个级别,分别是品牌、厂商、车系、车型。本文主要关注车系和车型两个级别的数据。在抓取前我们要确定从哪个页面开始抓取,比较好的选择有两个,分别是产品库和品牌找车,选择哪个都可以,本文选择的是品牌找车,不过因为品牌找车页面使用了 js 来按字母来加载数据,所以直接使用它的话可能会有点不必要的麻烦,好在我们可以直接使用从 A 到 Z 的字母页面。

点击查看原文 >>

@技术头条 2017-02-05 14:13 / 0个评论
赞过的人: @技术头条
要不要再学学下面的文章?
定位面向未来的汽车网络安全 (blog.nsfocus.net)
软件定义汽车开启了无限可能,即使汽车型号已经过时,终端客户仍然可以通过软件更新享受到市场上最新的安全、舒适和便利功能。在整个部署和操作过程中保护该软件至关重要。

结构合理的网络安全管理必须与软件定义汽车的开发齐头并进。开发人员必须兼顾各个层次的安全性,不对特定应用程序或任何支持软件的安全性做出任何假设。

简而言之,开发人员必须管理风险,从其他行业吸取教训,推进全面的网络安全管理体系,以提供应对任何未来风险的框架。安波福公司(Aptiv)通过行业组织与客户、供应商和同行合作,积极帮助提高标准。
by @技术头条 2023-11-29 23:42 查看详情
关于 MACsec 安全协议与汽车数据链路安全的探析 (paper.seebug.org)
自动驾驶即来,移动设备、视频流量、云服务的不断扩展,带宽需求也随之快速增长,网络环境也变得复杂,数据安全和隐私问题非常重要,其中对数据安全和隐私要求高的机构不能忽视局域网数据安全。

交换机作为构建局域网最基本的设备,企业交换机的部署需要更合适的安全协议,可以更有效的规避数据风险,保护企业的局域网安全,MACsec 是致力于下一代高速加密的企业、政府或服务提供商新的选择,如果有这样的需求,MACsec 安全协议数据链路层为企业提供更安全的选择,这篇文章来简单分析二者的联系。
by @技术头条 2023-04-09 21:51 查看详情
野蛮人平安“收割”汽车之家:不到三年,爆赚500亿 (www.tmtpost.com)
被平安并购后,汽车之家的股价可谓坐上了“电梯”:三年不到,三倍多收益。“野蛮人”平安系究竟对汽车之家做了什么?

2016年7月,汽车之家管理团队耗时两个多月的股权之争终以失败告终,CEO秦致和CFO钟奕祺被替换,平安正式接管这家全球访问量最大的汽车网站。

在接手汽车之家后的第一次内部会上,新任掌门陆敏调侃自己,“你们看我像‘门外的野蛮人’吗?”一场耗时数月、结果却不出人意料的股权争夺战在万众瞩目中落定。

尘埃落定,但余韵不绝。

两年之后,陆敏在平安集团内部拿了个大奖——中国平安一级勋章,在此之前,这个面向平安集团高管的奖项已经空缺了整整6年。此时,这位新晋“野蛮人”离他刚入职汽车之家不到两年而已。

显然,作为大股东的中国平安对陆敏是满意的。事实上,二级市场散户们想必同样也会满意——平安在并购汽车之家后,后者的股价可谓坐上了“电梯”:

2016年6月25日,以33.76亿美元估值,平安从澳洲电讯并购汽车之家绝大部分股权;
2018年6月19日,股价最高为119.18美元,公司市值为139.82亿美金;
2019年3 月15日,公司股价为86.92美元,公司市值为107.10亿美金;
三年不到,三倍多收益——可谓做价投的会沉默,做PE的会眼红,放在A股,这个业绩可以妥妥地吹上一波。

问题是——在短短两年多的时间里,“野蛮人”平安系究竟做了什么?(对比高瓴资本并购的百丽鞋业,平安过去并购的一号店、上海家化等的惨淡案例。)

国内对这个案例的研究基本处于荒芜状态,资讯少的可怜,研报没人cover,而野蛮人却在闷声发大财。作为机构投资者,我们进行了一些归因研究,试图填补这一空白。

信义资本对这个典型的并购案例,做出的一些简单归因分析。先上结论,平安系并购汽车之家之后主要采取了以下三点动作:

战略调整,砍掉汽车电商、二手车等深坑业务,套利黑洞;

加大内容投入,在汽车垂直领域率先采取信息流策略,获取更多流量;

重组销售团队,将平安狼性文化注入到汽车之家,加大变现,同时精细化运营,降低成本;

一句话概括:战略转型,逃离黑洞;节流开源,加速变现——这几乎就是陆敏在将近1000天内的战略总结。
by @shengting 2019-04-10 18:36 查看详情
阿里云宣布与国内规模最大的汽车企业上汽集团合作 (yq.aliyun.com)
云栖大会·上海峰会,6月7日,阿里云宣布与国内规模最大的汽车企业上汽集团合作,上线业内首个混合云汽车研发仿真计算服务平台——上汽仿真计算云SSCC(SAIC Simulation Computing Cloud)。
by @幸运的猫耳 2018-06-19 16:06 查看详情
使用 Charles 抓取 app 数据包 (mp.weixin.qq.com)
Charles 是一款非常实用的抓包工具。它通过电脑端代理,拦截网络请求和响应来实现数据包的抓取。支持 http/https。
by @code小生 2018-03-05 21:15 查看详情
亲自抓取拉钩真实数据告诉你2017年末Android开发行情怎样了? (mp.weixin.qq.com)
2017年Android开发到底怎样了?这个问题,很多群里和有没有毕业的大学生都问过我。这次我用数据告诉你。
by @逆流的鱼yuiop 2017-12-21 17:44 查看详情