对不起，我把APP也给爬了

豆腐凹凸数据

【凹凸数据】最近更新了一系列爬虫
爬了图片
爬了公众号
爬了视频
这次终于将“罪恶”的小手伸向了APP
下面有请今日的爬虫师——

大家好，我是银牌厨师豆腐！
最近群里很多小伙伴对爬取手机app和小程序感兴趣，今天本厨师将给大家呈现这道菜，供小伙伴们品尝。
相信大家都对爬虫有一定的了解，我们爬PC端时候可以打开F12去观察url的变化，那么手机的发出请求我们应该怎么拦截呢。
今天的主菜就是给大家介绍一个抓包工具Fiddler，并用它烹煮一道广州房价爬虫。
Fiddler是一个http调试工具，也仅限于拦截http协议的请求，这是它的短板之处，但是对于我们平常的练习运用也足够了，因为大多数网站都是走http协议。跟Fiddler同类型的抓包工具还有很多，像Charles、Burpsuite等等
像其中Burpsuite的功能是比较强大的，它们都是PC软件，不是装在手机端，有兴趣的小伙伴可以去了解一下

抓包工具Fiddler

话不多说，我先教大家怎么设置Fiddler。
主要三个步骤：
1、安装软件后，打开Fiddler的Tools选项，进行第一步，分别对General，HTTPS，Connections窗口进行如下设置

把该勾上的勾上后，我们回到HTTPS这个界面，点击Actions，选择Trust，安装证书，
这时候我们的PC端的洗菜流程已经完成啦
2、接下来我们就要设置手机端，我们既然要通过PC端拦截手机发出的请求，就要设置手机的网络跟PC是同一个
网络下，所以第二步，我们要更改手机ip。我们先来看看你的PC断ip是多少。先打开cmd进入终端后，输入ipconfig回车
就可以看到你的ip地址了

这时候终于轮到你的宝贝手机出场了，熟练的连上你的wifi之后，修改你的wifi设置，点击高级选项后，分别输入你的ip和端口后保存。

3、大家是不是觉得很简单呢，别高兴太早了！最关键的一步到了，在我们完成第一、二步设置后，打开你的手机浏览器输入你的ip和端口号（例127.0.0.1:8080），回车，这时候会跳转到一个下载手机端证书的页面，下载后并信任证书后（注：某些安卓手机会要获得root权限才行），这时候，我们安装三部曲就大功告成了。
万事俱备，只欠东风，食材都清洗好了，现在我就教大家怎么利用Fiddler烹煮小程序。

抓包实战

先打开一个小程序网站，我选择的是Q房网，大家看，菜下锅后，Fiddler是不是变化了。

这就是用fiddler拦截到你的手机发出请求的网页信息了和它的链接，这个网页信息是通过json数据加载的

然后往上看，Raw模块是获取请求头的地方
有了这两个信息，我们的爬虫代码也就可以开始编写了

爬虫代码

基操requests，循环页数，由于是获取的数据是json格式，我们就要利用json.loads格式化抓取的信息，才能进行一个数据提取。
部分爬虫代码，完整版下载见文末

url = 'https://mapi.qfang.com/wechat/api/v3_2_0/room?dataSource=GUANGZHOU&unionId=这里也是微信id&platform=wechat&bizType=SALE¤tPage={}&pageSize=20&keyword=®ion=&l=&s=&p=&b=&a=&r=&h=&g=&t=&o=&fromPrice=&toPrice=&unitPrice=&fromUnitPrice=&toUnitPrice='#爬取到50页，程序就停止for i in range(1,51):    time.sleep(rand_seconds)    url3 = url.format(i)    # print(url3)    res = session.get(url=url3, headers=headers)    # print(res.text)    data = json.loads(res.text)    try:        id_list = data['result']['list']        # print(333,id_list)        for i in id_list:            id = i['id']            # print(id)            url2 = 'https://mapi.qfang.com/wechat/api/v3_2_0/room/detail?dataSource=GUANGZHOU&unionId=这里也是微信id&platform=wechat&id={}&bizType=SALE&userId=&accountLinkId=&top=1&origin=sale-list'.format(                id)            time.sleep(rand_seconds)            try:                requests.adapters.DEFAULT_RETRIES = 3                res2 = session.get(url=url2, headers=headers, timeout=10)            except requests.exceptions.ConnectionError:                requests.adapters.DEFAULT_RETRIES = 3                res2 = session.get(url=url2, headers=headers, timeout=10)            except requests.exceptions.ReadTimeout:                requests.adapters.DEFAULT_RETRIES = 3                res2 = session.get(url=url2, headers=headers, timeout=10)            item = {}            res2_data = json.loads(res2.text)            try:                roominfo = res2_data['result']['roomInfo']            except KeyError:                break

爬取数据结果：

数据可视化

菜做好了，当然还要撒点香菜才能上桌啦，做个简单可视化吧，由于爬取的数据很干净，我省掉清洗数据的环节，直接上手，在各位群大佬面前献丑了。
我们先来看看该网站的广州二手房的最高价和最低价，这最高价的数字太感人了.... 这多少个0我都数不对

import pandas as pdimport matplotlib.pyplot as pltdf = pd.read_csv(r'F:\PycharmProjects\house_spider\广州二手房.csv', encoding='gbk')# print(df)df = df.astype({'price': 'float64'})  #先将价格的类型转为浮点数，方便后面计算df_max = df['price'].max()  #查看爬取的数据中房价最高的价格df_min =df['price'].min()  #房价最低的价格print('广州二手房最高价：%s，最低价：%s'%(df_max,df_min))

re_price = ['region', 'price']# 分组统计数量price_df = df[re_price]# #根据区域价格计算区域房价均价region_mean_price = price_df.groupby(['region'],as_index=False)['price'].agg({'mean_price':'mean'})region_mean_price = region_mean_price.sort_values(by='mean_price')print(region_mean_price)#利用循环提取已经处理好的区域和它的均值for x,y in zip(region_mean_price.region, region_mean_price.mean_price):    plt.text(x, y,'%.0f' %y, ha='center', va= 'bottom',fontsize=11)# 显示柱状图值plt.bar(region_mean_price.region, region_mean_price.mean_price, width=0.8, color='rgby')plt.show()

继续继续，我们来统计一下广州各区的房价，然后算出各个区域均值，通过groupby分组统计出region_mean_price

（豆腐内心os：原来黄埔房价都那么高了，各网站数据的差异性也会导致最终展示的结果不一样，大家可以选个大网站试试）
到此，我们这次利用工具抓包小程序网站的介绍就结束了，大家也可以试试app，原理一样。
谢谢大家观看，拜拜咯~
本文涉及爬虫、可视化代码下载：
https://alltodata.cowtransfer.com/s/f0b70e0c24164c

下次有空给大家介绍一款自动化工具，解放你的双手，让代码帮你刷抖音，如果大家感兴趣请给我“阅读、在看、分享”三连！

对不起，我把APP也给爬了