QQ音乐评论爬取
有态度地学习
去年夏天,好像于我而言,重要的事就是毕业来临,从此踏上了搬砖之路,从学校到职场,之间身份的转变,让我又多了一份责任。当然还有一段感情经历,现在回头去看,只能说且行且珍惜,或许以后未必能再遇见!
本次爬取的是QQ音乐的评论信息,作为一名基本不看评论的人,真的羞愧难当。不过音乐嘛,听听就不错啦,哪有闲情雅致去看,又或是去评,毕竟文化水平有限,想想就脑瓜疼。
通过这次爬取,学习了数据库MySQL,因为之前都是在windows上操作,而这回需要在Mac上操作,所以就在Mac上安装了MySQL以及MySQL的管理工具Sequel Pro,最后也是安装成功,数据库连接也没有问题。
接下来创建数据库,表格及主键信息。
import pymysql# 创建数据库db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306)cursor = db.cursor()cursor.execute("CREATE DATABASE QQ_Music DEFAULT CHARACTER SET utf8mb4")db.close()
import pymysql# 创建表格, 设置主键db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306, db='QQ_Music')cursor = db.cursor()sql = 'CREATE TABLE IF NOT EXISTS comments (nike VARCHAR(255) NOT NULL, comment VARCHAR(255) NOT NULL, praisenum INT NOT NULL, comment_id VARCHAR(255) NOT NULL, time VARCHAR(255) NOT NULL, PRIMARY KEY (comment))'cursor.execute(sql)db.close()
针对QQ音乐中去年夏天的网页进行分析,查看了所有评论的尾页,发现时间缩水了,因为热评中有一条评论的时间7月12号,而所有评论最后一页的时间却是7月16号。很明显,所有评论并不是货真价实的所有评论,不知这算不算QQ音乐的BUG。
还有一个就是直接点击最后一页的时候,并不能直接返回真正的信息,需要从最后一页往前翻,到了真正的信息页时,然后再往后翻,才能得到最后一页的真正信息。
同样是Ajax请求,确认网址后,分析一下请求头,发现主要是三个参数发生变化:jsoncallback
pagenum
lasthotcommentid
pagenum不难理解,就是页数。jsoncallback经过实验后,发现并不会影响请求,所以设置时无需改动,lasthotcommentid的值对应的是上一页最后一个评论者的ID,所以需要随时改动。
即改变pagenum,lasthotcommentid的值,就可成功实现请求。
爬取代码如下:
import reimport jsonimport timeimport pymysqlimport requestsURL = 'https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?'HEADERS = { 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}PARAMS = { 'g_tk': '5381', 'jsonpCallback': 'jsoncallback4823183319594757', 'loginUin': '0', 'hostUin': '0', 'format': 'jsonp', 'inCharset': 'utf8', 'outCharset': 'GB2312', 'notice': '0', 'platform': 'yqq', 'needNewCode': '0', 'cid': '205360772', 'reqtype': '2', 'biztype': '1', 'topid': '213910991', 'cmd': '8', 'needmusiccrit': '0', 'pagenum': '0', 'pagesize': '25', 'lasthotcommentid': '', 'callback': 'jsoncallback4823183319594757', 'domain': 'qq.com', 'ct': '24', 'cv': '101010',}LAST_COMMENT_ID = ''db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306, db='QQ_Music', charset='utf8mb4')cursor = db.cursor()def get_html(url, headers, params=None, tries=3): try: response = requests.get(url=url, headers=headers, params=params) response.raise_for_status() response.encoding = 'utf-8' except requests.HTTPError: print("connect failed") if tries > 0: print("reconnect...") last_url = url get_html(last_url, headers, tries-1) else: print("3 times failure") return None return responsedef paras_html(html): data = {} content = json.loads(html[29:-3]) for item in content['comment']['commentlist']: data["nike"] = item.get("nick") data["comment"] = re.sub(r"\\n", " ", item.get("rootcommentcontent")) data["comment"] = (re.sub(r"\n", " ", data["comment"]))[0:255] data["praisenum"] = item.get("praisenum") data["comment_id"] = item.get("commentid") data["time"] = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(int(item.get("time")))) yield datadef to_mysql(data): table = 'comments' keys = ', '.join(data.keys()) values = ', '.join(['%s'] * len(data)) sql = 'INSERT INTO {table}({keys}) VALUES ({values}) ON DUPLICATE KEY UPDATE'.format(table=table, keys=keys, values=values) update = ','.join([" {key} = %s".format(key=key) for key in data]) sql += update try: if cursor.execute(sql, tuple(data.values())*2): print('Successful') except: print('Failed') db.rollback() db.commit()def main(): first_Links = [] three_Links = [] count = 0 global LAST_COMMENT_ID for page in range(1045): if page % 5 == 0: time.sleep(2) PARAMS['lastcommentid'] = LAST_COMMENT_ID PARAMS['pagenum'] = page if first_Links: if count >= 3: three_Links.append(first_Links.pop()) continue count += 1 response = get_html(first_Links.pop(), HEADERS) else: count = 0 response = get_html(URL, HEADERS, PARAMS) if response: try: for item in paras_html(response.text): to_mysql(item) print("Successful", response.url) LAST_COMMENT_ID = item['comment_id'] except TypeError: print(response.url) first_Links.append(response.url) cursor.close() db.close() print(three_Links)if __name__ == '__main__': main()
最后成功获取评论信息
这里有一个问题,因为请求头是一直变化的,所以可能会错过一些评论页,导致评论获取不完全,这里只需多运行几次代码,或者在主程序加个循环即可,注意要设置下延迟,之后基本上能获取大部分的评论。
©著作权归作者所有:来自51CTO博客作者mb5fe18ec4a4df8的原创作品,如需转载,请注明出处,否则将追究法律责任更多相关文章
- 【软考高级知识点】第一章.信息化和信息系统(一)
- 44万条数据揭秘:如何成为网易云音乐评论区的网红段子手?
- 收藏这些API,获取网易云音乐数据超轻松
- 钻漏洞,他用爬虫非法获取 1500 万余条个人信息,倒卖获利 54 万被判
- 推荐一个牛逼的生物信息 Python 库 - Dash Bio
- 关于数据科学的趋势和前景,这里有你想了解的信息
- Python爬取网易云音乐1万条评论,感受到疫情下的真情
- 智慧城市信息安全探讨
- php使用blob存取图片的信息(含源码)