微信小程序中历史长河的数据,是通过调用一位大佬提供的API接口获得到的。


既然小F已经拥有了一台云服务器,所以就想自己来实现这个接口。


这样就不用担心大佬服务器过期,亦或接口发生变化。



首先本地调试一下,最后部署到服务器上。


毕竟服务器上各种环境各种头大,还是比较难搞的。


一步一个脚印慢慢来~


01 MySQL数据


MySQL老早就安装在我的Mac上了。


可视化工具则是使用「Sequel Pro」,一个小黄油桶。


对于8.0以上的MySQL版本,必须使用「Sequel Pro」的测试版,否则使用时会报错。



安装什么的就不说了,网上一大堆教程,这里记录一下数据的获取。


首先创建数据库。


import pymysql

db = pymysql.connect(host='127.0.0.1', user='root', password='20191126', port=3306)
cursor = db.cursor()
cursor.execute("CREATE DATABASE history DEFAULT CHARACTER SET utf8mb4")
db.close()


期间忘记了MySQL的密码,所以重置了一下。


网上也有教程,挺简单的。


然后创建表格。


import pymysql

db = pymysql.connect(host='127.0.0.1', user='root', password='20191126', port=3306, db='history')
cursor = db.cursor()
sql = 'CREATE TABLE IF NOT EXISTS messages (date VARCHAR(255) NOT NULL, id INT NOT NULL, title VARCHAR(255) NOT NULL, year VARCHAR(255) NOT NULL, year_num INT NOT NULL, PRIMARY KEY (id))'
cursor.execute(sql)
db.close()


最后数据爬取。


import requests
import operator
import pymysql
import json
import time

headers = {
    'User-Agent''Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'
}

db = pymysql.connect(host='127.0.0.1', user='root', password='20191126', port=3306,  db='history', charset='utf8mb4')
cursor = db.cursor()


def to_mysql(data):
    """
    写入数据库
    """

    table = 'messages'
    keys = ', '.join(data.keys())
    values = ', '.join(['%s'] * len(data))
    sql = 'INSERT INTO {table}({keys}) VALUES ({values}) ON DUPLICATE KEY UPDATE'.format(table=table, keys=keys, values=values)
    update = ','.join([" {key} = %s".format(key=key) for key in data])
    sql += update
    try:
        if cursor.execute(sql, tuple(data.values())*2):
            print('Successful')
    except:
        print('Failed')
        db.rollback()
    db.commit()


# 每月 
for i in range(113):
    time.sleep(10)
    # 每日
    for j in range(131):
        url = 'http://www.jiahengfei.cn:33550/port/history?dispose=easy&key=jiahengfei&month=' + str(i) + '&day=' + str(j)
        response = requests.get(url=url, headers=headers)
        result = json.loads(response.text)
        list1 = []
        for k in result['data']:
            if len(k['title']) < 100:
                if int(k['year']) > 0:
                    item = {}
                    item['date'] = str(i) + '/' + str(j)
                    item['id'] = k['id']
                    item['title'] = k['title']
                    item['year'] = k['year'] + '年' + str(i) + '月' + str(i) + '号'
                    item['year_num'] = int(k['year'])
                    # print(item)
            list1.append(item)
        # 按照年份排序
        sorted_x = sorted(list1, key=operator.itemgetter('year_num'))
        for x in sorted_x:
            # print(x)
            to_mysql(x)


这里有一个对列表中的字典进行排序,使用到了「operator」这个库。


如此,历史长河中的数据就获取到了。



02 Flask接口


主要使用json、pymysql、flask这三个库。


Flask中连接MySQL数据库有好几种办法,这里采用pymysql连接。


import json
import pymysql
from flask import Flask, request
from pymysql.cursors import DictCursor

app = Flask(__name__)


# 只接受get方法访问
@app.route("/port/history/", methods=["GET"])
def check():
    # 默认返回内容
    return_dict = {'code'1'result'False'msg''请求成功'}
    # 判断入参是否为空
    if request.args is None:
        return_dict['return_code'] = '504'
        return_dict['return_info'] = '请求参数为空'
        return json.dumps(return_dict, ensure_ascii=False)
    # 获取传入的参数
    get_data = request.args.to_dict()
    month = get_data.get('month')
    day = get_data.get('day')
    date = str(month) + '/' + str(day)
    # 对参数进行操作
    return_dict['result'] = sql_result(date)
    return json.dumps(return_dict, ensure_ascii=False)


# 功能函数
def sql_result(date):
    conn = pymysql.connect(host='127.0.0.1', database='history', user='root', password='20191126')
    cursor = conn.cursor(DictCursor)
    cursor.execute("SELECT * FROM messages WHERE date= '%s'" % str(date))
    result = cursor.fetchall()
    conn.close()
    return result


if __name__ == "__main__":
    app.run(host='127.0.0.1', port=5000)


通过SQL语句查询,并获取全部结果。


运行程序,可以看见能够在本机上成功运行。



最后来看一下在浏览器上的情况。



成功请求,和大佬提供的接口数据所差无几。



接下来就是学习如何部署到服务器上啦。


万水千山总是情,点个「在看」行不行。





···  END  ···



©著作权归作者所有:来自51CTO博客作者mb5fe18ec4a4df8的原创作品,如需转载,请注明出处,否则将追究法律责任

更多相关文章

  1. 干货丨时序数据库DolphinDB横截面引擎教程
  2. 别再造假数据了,来试试 Faker 这个库吧!
  3. Python 如何爬取实时变化的 WebSocket 数据
  4. Python排序算法[二]:测试数据的迷雾散去
  5. Python常用的数据存储方式有哪些?五种!
  6. NBA球员投篮数据可视化。
  7. 手把手教你用Bokeh进行可视化数据分析(附源码)
  8. 5个原因告诉你:为什么在成为数据科学家之前,“逻辑回归”是第一个
  9. 金州勇士4年3冠的成功秘诀!数据可视化分析告诉你答案

随机推荐

  1. Android中的Adapter
  2. Android Build: Tips and Tricks
  3. Pair 了解一下
  4. android 自定义progressbar进度条颜色
  5. Android中通过Intent调用其他应用的方法
  6. Android数据传递相关内容概述
  7. 详解Android广播机制
  8. A20平台增加camera
  9. Android和设计模式:建造者模式
  10. Android(安卓)禁止输入框 EditText 复制