Python爬虫面试题分享！这三点很重要
16lz
2021-04-02
Python工程师的就业方向有很多，其中包含Python爬虫开发，它是非常受欢迎的就业岗位，也是很多企业热招的岗位。那么你知道面试Python爬虫开发工程师的时候会问及哪些问题吗?老男孩教育为大家提供几个相关面试题目，希望对你有所帮助。
Scrapy和scrapy-redis有什么区别?
Scrapy属于Python爬虫的框架之一，效率高，具有高度定制性，但是不支持分布式;scrapy-redis是一套基于redis数据库、运行在scrapy框架之上的组件，可以让scrapy支持分布式策略，slaver端共享master端redis数据库里的item队列、请求队列和请求指纹集合。
Scrapy框架的运行机制是什么?
从start_urls获取第一批url并发送请求，请求由引擎交给调度器入请求队列，获取完毕之后，调度器将请求队列里面的请求交给下载器去获取请求对应的资源，然后将响应交给自己编写的解析方法进行提取处理。
1如果提取出需要的数据，直接交给管道文件进行处理;
2如果提取出url，会继续执行之前的步骤，直到请求队列里没有请求，程序即可结束。
Post和get的区别是什么?
Post：请求不能被缓存下来，post请求不会保存在浏览器浏览记录中，post请求的url无法保存为浏览器书签;没有长度限制;请求会把请求的数据放置在http请求包的包体中;post的安全性比get高。
Get：指定的服务器中获取数据。Get请求能够被缓存;会保存在浏览器的浏览记录中;以get请求的url能够保存为浏览器书签;请求具有长度限制;get请求主要用以获取数据。
更多相关文章
- SpringBoot的四种异步处理，学到了
- 《浅入浅出》-RocketMQ
- 《吊打面试官》系列-重复消费、顺序消费、分布式事务
- Twitter 如何将 Kafka 当做一个存储系统
- curl使用：HTTP请求、下载文件、FTP上传下载
- 14个Java并发容器超强总结
- 程序员专享绿色独角兽Gunicorn，了解下
- FastAPI基础——请求体-嵌套类型
- 技术分享：如何避免ajax重复请求？