1.jpg

网站的sitemap是爬虫抓取的主要地方,提交了sitemap的url,爬虫会优先抓取。

所以我们平时要有定期更新sitemap的习惯,生成sitemap的方法有很多,第三方工具抓取生成,自己生成。这里我推荐自己生成sitemap。因为这样消耗系统资源最少。

代码如下:

include_once Root_Path . "/vendor/autoload.php";use Medoo\Medoo;$db = new Medoo(['database_type' => 'mysql','database_name' => 'menghuiguli','server' => 'localhost','username' => 'root','password' => 'root',]);$str = "<ul>";$articles = $db->select('article',"*");foreach ($articles as $k => $v) {$str .= '<li><div class="T1"><a href="https://www.80shihua.com/archives/'.$v['id'].'" title="'.$v['name'].'">'.$v['name'].'</a></div><div class="T2">2019-02-02T10:16:23+08:00</div><div class="T3">monthly</div><div class="T4">0.5</div></li>';}$str .= '</ul>';file_put_contents('/sitemap.html', $str);

其中数据库我使用了最小巧的medooORM模型,非常方便。

我们只要查出相关文章,然后对应循环生成sitemap即可。

更多PHP相关知识,请访问PHP中文网!

更多相关文章

  1. PHP每15分钟自动更新网站地图(减少服务器消耗)
  2. PHP使用swoole实现多线程爬虫
  3. 解决CentOS7中php-fpm进程数过多导致服务器内存资源消耗较大的问
  4. 社会化海量数据采集爬虫框架搭建
  5. 1 第一个网络爬虫(1)
  6. 【网络爬虫】【java】微博爬虫(四):数据处理——jsoup工具解析html
  7. php的最快排序,放弃老师教的消耗大量资源排序吧!
  8. Python爬虫系列(三)多线程爬取斗图网站(皮皮虾,我们上车)
  9. Python网页静态爬虫

随机推荐

  1. Android studio启动后无法更新
  2. 第1个Android应用程序 Android制作简单单
  3. Android中的visibility属性的区别
  4. android开发 加载so库的解析和出现的各种
  5. android 用代码画虚线边框背景
  6. android-详解Android中的屏幕方向
  7. Android 字体颜色变化(点击)
  8. 怎么在button上写两行文字
  9. Android开发中立即停止AsyncTask和Thread
  10. Android中的预定义样式