IT门户, 中国互联网人工智能物联网行业资讯平台--公众IT

当前位置：公众IT > 技术文章 > 一直在抓取robots.txt所禁止爬取的页面

新闻来源：互联网资料整理       发布时间：2023/4/5 15:04:55       共计：4638 浏览

前言：

随着百度小程序的风头正劲,越来越多的站长投入到百度小程序的开发中来，但是开发过程中难免会碰到诸多问题无法自己解决，02-24小编发现百度用户：【baibai2351】提出了一个关于“一直在抓取robots.txt所禁止爬取的页面”的问题,在问题中开发者baibai2351对该问题做了如下阐述：

问题类型：

  • 业务子类:自然结果

问题描述：

robots.txt 已上传，内容为：

User-agent: *

Disallow: /pages/enquiries/

Disallow: /pages/enquiries_successfully/

Disallow: /pages/buy/

Disallow: /pages/product_category/

?

但是此类页面一直被抓取，并且被识别为空短页

该图片引用百度小程序公众平台

注：以上是百度小程序开发者：”baibai2351″对于本问题的一些阐述，这里做一个引用，我们将实时关注百度小程序助手对该问题提出的解决方案。

解决方案：

【02-24】百度官方对用户baibai2351提出的一直在抓取robots.txt所禁止爬取的页面给予如下回复

您好，未收录资源的数据是近15天的数据，可能还未更新，无效页面可以做删除处理。

结语：

百度智能小程序开源联盟对于整个行业而言是一次机遇，让所有人都有机会享受到小程序所到来的红利。另一方面，对于百度自身而言，智能小程序开源联盟或许是其又一次业绩腾飞的潜在动力

如果您也在使用百度小程序，请关注我们，如果您有关于百度小程序的使用问题请联系我们，或者去百度小程序平台找官方人员给予解决，相信百度在小程序上的发力会是一个里程碑！

版权说明：
本网站凡注明“公众IT 原创”的皆为本站原创文章，如需转载请注明出处！
本网转载皆注明出处，遵循行业规范，如发现作品内容版权或其它问题的，请与我们联系处理！
您可以扫描右侧微信二维码联系我们。
QQ空间腾讯微博微信QQ好友新浪微博人人网复制网址一键分享分享到：
·上一条：web化后设置页面信息，在开发者工具预览时不显示，是为什么？ | ·下一条：审核不通过 调试器 真机无法复现
网站首页 关于我们 联系我们 合作联系 会员说明 新闻投稿 隐私协议 网站地图