Нажмите для увеличения
Описание
Spider Analyser是一款用于跟踪WordPress网站各种搜索引擎蜘蛛爬行日志的插件,并进行详细的蜘蛛爬行数据统计、蜘蛛行为分析、蜘蛛爬取分析及伪蜘蛛拦截等。
Spider Analyser Pro
这是Spider Analyser的免费版本,包括蜘蛛概况、蜘蛛日志、蜘蛛列表(蜘蛛清单)、访问路径等大部分功能。如需使用到蜘蛛IP段、伪蜘蛛判断、蜘蛛拦截及蜘蛛文章爬取分析等功能,则需要升级到Pro版本! 点击了解及购买Spider Analyser Pro版本!
功能包括:
**1.蜘蛛概况**
支持查看网站日常各大搜索引擎蜘蛛来访的数据;
•
今日蜘蛛
方便站长快速了解当日、昨日及30天平均的来访蜘蛛数、爬取URL数及平均爬取URL数。
•
趋势图
支持按今天、昨天、最近7天及最近30天查看蜘蛛数、爬取URLs总量、响应状态码及热门蜘蛛爬取链接数走势折线图,并可查看上一周期数据,以作对比分析。
•
Top10蜘蛛
支持按今天、昨天、最近7天及最近30天查看Top10蜘蛛的爬取URL数及占比相关数据。
•
Top10蜘蛛爬取URL
支持按今天、昨天、最近7天及最近30天查看Top10蜘蛛爬取URL的爬取次数及占比,方便站长对热门蜘蛛爬取页面URL进行分析。
•
Top10热门文章
按今天、昨天、最近7天及最近30天查看Top10热门文章,以便于站长分析热门文章蜘蛛爬取情况以进一步优化文章页SEO。
**2.蜘蛛日志**
支持按今天、最近7天及最近30天查看蜘蛛日志,包括蜘蛛访问时间、状态码、访问链接、蜘蛛IP及蜘蛛名称等参数。
并且支持按蜘蛛名称、状态码及时间进行筛选日志;以及可通过访问URL、蜘蛛IP搜索蜘蛛日志。支持单个或者批量忽略/拦截日志对应蜘蛛。
ℹ️ Tips
1.应重点关注301/302,及404状态码主流搜索引擎(如百度、谷歌和必应)蜘蛛日志。
2.蜘蛛日志分析工作,请查阅详细教程。
3.301/302状态码内部链接,尽可能修改为最终目标链接。
4.404状态码内部链接,应修复或重定向为正确链接。
5.重定向可安装Smart SEO Tool插件实现或手动配置。
**3.蜘蛛列表**
蜘蛛列表包含蜘蛛清单、蜘蛛IP段、疑似伪蜘蛛及蜘蛛拦截四部分的功能,其中:
• 蜘蛛清单
列表包括蜘蛛名称、蜘蛛类型、蜘蛛地址、最近来访时间、爬取URLs及占比情况等数据,支持按蜘蛛名称、蜘蛛类型及时间段筛选查询;并且支持单个或者批量忽略或者拦截指定蜘蛛。
ℹ️ Tips
1.蜘蛛清单数据引自蜘蛛查询工具。
2.部分不常见蜘蛛尤其是伪蜘蛛,可能类型显示为未知。但站长切勿以此为标准判别该蜘蛛是否为伪蜘蛛。
3.对于无需记录的蜘蛛爬虫,应该选择忽略或者拦截,避免浪费服务器资源。
• 蜘蛛IP段
在该列表可以查看不同蜘蛛对应IP段及其占比情况,支持按蜘蛛名、时间进行筛选查询。且支持单个或者批量拦截蜘蛛IP段。注:蜘蛛IP段拦截属于泛拦截,应审慎操作。
ℹ️ Tips
1.IP段拦截前,请确保该IP段蜘蛛均是不需要统计的,若要取消拦截,请通过蜘蛛拦截列表取消。
2.Pro版本用户可以考虑直接启用智能拦截,则无需执行手动拦截操作。
• 疑似伪蜘蛛
协作站长快速发现疑似伪蜘蛛名称及IP地址,便于快速对伪蜘蛛执行单个或者批量拦截操作。站长应该积极对伪蜘蛛进行拦截操作,避免伪蜘蛛的频繁爬取导致服务器性能下降。
ℹ️ Tips
1.疑似伪蜘蛛数据参考蜘蛛查询工具,仅供参考。
2.如果您的网站启用了全站CDN(如Cloudflare),真实蜘蛛也可能被判断为伪蜘蛛。全站CDN站点应结合CDN路线IP进一步判断蜘蛛的真伪。
• 蜘蛛拦截
蜘蛛拦截列表用于站长管理蜘蛛拦截清单,支持站长按名称、IP/IP段或者名称+IP/IP段对蜘蛛进行拦截操作。该拦截列表也支持对拦截动作反操作,即可单个或者批量移除拦截。
ℹ️ Tips
1.开启智能拦截前,需确定未采用全站CDN,否则可能误判拦截真实蜘蛛。
2.部分伪蜘蛛可能会伪装成真实蜘蛛名称,对于伪蜘蛛拦截请使用IP拦截方式。
3.按蜘蛛名称拦截,需准确填写蜘蛛名称,区分大小写,否则可能会拦截失败。
4.蜘蛛拦截仅对前端页面爬取蜘蛛有效,对后端数据爬取蜘蛛无效。
**4.访问路径**
支持按今天、最近7天及最近30天查看蜘蛛访问路径(爬取页面URL)具体信息列表,包括URL、URL类型、爬取次数及占比情况等数据。
并且支持按蜘蛛名称、类型、状态、时间、访问URL及蜘蛛IP进行筛选查询。同时,站长还可以快速查看各类型的访问路径的蜘蛛爬取占比饼状分布图。
ℹ️ Tips
1.重点关注主流搜索引擎对文章页及Sitemap的访问爬取。
2.持续更新发布高质量文章内容,以吸引搜索引擎爬取。
3.安装Smart SEO Tool插件或其他类似插件,通过sitemap生成配置剔除不重要链接类型。
4.对于主流搜索引擎高频次爬取文章页,应该适当地添加内部链接。
**5.文章爬取**
此功能模块是为了方便站长按蜘蛛名称、不同状态的文章类型及时间,快速了解网站文章蜘蛛访问量、出链数及入链数。站长再根据这几个指标,对文章进行内链布局处理,提升蜘蛛爬取频率,从而提升网站收录量。
ℹ️ Tips
1.蜘蛛访问量直接体现搜索引擎对URL的嗅觉,蜘蛛访问频率越高,URL被收录索引几率越大。
2.蜘蛛访问量频率低且未收录文章,可以尝试内容重建及增加入链数。
3.尽可能降低文章指向其他网站的链接数,又或者外链增加nofollow属性。
4.收录状态数据通过搜索引擎推送插件引入,建议站长结合这两插件做好链接推送和爬虫分析工作。
**6.插件设置**
• 记录管理-支持自定义蜘蛛类型及设置蜘蛛记录状态。
ℹ️ Tips
1.如无需统计某一蜘蛛,可以通过操作修改该蜘蛛状态为忽略即可。
2.对于一些非必要蜘蛛,应直接拦截,节省服务器资源。
3.此列表的占比计算范围:最近7天的蜘蛛数据。
4.蜘蛛名称及类型数据引自蜘蛛查询工具。
• 链接自定义-允许通过设置链接规则来区分蜘蛛爬取URL链接类型,支持添加自定义或者修改新增现有链接类型的规则。
ℹ️ Tips
1.支持通配符形式链接规则,如 /mp-api/*
2.如有不同于预设的链接类型,可以通过添加自定义来新增;否则建议在预设类型基础上修改新增。
• 日志设置-支持设置插件日志保留时间周期(最近30天、最近3个月、最近6个月、最近1年或永久),日志备份及删除和自定义蜘蛛。
ℹ️ Tips
1.日志保留周期可根据自身实际情况选择,一般保留30天即可。如数据量非常大,改为近7天...
Spider Analyser Pro
这是Spider Analyser的免费版本,包括蜘蛛概况、蜘蛛日志、蜘蛛列表(蜘蛛清单)、访问路径等大部分功能。如需使用到蜘蛛IP段、伪蜘蛛判断、蜘蛛拦截及蜘蛛文章爬取分析等功能,则需要升级到Pro版本! 点击了解及购买Spider Analyser Pro版本!
功能包括:
**1.蜘蛛概况**
支持查看网站日常各大搜索引擎蜘蛛来访的数据;
•
今日蜘蛛
方便站长快速了解当日、昨日及30天平均的来访蜘蛛数、爬取URL数及平均爬取URL数。
•
趋势图
支持按今天、昨天、最近7天及最近30天查看蜘蛛数、爬取URLs总量、响应状态码及热门蜘蛛爬取链接数走势折线图,并可查看上一周期数据,以作对比分析。
•
Top10蜘蛛
支持按今天、昨天、最近7天及最近30天查看Top10蜘蛛的爬取URL数及占比相关数据。
•
Top10蜘蛛爬取URL
支持按今天、昨天、最近7天及最近30天查看Top10蜘蛛爬取URL的爬取次数及占比,方便站长对热门蜘蛛爬取页面URL进行分析。
•
Top10热门文章
按今天、昨天、最近7天及最近30天查看Top10热门文章,以便于站长分析热门文章蜘蛛爬取情况以进一步优化文章页SEO。
**2.蜘蛛日志**
支持按今天、最近7天及最近30天查看蜘蛛日志,包括蜘蛛访问时间、状态码、访问链接、蜘蛛IP及蜘蛛名称等参数。
并且支持按蜘蛛名称、状态码及时间进行筛选日志;以及可通过访问URL、蜘蛛IP搜索蜘蛛日志。支持单个或者批量忽略/拦截日志对应蜘蛛。
ℹ️ Tips
1.应重点关注301/302,及404状态码主流搜索引擎(如百度、谷歌和必应)蜘蛛日志。
2.蜘蛛日志分析工作,请查阅详细教程。
3.301/302状态码内部链接,尽可能修改为最终目标链接。
4.404状态码内部链接,应修复或重定向为正确链接。
5.重定向可安装Smart SEO Tool插件实现或手动配置。
**3.蜘蛛列表**
蜘蛛列表包含蜘蛛清单、蜘蛛IP段、疑似伪蜘蛛及蜘蛛拦截四部分的功能,其中:
• 蜘蛛清单
列表包括蜘蛛名称、蜘蛛类型、蜘蛛地址、最近来访时间、爬取URLs及占比情况等数据,支持按蜘蛛名称、蜘蛛类型及时间段筛选查询;并且支持单个或者批量忽略或者拦截指定蜘蛛。
ℹ️ Tips
1.蜘蛛清单数据引自蜘蛛查询工具。
2.部分不常见蜘蛛尤其是伪蜘蛛,可能类型显示为未知。但站长切勿以此为标准判别该蜘蛛是否为伪蜘蛛。
3.对于无需记录的蜘蛛爬虫,应该选择忽略或者拦截,避免浪费服务器资源。
• 蜘蛛IP段
在该列表可以查看不同蜘蛛对应IP段及其占比情况,支持按蜘蛛名、时间进行筛选查询。且支持单个或者批量拦截蜘蛛IP段。注:蜘蛛IP段拦截属于泛拦截,应审慎操作。
ℹ️ Tips
1.IP段拦截前,请确保该IP段蜘蛛均是不需要统计的,若要取消拦截,请通过蜘蛛拦截列表取消。
2.Pro版本用户可以考虑直接启用智能拦截,则无需执行手动拦截操作。
• 疑似伪蜘蛛
协作站长快速发现疑似伪蜘蛛名称及IP地址,便于快速对伪蜘蛛执行单个或者批量拦截操作。站长应该积极对伪蜘蛛进行拦截操作,避免伪蜘蛛的频繁爬取导致服务器性能下降。
ℹ️ Tips
1.疑似伪蜘蛛数据参考蜘蛛查询工具,仅供参考。
2.如果您的网站启用了全站CDN(如Cloudflare),真实蜘蛛也可能被判断为伪蜘蛛。全站CDN站点应结合CDN路线IP进一步判断蜘蛛的真伪。
• 蜘蛛拦截
蜘蛛拦截列表用于站长管理蜘蛛拦截清单,支持站长按名称、IP/IP段或者名称+IP/IP段对蜘蛛进行拦截操作。该拦截列表也支持对拦截动作反操作,即可单个或者批量移除拦截。
ℹ️ Tips
1.开启智能拦截前,需确定未采用全站CDN,否则可能误判拦截真实蜘蛛。
2.部分伪蜘蛛可能会伪装成真实蜘蛛名称,对于伪蜘蛛拦截请使用IP拦截方式。
3.按蜘蛛名称拦截,需准确填写蜘蛛名称,区分大小写,否则可能会拦截失败。
4.蜘蛛拦截仅对前端页面爬取蜘蛛有效,对后端数据爬取蜘蛛无效。
**4.访问路径**
支持按今天、最近7天及最近30天查看蜘蛛访问路径(爬取页面URL)具体信息列表,包括URL、URL类型、爬取次数及占比情况等数据。
并且支持按蜘蛛名称、类型、状态、时间、访问URL及蜘蛛IP进行筛选查询。同时,站长还可以快速查看各类型的访问路径的蜘蛛爬取占比饼状分布图。
ℹ️ Tips
1.重点关注主流搜索引擎对文章页及Sitemap的访问爬取。
2.持续更新发布高质量文章内容,以吸引搜索引擎爬取。
3.安装Smart SEO Tool插件或其他类似插件,通过sitemap生成配置剔除不重要链接类型。
4.对于主流搜索引擎高频次爬取文章页,应该适当地添加内部链接。
**5.文章爬取**
此功能模块是为了方便站长按蜘蛛名称、不同状态的文章类型及时间,快速了解网站文章蜘蛛访问量、出链数及入链数。站长再根据这几个指标,对文章进行内链布局处理,提升蜘蛛爬取频率,从而提升网站收录量。
ℹ️ Tips
1.蜘蛛访问量直接体现搜索引擎对URL的嗅觉,蜘蛛访问频率越高,URL被收录索引几率越大。
2.蜘蛛访问量频率低且未收录文章,可以尝试内容重建及增加入链数。
3.尽可能降低文章指向其他网站的链接数,又或者外链增加nofollow属性。
4.收录状态数据通过搜索引擎推送插件引入,建议站长结合这两插件做好链接推送和爬虫分析工作。
**6.插件设置**
• 记录管理-支持自定义蜘蛛类型及设置蜘蛛记录状态。
ℹ️ Tips
1.如无需统计某一蜘蛛,可以通过操作修改该蜘蛛状态为忽略即可。
2.对于一些非必要蜘蛛,应直接拦截,节省服务器资源。
3.此列表的占比计算范围:最近7天的蜘蛛数据。
4.蜘蛛名称及类型数据引自蜘蛛查询工具。
• 链接自定义-允许通过设置链接规则来区分蜘蛛爬取URL链接类型,支持添加自定义或者修改新增现有链接类型的规则。
ℹ️ Tips
1.支持通配符形式链接规则,如 /mp-api/*
2.如有不同于预设的链接类型,可以通过添加自定义来新增;否则建议在预设类型基础上修改新增。
• 日志设置-支持设置插件日志保留时间周期(最近30天、最近3个月、最近6个月、最近1年或永久),日志备份及删除和自定义蜘蛛。
ℹ️ Tips
1.日志保留周期可根据自身实际情况选择,一般保留30天即可。如数据量非常大,改为近7天...
Похожие товары
Смотреть все
Хит продаж
WordPress
Хит продаж
WordPress