Spider Analyser - WordPress搜索引擎蜘蛛分析插件

Spider Analyser 是一款用于跟踪 WordPress 网站各种搜索引擎蜘蛛爬行日志，并进行详细的蜘蛛爬行数据统计、蜘蛛行为分析、蜘蛛爬取分析及伪蜘蛛拦截等。

Spider Analyser Pro 这是 Spider Analyser 的免费版本，包括蜘蛛概况、蜘蛛日志、蜘蛛列表（蜘蛛清单）、访问路径等大部分功能。如需使用到蜘蛛 IP 段、伪蜘蛛判断、蜘蛛拦截及蜘蛛文章爬取分析等功能，则需要升级到 Pro 版本！ 点击了解及购买 Spider Analyser Pro 版本!

功能包括： 1.蜘蛛概况 支持查看网站日常各大搜索引擎蜘蛛来访的数据； * 今日蜘蛛 方便站长快速了解当日、昨日及 30 天平均的来访蜘蛛数、爬取 URL 数及平均爬取 URL 数。 * 趋势图 支持按今天、昨天、最近 7 天及最近 30 天查看蜘蛛数、爬取 URLs 总量、响应状态码及热门蜘蛛爬取链接数走势折线图，并可查看上一周期数据，以作对比分析。 * Top10 蜘蛛 支持按今天、昨天、最近 7 天及最近 30 天查看 Top10 蜘蛛的爬取 URL 数及占比相关数据。 * Top10 蜘蛛爬取 URL 支持按今天、昨天、最近 7 天及最近 30 天查看 Top10 蜘蛛爬取 URL 的爬取次数及占比，方便站长对热门蜘蛛爬取页面 URL 进行分析。 * Top10 热门文章 按今天、昨天、最近 7 天及最近 30 天查看 Top10 热门文章，以便于站长分析热门文章蜘蛛爬取情况以进一步优化文章页 SEO。 2.蜘蛛日志 支持按今天、最近 7 天及最近 30 天查看蜘蛛日志，包括蜘蛛访问时间、状态码、访问链接、蜘蛛 IP 及蜘蛛名称等参数。 并且支持按蜘蛛名称、状态码及时间进行筛选日志；以及可通过访问 URL、蜘蛛 IP 搜索蜘蛛日志。支持单个或者批量忽略/拦截日志对应蜘蛛。

ℹ️ Tips 1.应重点关注 301/302，及 404 状态码主流搜索引擎（如百度、谷歌和必应）蜘蛛日志。 2.蜘蛛日志分析工作，请查阅详细教程。 3.301/302 状态码内部链接，尽可能修改为最终目标链接。 4.404 状态码内部链接，应修复或重定向为正确链接。 5.重定向可安装Smart SEO Tool 插件实现或手动配置。

3.蜘蛛列表 蜘蛛列表包含蜘蛛清单、蜘蛛 IP 段、疑似伪蜘蛛及蜘蛛拦截四部分的功能，其中：

• 蜘蛛清单 列表包括蜘蛛名称、蜘蛛类型、蜘蛛地址、最近来访时间、爬取 URLs 及占比情况等数据，支持按蜘蛛名称、蜘蛛类型及时间段筛选查询；并且支持单个或者批量忽略或者拦截指定蜘蛛。

ℹ️ Tips 1.蜘蛛清单数据引自蜘蛛查询工具。 2.部分不常见蜘蛛尤其是伪蜘蛛，可能类型显示为未知。但站长切勿以此为标准判别该蜘蛛是否为伪蜘蛛。 3.对于无需记录的蜘蛛爬虫，应该选择忽略或者拦截，避免浪费服务器资源。

• 蜘蛛 IP 段 在该列表可以查看不同蜘蛛对应 IP 段及其占比情况，支持按蜘蛛名、时间进行筛选查询。且支持单个或者批量拦截蜘蛛 IP 段。注：蜘蛛 IP 段拦截属于泛拦截，应审慎操作。

ℹ️ Tips 1.IP 段拦截前，请确保该 IP 段蜘蛛均是不需要统计的，若要取消拦截，请通过蜘蛛拦截列表取消。 2.Pro 版本用户可以考虑直接启用智能拦截，则无需执行手动拦截操作。

• 疑似伪蜘蛛 协作站长快速发现疑似伪蜘蛛名称及 IP 地址，便于快速对伪蜘蛛执行单个或者批量拦截操作。站长应该积极对伪蜘蛛进行拦截操作，避免伪蜘蛛的频繁爬取导致服务器性能下降。

ℹ️ Tips 1.疑似伪蜘蛛数据参考蜘蛛查询工具，仅供参考。 2.如果您的网站启用了全站 CDN（如 Cloudflare），真实蜘蛛也可能被判断为伪蜘蛛。全站 CDN 站点应结合 CDN 路线 IP 进一步判断蜘蛛的真伪。

• 蜘蛛拦截 蜘蛛拦截列表用于站长管理蜘蛛拦截清单，支持站长按名称、IP/IP 段或者名称+IP/IP 段对蜘蛛进行拦截操作。该拦截列表也支持对拦截动作反操作，即可单个或者批量移除拦截。

ℹ️ Tips 1.开启智能拦截前，需确定未采用全站 CDN，否则可能误判拦截真实蜘蛛。 2.部分伪蜘蛛可能会伪装成真实蜘蛛名称，对于伪蜘蛛拦截请使用 IP 拦截方式。 3.按蜘蛛名称拦截，需准确填写蜘蛛名称，区分大小写，否则可能会拦截失败。 4.蜘蛛拦截仅对前端页面爬取蜘蛛有效，对后端数据爬取蜘蛛无效。

4.访问路径 支持按今天、最近 7 天及最近 30 天查看蜘蛛访问路径（爬取页面 URL）具体信息列表，包括 URL、URL 类型、爬取次数及占比情况等数据。 并且支持按蜘蛛名称、类型、状态、时间、访问 URL 及蜘蛛 IP 进行筛选查询。同时，站长还可以快速查看各类型的访问路径的蜘蛛爬取占比饼状分布图。

ℹ️ Tips 1.重点关注主流搜索引擎对文章页及Sitemap的访问爬取。 2.持续更新发布高质量文章内容，以吸引搜索引擎爬取。 3.安装Smart SEO Tool 插件或其他类似插件，通过 sitemap 生成配置剔除不重要链接类型。 4.对于主流搜索引擎高频次爬取文章页，应该适当地添加内部链接。

5.文章爬取 此功能模块是为了方便站长按蜘蛛名称、不同状态的文章类型及时间，快速了解网站文章蜘蛛访问量、出链数及入链数。站长再根据这几个指标，对文章进行内链布局处理，提升蜘蛛爬取频率，从而提升网站收录量。

ℹ️ Tips 1.蜘蛛访问量直接体现搜索引擎对 URL 的嗅觉，蜘蛛访问频率越高，URL 被收录索引几率越大。 2.蜘蛛访问量频率低且未收录文章，可以尝试内容重建及增加入链数。 3.尽可能降低文章指向其他网站的链接数，又或者外链增加 nofollow 属性。 4.收录状态数据通过搜索引擎推送插件引入，建议站长结合这两插件做好链接推送和爬虫分析工作。

6.插件设置

• 记录管理-支持自定义蜘蛛类型及设置蜘蛛记录状态。

ℹ️ Tips 1.如无需统计某一蜘蛛，可以通过操作修改该蜘蛛状态为忽略即可。 2.对于一些非必要蜘蛛，应直接拦截，节省服务器资源。 3.此列表的占比计算范围：最近 7 天的蜘蛛数据。 4.蜘蛛名称及类型数据引自蜘蛛查询工具。

• 链接自定义-允许通过设置链接规则来区分蜘蛛爬取 URL 链接类型，支持添加自定义或者修改新增现有链接类型的规则。

ℹ️ Tips 1.支持通配符形式链接规则，如 /mp-api/* 2.如有不同于预设的链接类型，可以通过添加自定义来新增；否则建议在预设类型基础上修改新增。

• 日志设置-支持设置插件日志保留时间周期（最近 30 天、最近 3 个月、最近 6 个月、最近 1 年或永久），日志备份及删除和自定义蜘蛛。

ℹ️ Tips 1.日志保留周期可根据自身实际情况选择，一般保留 30 天即可。如数据量非常大，改为近 7 天亦可。 2.日志更新方式需写入数据库，为保证服务器性能，可考虑每小时（默认）甚至每天更新。 3.如蜘蛛日志数据量非常庞大，建议备份日志并删除，忽略及拦截不必要的蜘蛛。

Spider Analyser 插件非常适合站长作为网站 SEO 优化的辅助工具，通过数据统计深入了解更大搜索引擎蜘蛛爬取页面 URL 的行为习惯。WordPress 站长可以利用该插件，并结合WordPress 网站 SEO 优化插件、百度推送插件和关键词推荐插件，对 WordPress 网站内容的搜索引擎收录及排名优化可以做到事半功倍的效果！

Spider Analyser 插件的蜘蛛爬虫数据引自蜘蛛爬虫查询在线工具。该工具整合了 1600+蜘蛛爬虫数据，涵盖的类型包括搜索引擎、营销、快照、监控、信息流、链接检测、爬虫、工具、速度检测和漏洞/病毒扫描等。 您也可以使用该在线工具在线，通过蜘蛛名称、IP 地址和用户代理字符串，来查询蜘蛛的详细信息及判断蜘蛛爬虫的真伪！

方式 1：在线安装(推荐)

1. 进入 WordPress 仪表盘，访问 插件-安装插件，输入 Spider Analyser 关键词搜索，找搜索结果中找到 Spider Analyser 插件，点击现在安装；
2. 安装完毕后，启用 Spider Analyser 插件.
3. 通过仪表盘左侧菜单 蜘蛛分析即可查看网站蜘蛛爬虫的数据统计及行为分析.

方式 2：上传安装 FTP 上传安装

1. 解压插件压缩包 spider-analyser.zip，将解压获得文件夹上传至 wordpress 安装目录下的 /wp-content/plugins/目录.
2. 访问 WordPress 仪表盘，进入 插件-已安装插件，在插件列表中找到 Spider Analyser 插件，点击启用.
3. 通过仪表盘左侧菜单 蜘蛛分析即可查看网站蜘蛛爬虫的数据统计及行为分析. 仪表盘上传安装
4. 进入 WordPress 仪表盘，点击插件-安装插件；
5. 点击界面左上方的上传按钮，选择本地提前下载好的插件压缩包 spider-analyser.zip，点击现在安装；
6. 安装完毕后，启用 Spider Analyser 插件；
7. 通过仪表盘左侧菜单 蜘蛛分析即可查看网站蜘蛛爬虫的数据统计及行为分析.

关于本插件，你可以通过阅读Spider Analyser 插件教程学习了解插件安装、设置等详细内容。

1.4.2

• 修复网站更换域名插件无法正常使用问题。
• 修复智能拦截无数据问题。
• 优化插件 PHP 代码。

1.4.1

• 基于编码规范进一步优化 PHP 代码；
• 优化 PHP 代码以提升性能；
• 优化 PHP 代码以增强代码安全性。

1.4.0

• 增加疑似伪蜘蛛列表筛选选项；
• 增加蜘蛛拦截列表筛选选项；
• 增加文章爬取列表文章编辑操作项；
• 其他已知问题修复和体验优化。

1.3.11

• 优化移动端样式和体验；
• 主题插件仪表盘 UI 规范化处理；
• 其他已知问题及 bug 修复。

1.3.10

• 优化趋势统计表交互效果；
• 优化温馨提示移动端样式；
• 优化表单数据移动端筛选查询交互。

1.3.9

• 完善和新增各个模块对应温馨提示，以帮助站长更高效地利用插件；
• 优化数据统计图表，提升数据查看交互体验；
• 合并 301/302 状态码日志数据，提升数据筛选效率及调用便利性；
• 删除各个数据列表无关筛选项；
• 优化统计数据缓存规则，提升插件效率；
• 优化移动端筛选项交互体验。

1.3.8

• 新增智能拦截一键清除按钮；
• 新增日志设置选项，支持日志更新方式可选及日志删除等；
• 新增部分操作项再次确认窗口，以免误操作；
• 修复版本更新提示链接点击无效 bug；
• 兼容 WordPress 6.0；
• 进一步优化蜘蛛日志写入逻辑以提升效率。

1.3.7

• 紧急修复 Pro 无法激活 bug。

1.3.6

• 修复智能拦截开关状态无法保存问题；
• 新增智能拦截弹窗提示，以再次确认站长操作。

1.3.5

• 新增日志保留周期“最近 7 天”选项;
• 新增伪蜘蛛智能拦截开关；
• 优化插件设置记录管理，支持拦截相关操作；
• 其他已知小问题及体验优化。

1.3.4

• 兼容 WordPress 5.9；
• 优化列表批量操作交互体验；
• 优化多处移动端样式及交互体验。

1.3.3

• 修复 Free 版本蜘蛛日志记录异常问题。

1.3.2

• 新增以 WP 安全标准规范化插件代码；
• 优化蜘蛛拦截逻辑提高拦截准确率；
• 修复搜狗蜘蛛名称未能正确匹配为 sogou spider 的 bug。

1.3.1

• 修复新安装插件部分数据表无法正常显示的 bug。

1.3.0

• 新增蜘蛛爬虫信息查看快捷入口；
• 新增蜘蛛爬虫 IP 搜索快捷入口；
• 修复疑似伪蜘蛛列表免费版本下为空白；
• 补充部分列表说明文字及数据来源。

1.2.5

• 修复插件后台部分 URL 路径问题；
• 兼容 WordPress 5.8.

1.2.4

• 新增列表批量操作选项（批量忽略/拦截/移除）；
• 新增访问路径分布饼状图；
• 新增 Pro 版本升级入口链接；
• 新增限时优惠活动入口；
• 优化版本升级提示与 WordPress 默认样式一致。

1.2.3

• 优化蜘蛛概况趋势图，移除爬取 URLs 均值数据统计，新增蜘蛛爬取链接状态码、热门蜘蛛爬取链接数趋势；
• 列表新增数据列升降序排列支持；
• 优化蜘蛛日志列表，增加状态码筛选项及列表数据；
• 优化内容推荐版块展示逻辑；
• 加入缓存机制，以提升部分数据加载性能；
• 增加 Pro 及免费版本功能对比列表。

1.2.2

• 优化列表拦截/忽略操作交互体验，拦截/忽略记录不在原列表显示；
• 修复列表忽略操作无效 bug；
• 蜘蛛拦截列表新增路径及拦截方式列；
• 优化文章爬取列表显示数据，支持全局数据读取；
• 引入全新列表 UI 库，增强交互体验；
• 修复蜘蛛清单所有状态筛选项错误 bug，改为所有类型筛选项；
• 进步优化插件相关页面移动端兼容性。

1.2.1

• 新增部分数据列表数据项查看更多入口；
• 优化蜘蛛概况数据统计图表 UI 布局；
• 重新调整蜘蛛列表，拆分为蜘蛛清单、蜘蛛 IP、疑似伪蜘蛛和蜘蛛拦截多个 Tab 标签页；
• 优化蜘蛛拦截规则，支持名称、IP/IP 段或名称+IP/IP 段三种拦截方式；
• 重新调整插件设置，拆分为记录管理、链接规则和日志设置多个 Tab 标签页；
• 新增蜘蛛日志备份下载功能；
• 修正搜狗蜘蛛日志无法记录 bug。

1.2.0

• 新增热门文章列表，支持站长了解文章蜘蛛爬取量、出链数及入链数；
• 新增蜘蛛 IP 段列表，以便于站长了解不同蜘蛛对应 IP 段数据；
• 新增疑似伪蜘蛛识别功能；
• 新增蜘蛛名称及蜘蛛 IP 拦截功能，以便于站长对不需要的蜘蛛或者 IP 进行拦截；
• 蜘蛛概况新增访问路径快捷入口；
• 蜘蛛日志、蜘蛛列表及访问路径等列表新增拦截操作选项；
• 其他功能体验优化及已知问题修复。

1.1.4

• 紧急修复蜘蛛忽略设置可能导致相似名称蜘蛛被忽略 bug.

1.1.3

• 新增日志保留时间选项及删除日志操作；
• 新增蜘蛛列表管理，支持自定义蜘蛛，蜘蛛类型及记录开关；
• 新增链接自定义类型及规则设置，支持新增或者修改 URL 类型及链接规则；
• 优化蜘蛛列表，新增按蜘蛛名称筛选支持。

1.1.2

• 新增蜘蛛访问路径数据列表功能；
• 新增访问路径类型数据统计，支持按首页、文章页、独立页、分类页、搜索页、作者页、Feed、Sitemap、API 和其他类型归类 URL；
• 其他已知问题及 bug 修复。

1.1.1

• 新增蜘蛛列表功能，支持查看站点更多蜘蛛相关数据信息；
• 新增更多蜘蛛数据统计，支持 300+不同类型蜘蛛数据统计；
• 优化插件移动端界面样式。

1.1.0

• 新增日志筛选搜索功能；
• 新增版本升级提示功能；
• 修复部分蜘蛛无法统计 bug。

1.0.3

• 优化爬虫日志记录规则，由每小时更新改为实时更新；
• 删除原有的本地日志记录功能，改为直接数据库记录。

1.0.2

• 修复数据图表纵坐标参考值出现小数的 bug；
• 修复统计图表数据取值异常问题；
• 优化数据统计图表当期及上期折线样式（当期实线，上期虚线）。

1.0.1

• 修复部分网站无数据展示 bug；
• 优化插件部分统计数据术语，统一标准；
• 优化移动端展示外观;
• 删除非必要文件。

1.0.0

• 新增今日蜘蛛数据统计功能；
• 新增蜘蛛数据趋势图功能；
• 新增 Top10 搜索引擎蜘蛛统计功能；
• 新增 Top10 蜘蛛爬取 URL 统计功能；
• 新增蜘蛛日志功能，统计蜘蛛访问时间、状态码、访问链接、蜘蛛 IP 及蜘蛛名称等数据。