拦截日志:
[2026-07-26 06:06:07] Blocked: Malicious UA: dotbot | IP: 216.244.66.245 | UA: Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com) | URI: /?m=202505 | Referer: –
[2026-07-26 06:09:55] Blocked: Malicious UA: semrushbot | IP: 192.168.1.167 | UA: Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html) | URI: /?p=2611 | Referer: –
[2026-07-26 06:09:57] Blocked: Malicious UA: dotbot | IP: 216.244.66.245 | UA: Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com) | URI: /?p=6046 | Referer: –
[2026-07-26 06:22:20] Blocked: Empty User-Agent | IP: 192.168.1.167 | UA: – | URI: /wp-links-opml.php | Referer: –
[2026-07-26 06:22:36] Blocked: Empty User-Agent | IP: 192.168.1.167 | UA: – | URI: /wp-trackback.php | Referer: –
[2026-07-26 06:28:27] Blocked: Malicious UA: bytespider | IP: 127.0.0.1 | UA: Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/) | URI: /?p=5481 | Referer: –
[2026-07-26 06:33:44] Blocked: Malicious UA: dalvik | IP: 127.0.0.1 | UA: Dalvik/2.1.0 (Linux; U; Android 9.0; ZTE BA520 Build/MRA58K) | URI: / | Referer: –
[2026-07-26 06:54:17] Blocked: Malicious UA: dotbot | IP: 216.244.66.245 | UA: Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com) | URI: /?m=20250615 | Referer: –
[2026-07-26 06:54:52] Blocked: Malicious UA: dotbot | IP: 216.244.66.245 | UA: Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com) | URI: /?p=5354 | Referer: –
[2026-07-26 06:55:28] Blocked: Malicious UA: dotbot | IP: 192.168.1.167 | UA: Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com) | URI: /?cat=5&paged=5 | Referer: –
[2026-07-26 06:56:30] Blocked: Malicious UA: dotbot | IP: 216.244.66.245 | UA: Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com) | URI: /?m=202402 | Referer: –
[2026-07-26 07:00:18] Blocked: Malicious UA: dalvik | IP: 127.0.0.1 | UA: Dalvik/2.1.0 (Linux; U; Android 9.0; ZTE BA520 Build/MRA58K) | URI: / | Referer: –
[2026-07-26 07:01:39] Blocked: Malicious UA: semrushbot | IP: 192.168.1.167 | UA: Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html) | URI: /?m=20210425 | Referer: –
[2026-07-26 07:03:51] Blocked: Malicious UA: dotbot | IP: 216.244.66.245 | UA: Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com) | URI: /?m=20200524 | Referer: –
[2026-07-26 07:11:55] Blocked: Malicious UA: bytespider | IP: 127.0.0.1 | UA: Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/) | URI: /?p=6565 | Referer: –
[2026-07-26 07:14:55] Blocked: Malicious UA: bytespider | IP: 127.0.0.1 | UA: Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/) | URI: /?p=7485 | Referer: –
[2026-07-26 07:17:52] Blocked: Malicious UA: bytespider | IP: 127.0.0.1 | UA: Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/) | URI: /?m=20250802 | Referer: –
[2026-07-26 07:17:54] Blocked: Malicious UA: bytespider | IP: 127.0.0.1 | UA: Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/) | URI: /?p=6565 | Referer: –
[2026-07-26 07:26:47] Blocked: Malicious UA: bytespider | IP: 127.0.0.1 | UA: Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/) | URI: /?p=6576 | Referer: –
[2026-07-26 07:29:46] Blocked: Malicious UA: bytespider | IP: 127.0.0.1 | UA: Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/) | URI: /?p=7485 | Referer: –
[2026-07-26 07:30:08] Blocked: Empty User-Agent | IP: 192.168.1.167 | UA: – | URI: /wp-load.php | Referer: –
[2026-07-26 07:30:10] Blocked: Empty User-Agent | IP: 192.168.1.167 | UA: – | URI: /wp-admin/network/plugins.php | Referer: –
[2026-07-26 07:35:45] Blocked: Malicious UA: bytespider | IP: 127.0.0.1 | UA: Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/) | URI: /?p=6546 | Referer: –
[2026-07-26 07:38:45] Blocked: Malicious UA: bytespider | IP: 127.0.0.1 | UA: Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/) | URI: /?p=6792 | Referer: –
[2026-07-26 07:39:54] Blocked: Malicious UA: dotbot | IP: 216.244.66.245 | UA: Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com) | URI: /?p=6020 | Referer: –
[2026-07-26 07:40:56] Blocked: Malicious UA: dotbot | IP: 216.244.66.245 | UA: Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com) | URI: /?p=5706 | Referer: –
[2026-07-26 07:41:44] Blocked: Malicious UA: bytespider | IP: 127.0.0.1 | UA: Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/) | URI: /?p=6546 | Referer: –
[2026-07-26 07:44:44] Blocked: Malicious UA: bytespider | IP: 127.0.0.1 | UA: Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/) | URI: /?m=202511&paged=2 | Referer: –
[2026-07-26 07:44:58] Blocked: Malicious UA: scrapy | IP: 127.0.0.1 | UA: Scrapy/2.16.0 (+https://scrapy.org) | URI: /?p=5966 | Referer: –
[2026-07-26 07:47:43] Blocked: Malicious UA: bytespider | IP: 127.0.0.1 | UA: Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/) | URI: /?p=6903 | Referer: –
[2026-07-26 07:48:23] Blocked: Malicious UA: dotbot | IP: 216.244.66.245 | UA: Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com) | URI: /?m=202405&paged=4 | Referer: –
百度AI日志分析及建议
您提供的日志显示您的网站正在遭受多种恶意爬虫和扫描器的攻击,主要包括 SEO 工具爬虫、空 User-Agent 扫描以及高频数据采集 bot。这些请求不仅消耗服务器资源,还可能探测网站漏洞。
主要威胁分析
- SEO 与数据采集爬虫(DotBot, SemrushBot)
日志中的DotBot(来自 Moz)和SemrushBot是常见的 SEO 分析工具爬虫。虽然它们通常用于索引,但在高频访问下会占用大量带宽和 CPU。特别是当它们无视robots.txt协议或频率过高时,被视为恶意流量 。 - 伪装与空标识扫描(Empty User-Agent)
攻击者使用空的User-Agent字段尝试访问wp-links-opml.php和wp-trackback.php,这是典型的针对 WordPress 网站的漏洞扫描行为,旨在寻找 XML-RPC 或特定插件漏洞进行注入或暴力破解 。 - 高频数据采集(ByteSpider)
bytespider是字节跳动旗下的爬虫,若配置不当或频率失控,会像 DDoS 攻击一样耗尽服务器资源,导致网站瘫痪。此类爬虫常无视 robots 协议,对中小站点极具破坏性 。
建议防护策略
针对上述日志特征,您可以采取以下技术措施进行拦截:
- Nginx/WAF 规则拦截:在 Web 服务器配置中直接拒绝空的
User-Agent以及包含DotBot、SemrushBot、ByteSpider等特定标识的请求。对于空标识请求,可直接返回 403 状态码。 - 频率限制(Rate Limiting):针对单一 IP 设置请求频率阈值。日志显示同一 IP(如
192.168.1.167和216.244.66.245)在短时间内多次请求,应启用限流策略,超过阈值即封禁 。 - WordPress 专项加固:禁用或保护
wp-trackback.php和xmlrpc.php等易受攻击的接口,防止空 UA 扫描利用这些文件进行攻击。可参考专门的 WordPress 防御代码片段进行配置 。 - IP 威胁情报封禁:日志中的部分 IP 可能属于已知恶意段。您可以结合威胁情报库(如 BJOS 等)批量封禁历史恶意 IP 列表,减少实时拦截压力 。
通过组合使用身份识别过滤、频率控制和接口加固,可有效缓解此类恶意爬虫对服务器性能的侵蚀。

