宝塔面板怎么看蜘蛛日志

学完这篇，你能在宝塔面板里准确找到网站日志，并用面板自带功能和几条 SSH 命令筛出百度、谷歌、必应等蜘蛛的抓取记录，判断蜘蛛来访频率和抓取的是哪些页面。

第一步：确认网站日志已经开着

这一步要确认 Nginx/Apache 正在记录访问日志，否则后面什么都看不到。打开宝塔面板，左侧菜单点「网站」，在站点列表里找到你的域名，点右侧的「设置」按钮。

在弹出的窗口里，左侧选「配置文件」（宝塔 Linux 面板 9.x 里叫「配置文件」，8.x 里叫「配置文件」或「网站配置」）。往下找 access_log 这一行，正常应该是：

access_log /www/wwwlogs/你的域名.log;

如果这行被 # 注释掉了，把 # 删掉，点右下角「保存」，然后回到「设置」窗口点「重载配置」或「重启」。

注意：宝塔新建站点时日志默认是开的，但有些人为了省磁盘手动关过。日志一关，蜘蛛来多少次你都不会知道，所以先确认这一行。

第二步：在面板界面里直接看日志

这一步不写命令，直接在网页上看。回到站点「设置」窗口，左侧点「网站日志」，右侧会出现两个文件：access.log（访问日志）和 error.log（错误日志）。默认显示 access.log，右上角有「下载」按钮，也有刷新按钮。

日志末尾是最新记录，用浏览器 Ctrl+F 搜 Baiduspider、Googlebot、bingbot、Sogou、360Spider、YisouSpider 就能看到蜘蛛来访。

缺点是：日志文件大时网页会卡，而且只能一条条翻，不适合统计。

第三步：用 SSH 命令筛蜘蛛（推荐）

这一步能快速统计出每个蜘蛛来了多少次。用宝塔面板左侧「终端」，或本地用 Xshell/PuTTY 连上服务器，先进入日志目录：

cd /www/wwwlogs

统计百度蜘蛛今天抓了多少次：

grep -i "Baiduspider" 你的域名.log | wc -l

看百度蜘蛛最近抓了哪些页面（最后 30 条）：

grep -i "Baiduspider" 你的域名.log | tail -n 30

一次性对比各搜索引擎蜘蛛的次数：

grep -ioE "Baiduspider|Googlebot|bingbot|Sogou web spider|360Spider|YisouSpider" 你的域名.log | sort | uniq -c | sort -rn

实时盯着蜘蛛来没来：

tail -f 你的域名.log | grep -i "Baiduspider"

注意：-i 表示忽略大小写，别漏掉，UA 里的大小写并不统一。另外蜘蛛 UA 可以伪造，真要验证就得反查 IP 的 DNS 归属（host 蜘蛛IP），看是否解析到 baidu.com 这类官方域名。

第四步：看历史日志（已被切割或压缩）

宝塔默认按天切割日志，旧文件会变成 你的域名.log.2024-05-01.gz 这种。查压缩包里的蜘蛛记录用 zgrep：

cd /www/wwwlogs
zgrep -i "Baiduspider" 你的域名.log.2024-05-01.gz | wc -l

按日期看蜘蛛每天的抓取量，可以用：

grep -i "Baiduspider" 你的域名.log | awk '{print $4}' | cut -d: -f1 | sort | uniq -c

切割规则在「计划任务」→「日志切割」里，可以改成保留 7 天或 30 天。

第五步：用「网站监控报表」看图表

懒得敲命令，可以装插件。左侧「软件商店」，搜索「网站监控报表」，点「安装」。装完后在左侧菜单「网站」→「网站监控报表」打开，切到「蜘蛛」标签页，能直接看到各搜索引擎蜘蛛的来访曲线、抓取页面 Top 榜。

注意：这个插件依赖 Nginx，Apache 环境用不了；免费版只保留近几天数据，想看长期趋势需要专业版。另外如果站点前面套了 CDN（Cloudflare、百度云加速等），日志里的 IP 全是 CDN 节点 IP，蜘蛛统计会失真，需要在 Nginx 里配置 set_real_ip_from 和 real_ip_header X-Forwarded-For 拿到真实 IP。

小结

• 先确认「网站 → 设置 → 配置文件」里 access_log 没被注释，日志路径在 /www/wwwlogs/你的域名.log。
• 面板看日志：「网站 → 设置 → 网站日志」，适合临时瞄一眼。
• 命令筛蜘蛛：grep -i "Baiduspider" 日志文件 | wc -l 统计次数，tail -f 实时监控，zgrep 查压缩的历史日志。
• 图表统计用「软件商店 → 网站监控报表 → 蜘蛛」标签页。
• 套了 CDN 的站点必须配真实 IP 获取，否则蜘蛛数据不准；UA 可伪造，重要判断要反查 IP 归属。