结论:PetalBot 是华为花瓣搜索(Petal Search)的官方爬虫,站长一般不需要屏蔽,正常放行即可。
① 先确认身份。PetalBot 的 UA 里通常带有「PetalBot」字样,官方也公布了对应的 IP 段,遇到陌生流量时可以用反向 DNS 或官方 IP 列表核对,避免误把仿冒爬虫当成它。
② 它的抓取目的和百度、Google 蜘蛛类似,是为了给花瓣搜索建立索引。如果你的站点希望被海外或华为终端用户搜到,就应该在 robots.txt 里允许它抓取,而不是一刀切封掉。
③ 真正要留意的是抓取频率。如果日志里 PetalBot 请求量突然暴涨、影响服务器负载,可以在 robots.txt 里用 Crawl-delay 限速,或在 Nginx 层面对其 IP 段做并发限制,而不是直接封禁。
④ 如果站点确实不想被它收录,用 robots.txt 的 User-agent: PetalBot + Disallow: / 就能礼貌拒绝,比在防火墙里拉黑更规范,也方便日后调整。