User-agent: *
Disallow: /wp-admin/  # 禁止爬取后台
Disallow: /wp-includes/  # 禁止爬取核心文件
Disallow: /feed/  # 禁止RSS订阅（可选）
Disallow: /trackback/  # 禁止Trackback（可选）
Allow: /  # 允许爬取首页和内容页

# 控制爬取频率（部分爬虫支持）

User-agent: Baiduspider  
Crawl-delay: 8  
Allow: /

User-agent: Googlebot 
Crawl-delay: 10
Allow: /

User-agent: bingbot
Crawl-delay: 10  # 每隔10秒抓取一次（单位：秒）

User-agent: ahrefsbot
Crawl-delay: 15

User-agent: SemrushBot
Disallow: /

# 站点地图地址
Sitemap: https://www.guapizhu.com/wp-sitemap.xml