# robots.txt - 白条提现企业网站蜘蛛协议
# 最后更新：2024年
# 适用域名：www.baitiaotixian.com

# 允许所有搜索引擎抓取
User-agent: *
Disallow:

# 百度蜘蛛特别优化配置
User-agent: Baiduspider
Allow: /
Disallow: /404.html
Disallow: /admin/
Disallow: /temp/
Disallow: /test/
Crawl-delay: 1

# 谷歌蜘蛛配置
User-agent: Googlebot
Allow: /
Disallow: /404.html
Disallow: /admin/
Disallow: /temp/
Crawl-delay: 0.5

# 360蜘蛛配置
User-agent: 360Spider
Allow: /
Disallow: /404.html
Disallow: /admin/
Crawl-delay: 1

# 搜狗蜘蛛配置
User-agent: Sogou web spider
Allow: /
Disallow: /404.html
Disallow: /admin/
Crawl-delay: 1

# 神马蜘蛛（UC移动搜索）
User-agent: YisouSpider
Allow: /
Disallow: /404.html
Disallow: /admin/
Crawl-delay: 1

# 必应蜘蛛
User-agent: Bingbot
Allow: /
Disallow: /404.html
Disallow: /admin/
Crawl-delay: 1

# 其他搜索引擎
User-agent: Yeti
Allow: /
Disallow: /404.html
Crawl-delay: 2

# 屏蔽恶意爬虫
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

# 站点地图 - 帮助百度更快收录
Sitemap: https://www.baitiaotixian.com/sitemap.html