一、爬虫准入政策概述
流星云官网对全网各大合规搜索引擎(包括但不限于 Googlebot、Bingbot、Baiduspider、YandexBot、Applebot 等)实行全量开放与自由索引政策。我们欢迎各大搜索引擎索引本站的优质文章、网络加速评测以及技术指南,为全球用户提供准确的专线网络服务信息。
二、服务器原始 robots.txt 规则
本站服务器根目录下的标准机器可读 robots.txt 文件配置如下:
User-agent: *
Allow: /
Sitemap: https://meteorcloud.mom/sitemap.xml
🔗 点击此处查看纯文本格式 robots.txt 原文 >>
三、规则说明与爬虫指令
- User-agent: *:代表本规则适用于互联网上所有已知的合规搜索引擎蜘蛛与抓取机器人。
- Allow: /:允许抓取本站所有公开页面,包括官网首页、套餐方案、核心优势以及全部机场评测指南文章。
- Sitemap 引用:明确指引爬虫机器人访问最新的 XML 网站地图(sitemap.xml),以实现高效收录与极速权重传递。
四、安全与恶意采集防护声明
本协议仅适用于合规公开的搜索引擎抓取。针对未经授权的大规模高频 CC 攻击、恶意扫描脆弱性端口、非法镜像克隆本站内容或盗用专线测速接口的爬虫程序,流星云多线 BGP 防火墙系统将实施自动阻断与 IP 拉黑防护。