Resource Data

一些资源所有者错误地认为索引是通过必须发送给机器人的“个人邀请”进行的，也就是说，必须发送指向资源的链接。事实上，搜索蜘蛛不断地探索互联网空间，因此一个没有被关闭索引的网站迟早会被评估。

如果此时资源满足搜索引擎的要求就好了。如果不是呢？那么，结果不但不能得到优化，反而会得到相反的效果，即“悲观化”，以后就需要努力挽回声誉了。

客观上需要彻底关闭某个网站的索引可能是由于以下原因造成的：

该资源是最近创建的，正在进行填充、更改界面等工作。最终结果还很遥远，所有者以不同的形式呈现该网站，直到它对搜索蜘蛛隐藏起来才更为正确。如果没有机会填补网站，也应该采取 爱沙尼亚电话号码列表 同样的做法。最好经过全面修改和配置后再开放资源供蜘蛛进行分析工作。然后，机器人会看到一个现代且相关的网站，值得获得高评级，因此在搜索结果中占据较高的位置。

有一个重复的资源，可以让网站管理员在真实条件下测试创新和可能的变化。模拟应该对机器人不可见，否则它们可能会看到重复的内容，这将导致极其不愉快的后果。如果该网站是开发脚本、模板等的测试平台，则也不应将其编入索引。

如果在主机上创建并开发了网络资源，则可随时使用。这使得您可以在方便的时候开展工作，立即实施新的想法，并测试开发。但最好以对机器人关闭的模式执行此操作，并向他们发送完成的网站的链接。让他们索引并将完成的资源发送到数据库。

但是，您不仅可以向搜索蜘蛛隐藏整个网站，还可以隐藏由于某些原因而不希望被索引的各个部分（部分或页面）。采取负责任的方式关闭资源页面并清楚地理解并非所有信息都应该向机器人和用户开放非常重要。

首先，有必要隐藏仅供网站所有者和网站管理员使用的服务信息。应阻止包含非唯一内容的重复页面编入索引。

例如，目录包含数百页的在线商店经常会遭受这种后果。包含用户个人信息的页面也会被标注原创性较低，并且也应被禁止编入索引。这样做也是出于道德原因。所有者正确地将带有购物车和客户订单表的页面隐藏在搜索爬虫中——它们只对特定的人有意义，并且没有必要在搜索结果中看到它们。蜘蛛将这些信息视为“垃圾”，并会感激所有者免除它们索引这些信息的需要。

因此，你应该躲避机器人：

服务信息；

各种“垃圾”；

重复内容。

对于后一种情况，谷歌是最严厉的，可以对重复比例较大的资源实施制裁。系统的这种举动，说得客气一点，对于网站的进一步推广并不是起到最好的效果。