优化 Magento 生成的 robots.txt 文件的 SEO

[Ehsanuls55]

robots.txt 文件的创建目的是向 Google 等搜索引擎发出我们希望其索引哪些内容的指示，最重要的是，防止搜索引擎对不想索引的数据或信息建立索引。

在Magento中，由于它是一个CMS（内容管理系统），此类文件会自动生成，因此配置它非常重要。

为此，请转到 内容 > 设计 > 设置 > 编辑（全局） > 搜索引擎机器人。

Magento 中 robots.txt 的默认和推荐设置是“INDEX, FOLLOW”。

如何从 Magento 2 配置 robots.txt 文件

虽然这不是强制性的，但向网络搜索引擎发出明确的指示也很重要，即您的网站可以被所有网络搜索引擎完全扫描。

为此，您必须在“编辑 robots.txt 文件中的自定义指令”中指出：

用户代理：*
允许：/

避免使用规范 URL 出现重复内容
重复内容是 Magento 中的一个真正问题，您将不得不比您想象的更多次处理它。

出现重复内容是因为同一个产品表在多个页面（网址）上存在变化，并且当搜索引擎抓取它们时，它不知道如何单独处理每个页面，也无法将它们与同一个网页关联起来，因此您丢弃它们或将它们标记为“副本”。

搜索引擎和产品过滤、分页和产品分类是 Magento 的功能，也会导致重复的内容。

为了避免 Google 和其他网络搜索引擎监控和惩罚的此类问题，最有效的方法之一是使用规范 URL 标签。在另一篇文章中，我们解释了什么是规范 URL 以及如何在您的网站上使用它们。

要开始使用规范 URL，首先要使用 Magento 的自动化功能来创建它们。为此，您必须转到左侧的“商店”>“设置”>“目录”>“目录”，然后在“搜索引擎优化”中激活两个规范 URL 标签选项：

对类别使用规范链接元标记：是
对文章使用规范链接元标记：是
如何在 Magento 2 中设置类别和产品的规范 URL

通过这些选项，我们通过规范 URL 解决了部分重复内容的问题，这是最重要的，但不是全部。

为了继续压缩更多规范 URL，我们需要使用 Magento 2 的附加扩展，例如SEO Yoast。

使用“noindex, follow”配置没有内容的页面
重要的是，Google 不会对您的在线商店中没有内容、空的、内容很少或质量低的网页建立索引（浏览、抓取并保存在其数据库中）。否则，您的 Magento 商店的 SEO 可能会受到网络搜索引擎的惩罚。

为此，首先要从“内容”>“页面”选项中识别您不希望 Google“看到”的页面，因为它们对搜索引擎或用户没有用处。

一旦您获得了我们想要“隐藏”的网址，我们就可以通过robots.txt来实现。为此，请转到 内容 > 设计 > 设置 > 编辑（全局） > 搜索引擎机器人。

如何从 Magento 2 配置 robots.txt 文件

在“编辑 robots.txt 文件中的自定义指令”字段中，我们必须添加我们不希望 Google 和其他网 英国电邮清单 络搜索引擎在其搜索结果中看到、索引和显示的每个页面的网址 (URL)：

用户代理：*
不允许：/page1.html
不允许：/page2/
不允许：/page3.html

另一种稍微简单的选择是使用 Magento 2 组件（扩展），例如Redchamps、FMEextensions或 SEO Yoast 提供的组件（尽管它已经付费）。值得吗？这取决于您需要在 Magento 商店中创建和维护多少个规范 URL。