企业网站拒绝人工智能训练使用的措施：抓取控制的局限与法律手段

1. 区分需要停止的使用：收集、训练还是在搜索结果中的展示

三种行为各不相同

就公司网站上的信息而言，涉及以下三种行为。

第一是收集和存储，即爬虫读取并复制页面。

第二是训练和分析，即对收集的信息进行分析并用于训练模型。

第三是生成和展示，即公司的信息出现在搜索结果或人工智能回答、摘要中。

规范这三种行为的规定以及可以采取的措施各不相同。不能预先得出诸如“爬取就是复制，所以可以禁止”或“训练没有享受目的，所以无能为力”之类的结论。需在确认每种行为的具体情况和目的之后再作判断。

确定限制的目的

所选择的措施取决于目的仅是停止用于训练，还是同时停止在搜索结果中的收录。很多情况下，公司希望避免因加强拒绝训练的选择退出指令而失去来自常规搜索的流量。这需要事先作为经营判断加以处理。

限制收集的指令与限制在搜索结果中收录和展示的指令作用于不同阶段。有关展示的指令也可能通过重新抓取等过程反映到已被搜索收录的页面上。另一方面，更改设置并不一定会使已收集的数据或已训练的模型中的信息被删除。对已收集的信息如何处理，与如何防止今后的收集，需要分别考虑。

2. 确认robots.txt、meta标签和访问控制的范围与局限

下表将技术性控制与合同上的限制一并列出。各项指令的效果取决于相关提供商的规格和设置。

措施	范围和条件	可控制或可约定的内容	仍存在的局限与法律上的定性	与常规搜索结果中收录和展示的关系
针对人工智能收集和使用的控制（robots.txt等中的指令）	明确所涵盖的提供商、爬虫和使用目的	根据规格，控制为训练或其他目的进行的收集和使用	同样的效果不一定及于其他提供商或已收集的数据	取决于指令。Google-Extended不影响在Google搜索中的收录或排名信号
针对搜索爬虫的robots规则	相关爬虫支持该指令	在指定范围内控制抓取	本身并不阻断访问。某些选择退出措施的法律意义见第3节	即使停止抓取，URL仍可能保留在搜索结果中
noindex	支持该设置的搜索引擎能够读取该设置	对相关页面的索引和收录进行控制	并非全面禁止收集或人工智能训练。前提是该指令能够被读取	在支持该设置的搜索引擎中，将相关页面从搜索结果中排除
nosnippet等控制	支持该指令的提供商能够读取该指令	根据指令控制搜索结果中的摘要片段等元素	并不能停止所有人工智能服务中的训练或输出	也会影响常规搜索结果中的说明文字等元素
认证与访问限制	在服务器端限制允许访问的用户及其他主体	对未经授权的访问和收集的技术限制	已获授权用户的再提供和已收集的信息是另外的问题。对规避行为的法律评价也需逐案进行	认证之后的正文内容通常不会被抓取
使用条款	协议的订立、纳入合同以及条款的有效性	就使用目的、再提供等相关事项设定条件	仅发布条款并不能约束所有收集信息的人。违反合同与著作权侵权是不同的问题	仅发布条款不会改变收录或展示
个别合同	确定当事人、相关数据和使用范围	就使用目的、再提供、记录、删除的处理及相关事项达成约定	个别合同不会自动约束合同以外的第三方。确保履行是另外的问题	必要时，也就搜索结果中收录的处理方式达成约定。收录状态不会自动改变

注：有关Google的说明是基于其规格的示例，不能视为所有提供商共通的规格。规格可能会变更，因此在进行设置时请确认最新的官方信息。

避免混淆各项控制所涵盖范围的三个要点

Google将Google-Extended描述为一种令牌，网站运营者可借此控制其内容是否被用于Gemini Apps和Vertex AI API for Gemini的模型训练和grounding，并表示：“Google-Extended不会影响网站在Google搜索中的收录，也不会被用作Google搜索中的排名信号。”面向人工智能的指令与对搜索结果中收录和展示的控制，是不同的问题。

但是，不能将此扩大理解为“对来自搜索的流量完全没有影响”。noindex和对搜索爬虫的限制等部分控制会影响常规搜索。此外，Google搜索结果页面上显示的人工智能功能，并不会因Google-Extended的选择退出指令而停止。有关搜索用收集和展示的指令需要另行确认。

如果爬虫按照robots.txt指令不进行收集，它可能无法读取页面上设置的noindex等指示。robots.txt机制在技术上并不阻断访问，而是依赖于支持其指令的提供商予以遵守，因此其作用方式不同于认证或访问限制。组合使用多项措施时，请确认组合能否按预期发挥作用。

这些指令的法律意义并不仅由其名称决定。是否符合下文所述的法定标准，需根据指令涵盖的内容以及实际的处理和展示来判断。

在梳理所寻求的限制范围和法律措施的依据之后，与网站管理负责人或制作公司确认具体设置及其是否已生效。

3. 研究基于著作权、使用条款和合同的应对

用于训练：《著作权法》第30条之4

《著作权法》第30条之4规定，在目的并非让使用者本人或他人欣赏、感受作品所表达的思想或情感时，可以在认为必要的限度内使用该作品。用于信息分析被列为此类情形之一。

但是，该条但书规定，根据作品的性质和用途以及使用情形，若该使用会不当损害著作权人的利益，则不适用。

第一个问题是，该使用能否说不具有“享受”目的。文化厅的“General Understanding on AI and Copyright in Japan”（关于AI与著作权的一般理解）指出，如果信息分析目的与享受目的并存，则不适用该条。为输出包含特定作品全部或部分创作性表达的内容而进行的追加训练，或为在生成回答时再现公司文章中的表达而建立数据库，都属于从这一角度审查的行为。仅因活动被称为“训练”或“分析”，并不能满足该条正文的要件。

同一文件举出了以下例子，作为可能属于但书情形的情况：针对以便于信息分析的形式整理了大量信息并对外销售的数据库作品，为信息分析而进行的复制等行为。此外，该文件还指出：如果已采取防止为人工智能训练而进行复制等行为的技术措施，且根据该措施的存在及过往实绩等事实，可以推断出今后计划销售包含该网站数据的信息分析用数据库作品，那么规避该措施、利用爬虫大量收集数据的行为，由于会阻碍该数据库作品今后的潜在销售渠道，可能属于但书情形。robots.txt中的指示以及使用ID、密码等方式进行的认证，被列为此类技术措施的例子。

这里需要注意的是，上述分析针对的是数据库作品的复制及对其潜在销售渠道的阻碍。这并不意味着，仅仅发布拒绝用于训练的声明，就会使该使用落在权利限制的范围之外。另一方面，也需要注意，技术措施的存在本身被作为判断能否推断今后销售的因素之一。这也不意味着选择退出指令完全没有法律意义。

该文件中列举的情形只是示例，并未穷尽可能属于但书的情形。也不能反过来得出“除非有销售数据库作品的计划，否则不会涉及但书问题”的结论。此外，这是文化审议会下设小委员会所作的解释说明，并不保证个案中的结果，而且关于数据库作品的分析也不能原封不动地适用于其中收录的每一篇文章。

用于搜索及人工智能回答：《著作权法》第47条之5

如果公司的文章被用于搜索结果或人工智能回答，则需与训练用途分开，另行核查允许在检索或信息分析中附带进行轻微使用的规定是否适用。

《著作权法》第47条之5规定，在符合一定条件时，为提供检索结果或信息分析结果而附带进行的轻微使用及相关行为，无须取得许可。应核查：主要活动是否为提供检索或分析结果，而提供文章等资料仅为次要活动；结合原作品所占比例、使用量及显示精度等因素，使用是否属于轻微；是否不合理地损害权利人利益；以及提供者是否符合法定标准。仅有简短摘要或来源链接，并不会使使用当然合法。

在检索URL并提供结果的情形下，还要核查robots.txt等控制手段中拒绝为检索目的进行收集的指令。关于遵循一般惯例的选择退出指令的标准，要求的是不提供相关信息；它并不是一般性禁止人工智能训练的制度。需要将其与仅拒绝训练的指令加以区分。此外，如果通过认证等方式对接收加以限制，则会涉及施加该限制的人是否同意的问题。

该条也可能适用于根据检索所得资料生成回答的服务，但这并不仅凭“人工智能回答”这一名称来判断。为准备回答等输出而进行的复制，与向用户展示的内容，需要分别审查。即使不符合该条的条件，也需要核查是否存在其他合法使用的依据。

（法律依据：《著作权法》第47条之5第1款及第2款；《著作权法施行令》第7条之4；以及《著作权法施行规则》第4条之4及第4条之5）

使用条款与个别合同

使用条款中可能写明“禁止用于人工智能训练”，但仅仅发布条款，并不能与每一位访问者成立合同。应当核查的是：能否认为已与对方成立合同，以及该禁止规定是否构成该合同的内容。取得同意的方式和条款的内容都需要核查。

如果能够确定对方，一种做法是订立个别合同，明确规定使用目的、再提供、记录、删除的处理以及违约的处理。需要事先了解：该合同不会自动约束合同以外的第三方，因此需要另行设置确保履行的手段。

此外，违反合同与著作权侵权是不同的问题。违反条款并不当然构成著作权侵权。

4. 保存收集和展示的记录，并请求停止、删除或采取其他措施

需要保存的记录

记录设置的适用日期、当时的设置内容以及当时有效的条款版本。同时，利用访问日志核查哪个爬虫在何时、以何种程度收集了信息。

如果公司信息出现在搜索结果或人工智能回答中，则记录提问内容、完整回答、作为来源显示的链接、服务名称以及日期和时间。并保存相关记录，以便将当时公司原文或图像的版本与被认为遭到使用的具体表达进行比对。

需要注意的是，公司信息出现在人工智能回答中，与其从公司网站被收集，是两个不同的事实。仅凭其出现在回答中，并不能证明该信息是从公司网站收集的，或被用于训练模型。还需调查检索过程中的收集、从转载该信息的网站进行的收集以及第三方提供等情况。访问记录与展示记录作为不同的证据分别评估。

向提供商询问及提出请求

向提供商询问的内容包括：哪个爬虫收集了信息、所收集的信息被用于何种目的、提供商如何应对选择退出指令，以及对于已收集的信息和已训练的模型可以采取哪些应对措施。在此基础上，明确对象，并提出停止收集、停止展示和删除的请求。

然而，询问未必能得到答复，而且仅凭公司的日志，也未必能确定是谁收集了信息，或信息是否被用于训练。

提出请求时，要区分依据提供商公开的规范请求其采取措施，与基于合同或著作权提出的权利主张。存在公开的规范，并不当然使公司享有要求采取措施的法律权利。不论提供商是否负有相应义务，请求其自愿采取措施也是一种选择。

区分删除请求的对象

删除请求的对象包括已收集的数据、用于今后训练的数据集、在搜索结果等处的展示，以及已训练的模型。即使著作权侵权成立，可能获准的措施范围在从数据集中删除与销毁模型本身之间也有所不同。不能停留于“删除在技术上有困难”这种解释，而应在请求中明确针对哪个对象、要求采取什么措施。

事后发出选择退出指令，并不会自动删除已收集的信息，也不会使其用于训练的结果复原。在核查收集发生的时间、是否存在可能获得该信息的其他途径以及请求的依据后，再研究实际上可以请求到何种程度。

本指南说明的是日本法下的立场。对于在境外进行的收集和使用，需要根据使用发生地和请求的性质，另行审查准据法和管辖权。

为规范变更做好准备

爬虫名称、指令语法以及所涵盖的使用目的都可能发生变化。设置一次并不足够。需要建立相应流程，定期核查官方规范是否变更，并在变更时重新审查设置。

我们如何协助

• 我们区分收集、训练以及在搜索结果中的展示，梳理需要限制的使用，并核查公司所拥有的权利范围
• 我们梳理各项措施的法律定位，并研究限制方案（我们不承诺实施相关设置，也不承诺一定能够阻止收集）
• 我们会结合相关行为，审查《著作权法》第30条之4及第47条之5的适用。
• 我们起草和审查使用条款及个别合同，包括研究如何取得同意
• 我们协助整理收集和展示的记录，并协助起草向提供商的询问和请求
• 我们协助提出停止、删除或其他措施的请求，并研究后续的谈判和权利主张

常见问题

Contact

提出咨询

请告知情况概要、已收到的通知及其日期，以及需要遵守的任何期限。

联系表单

我们可以通过中文电子邮件与您沟通。由于能够使用中文进行面谈的人员有限，安排面谈日程可能需要较长时间。

Related information

相关解说与业务领域

知识产权、IT与数据：概览

根据不同情况，分别介绍权利纠纷、商业秘密被带走以及系统开发和数据管理的个别指南。

知识产权许可纠纷

许可合同违约的主张、催告补正与解除，以及合同终止后库存和使用的处理，并按权利类型说明需要考虑的要点。

知识产权、IT与数据（业务领域）

本所业务领域，涵盖知识产权的取得与运用及侵权应对、IT与系统相关合同以及数据处理。

本文仅提供一般性信息，不构成针对任何具体事项的法律意见。有关您的具体情况，请与我们咨询。内容依据最后更新日期时有效的法律法规编写。