网络爬虫是按照预设的算法逻辑自动采取目标网站网页数据的程序，因其高效的数据检索与抓取功能而被广泛应用于版权侵权行为检索、产品比价、知识信息储备等领域。在“数据即资源”的数字经济时代，网络爬虫已经成为企业获取数据资源的重要技术工具，短短数秒内爬取海量URL（统一定为标识符）页面信息并经过事前设定的数据清洗流程，筛选和存储目标数据，极大提高了数据资源的获取效率。并且，伴随着商业活动模式的日趋成熟，行业内网络爬虫的应用行为也愈发规范，不影响网络正常运营成为网络爬虫功能开发的必然前提，早期社会对网络爬虫恶意破坏网站访问功能的担忧自然有所衰退。
但网络爬虫面临的另一个问题是数据抓取方获取数据资源与被抓取方维护自身竞争优势这两类利益诉求如何实现平衡？尤其在涉及“网络爬虫抓取公开数据的行为是否构成投机取巧、‘搭便车’、“损人肥己”等不正当竞争行为”更是争议不断。
在司法实践中，囿于现行立法对数据权属规定不明，我国法院大多以《反不正当竞争法》第条调整因网络爬虫数据抓取引发的法律纠纷。诚然，该条所提供的一般条款能够在有效回避数据权属不明的同时保护企业对公开数据所享有的竞争权益，但却存在将《反不正当竞争法》与其他部门法功能混同的适用弊端，促使该法间接成为企业获取公开数据和数据流动共享的制度藩篱。
年月，中共中央、国务院发布的《关于构建更加完善的要素市场化配置体制机制的意见》中，明确提出了“加快培育数据要素市场”，促进数据自由安全流动乃是当下数据安全治理的重中之重。业已公开的数据倘若受限于诸多法律制度束缚，难以在市场中自由流动或者以高昂的成本进行流动显然不符合我国网络空间治理的立法目标，因此有必要从立法目的等角度限定一般条款的适用空间，明确网络爬虫抓取公开数据的法律边界。
一、《反不正当竞争法》第条在网络爬虫领域的限制性适用
在司法实践中，法院适用《反不正当竞争法》第条存在泛化“竞争秩序”“诚信原则”和“商业道德”等概念内涵的倾向，尤其在认定网络爬虫抓取数据行为是否构成不正当竞争行为时，法院普遍遵循了“经营者权益受竞争行为损害即构成不正当竞争行为”的审理思路。然而这一思路存在对网络爬虫的认识偏差。
.经营者权益损害即构成不正当竞争的逻辑偏差
“经营者权益受竞争行为损害即构成不正当竞争行为”的法理逻辑看似符合“权益受损即违法”的一般要求，但实际上却是以“有损害”（结果）倒推行为的不正当性，存在因果倒置的逻辑偏差。尽管我国最高人民法院一直强调对《反不正当竞争法》第条的限制适用，甚至在《最高人民法院关于贯彻实施国家知识产权战略若干问题的意见》中就已经明确“对于法律未作特别规定的竞争行为，只有按照公认的商业标准和普遍认识能够认定违反反不正当竞争法的原则规定时，才可以认定为不正当竞争行为，防止因不适当扩大不正当竞争行为方式范围而妨碍自由、公平竞争”，但实践情形的差强人意更是说明一般条款的适用与立法精神存在脱节。
造成这一现象的根源在于《反不正当竞争法》的立法中重心不在于保护竞争者的具体权益，而是整个市场的“竞争”。并且，完全套用侵权行为认定的裁判逻辑判断数据抓取行为是否不正当竞争行为这一做法模糊了《反不正当竞争法》与《民法典》“侵权责任编”的立法功能边界。前者的保护范畴的最优顺位终究是市场竞争秩序这一公共利益，而不是后者所关注的个体具体权益的保护。
除此之外，纵览“微博诉脉脉案”“百度诉大众点评案”“大众点评与爱帮网著作权侵权案”等数据抓取纠纷案件的裁判文书，第条的适用常与“爬取方与被爬取方之间是否存在竞争关系”这一问题关联在一起。平台经济的兴起打破了不同行业之间的壁垒，以信息居间人存在的平台早已无法套用“同行业经营者构成竞争关系”这一传统逻辑。法院通过适用一般条款扩张竞争关系的解释方式，在解释不同行业经营者之间存在“竞争关系”的同时，却又将《反不正当竞争法》拉向消费者权益保护法的领域，实与立法本意相悖。
．不正当竞争的思路转向维护竞争秩序与保护竞争权益
由此可见，“是否构成竞争关系——竞争权益是否受损——构成不正当竞争行为”的适用方式无法真正解决《反不正当竞争法》面临的现实困境，倒不如彻底摆脱“竞争关系”的理论束缚，而将经营者之行为是否属于市场竞争行为作为前置要件，之后再将“扰乱市场秩序，损害其他经营者或消费者合法权益”与“竞争优势”相关联，即其他经营者通过竞争行为是否获得了“不劳而获”的竞争优势或非法破坏经营者的竞争优势。
依此逻辑，一般条款的适用方式得以转向竞争秩序维护与竞争权益保护，防止在数据权属不明的情况下，以抽象的数据权益受损作为数据抓取行为构成不正当竞争的“通用理由”，限制一般条款的适用。
需要强调的是，经营者有关公开数据所享有的竞争权益绝不等同于其运营平台形成的数据资源优势，否则按照此种认知模式势必会在个案裁判中将一般条款规定的“扰乱竞争秩序”泛化为“任何可能窃取、破坏经营者数据资源优势的行为”，使得任何机构或个人在未获得经营者同意的情况下无法从其平台获取任何数据，这本身便是另类的数据竞争失序。
总结而言，《反不正当竞争法》第条的适用需要以竞争优势获取方式的正当性判断来限缩对“竞争秩序”“诚信原则”等概念的解释，在涉及公开数据抓取行为时，首先应当明确的是公开数据的基本属性以及承载的竞争权益与共享权益，而不是先入为主地以个人数据保护、企业数据财产权益保护等赋权式数据保护逻辑审视网络爬虫数据抓取行为的正当性。
二、网络爬虫抓取公开数据行为的正当性基础：三个基本问题的回答
公开数据与学界主流讨论的“个人数据”“企业数据”并非同属一个类型范畴，该概念突出的是数据业已公开、社会公众均可获取的存在状态。从行为外观上看，个人复制、粘贴、存储公开数的行为与经营者利用网络爬虫抓取公开数据的行为并没有明确差别，但后者的正当性一直受到质疑，其原因在于网络爬虫自身高效的抓取效率使得经营者能够在短期内获得海量数据资源，其结果已经威胁到被抓取方自身竞争优势的维持。
因此，我们既无充足理由作出“数据已经公开等同于默认竞争者可以直接抓取公开数据”之判断，也无可能一概否认抓取公开数据行为。法律所要规制的不是网络爬虫技术本身，而是依托网络爬虫技术所从事的数据处理活动，既包括抓取数据的类型和范围，也包括抓取前后的使用行为。在认定网络爬虫抓取公开数据的正当性，有必要对数据处理活动的三个基础问题予以直接回答。
.能否直接抓取已经公开的个人数据？
网络爬虫合理应用面临的第一个问题是“能否直接抓取已经公开的个人数据”？
私密数据与公开数据之间并不存在为所谓“非此即彼”的概念关系，数据的私密状态和公开数据的差异点表现为保护原理的差异性，即私密数据的保护侧重数据不为他人获知的状态维护，公开数据的保护侧重数据处理行为应当以个体权益的减损为前提。
需要强调的是，公开的个人数据依然是个人数据，能否识别特定自然人是认定个人数据的核心标准，依据《民法典》人格权编有关个人信息保护规制，如果事前未获得自然人同意，网络爬虫所能够抓取的公开数据范围不应当包括个人数据。
换言之，网络爬虫抓取平台中用户相关且无法识别特定自然人的部分公开数据显然属于正当的商业竞争行为，既未侵害自然人的个人信息权利，同时也按照公开数据共享权益的合理限度从事数据处理活动。欧盟学者曾指出欧盟竞争法与数据保护法在协调数据保护与竞争创新的冲突时遵循了不同的平衡原则，前者是以“在没有行为情况下的一般市场条件”为假设条件，后者则是以“数据主体的合理期望”为假设条件。网络爬虫在抓取部分用户数据应当满足必要性原则，即不抓取数据的一般市场条件情况下，企业获取这些公开数据需要付出高昂成本，数据创新性竞争受到实质性阻碍。
.如何平衡企业的数据财产权益与社会整体的数据共享权益？
在满足个人信息保护的前提下，网络爬虫抓取公开数据的行为正当性判断需要解决的第二个问题是企业的数据财产权益与社会整体的数据共享权益如何平衡？
现行立法尚未明确企业对其所实际控制的数据享有何种权利，但这不等于法律可以在企业数据权益受损时“无动于衷”。司法实践对此立法空白的回应乃是依托《反不正当竞争法》一般条款中的“竞争秩序”一并承载企业对数据的基本利益诉求。
就公开数据而言，数据财产权益的状态不再表现为商业交易活动中的“谈判筹码”，而是企业在相关市场中竞争优势的维持。在企业商业利益与社会公共利益的平衡过程中，网络爬虫的规制重心从数据抓取范围转向数据处理行为的合理性与必要性，公开数据的抓取与处理行为不应当成为抓取方获取与被抓取方同等竞争优势的“捷径”。
在公开数据层面，企业的数据财产权益不宜作宽泛解释，否则会陷入企业的平台内所有数据均享有类似所有权或用益权的理论危机。并且，从信息内容参与贡献度来看，公开数据的形成并不完全是由平台方的实际投资所形成。包括昵称、用户头像、性别等公开数据看似是依托平台提供的信息服务形成的，但这些公开数据本质上是由用户自行设置和选择的，其形成并不一定特定网络平台的信息服务为必要条件。
法律意义上的“实际投资”具有一定的制度门槛，平台无法以“实际投资成本”为由垄断这些公开数据是否流动的控制权限。
在美国“hiQ Labs v. LinkedIn案”中，美国第九巡回法院认定LinkedIn公司单独限定hiQ公司访问其公共数据的行为属于不正当竞争，因为LinkedIn实际控制大量公共数据，其行为可能存在违反《加州不正当竞争法》所禁止的排除竞争长信的可能性。有学者将该案禁止数据爬取行为的不正当性基础总结为拒绝交易责任，认为美国法院对网络爬虫的裁判思路实际遵循了以场景化导向作为垄断行为的判断标准。国外的司法实践也间接表明平台就公开数据享有的权益并非是以绝对权的形式存在，其数据权益的行使边界在于不能阻碍行业创新与实践。
.抓取之后公开使用是否丧失正当性基础？
网络爬虫应用面临的第三个问题则是公开数据的部分公共属性是否意味着数据抓取之后必须公开使用，满足社会对数据流动与利用的公共需求？公开数据的公共属性与数据抓取之后的公开使用并没有直接的因果关系，或者说抓取之后公开使用甚至可能促使正当商业竞争行为丧失正当性基础。因为网络爬虫的算法设计实际也蕴含了抓取方自身的“劳动投入”，尤其是聚焦网络爬虫的抓取结果是经过抓取方业务合规、业务需求范围设定等实际投资获得的，立法不应当对此予以忽略。
公开数据的共享权益保障的是社会不特定主体对公开数据的访问和使用权限，而不是要求特定主体在经过合理查找和收集部分公开数据之后向全社会共享。真正阻碍公开数据有效流通的因素绝非抓取方不公开使用抓取数据的行为，而是公开数据被特定主体“垄断”，阻拦了社会公众获取公开数据的可能性或增加公开数据获取成本。
三、网络爬虫抓取公开数据的法律边界：竞争权益与共享权益的协调
从我国司法实践来看，绝大多数数据抓取行为被认定为不正当行为，并不是说明爬取行为本身侵害经营者的竞争权益，而是爬取之后数据的使用行为超出了合理使用的必要限度，即从事了将数据资源直接转变为同类产品质量优势、增加用户流量等与竞争优势积累直接相关的活动。
因此，在以一般条款判断公共数据抓取行为是否构成不正当竞争行为时，“自愿、平等、公平、诚信的原则，遵守法律与商业道德”之基本原则的适用仅以抓取方竞争优势的增加是否正当为限，审慎厘清竞争权益与共享权益在个案中孰者为先的基础关系，而不是一概以经营者对平台内所有数据的竞争权益之理由拒绝公开数据流入自由公平竞争的市场。
结合前述有关网络爬虫数据抓取行为正当性基础三个问题的回答，网络爬虫抓取公开数据的合法性边界主要表现以下五个层面：
第一，在抓取能够识别特定自然人的个人数据或涉及企业商业秘密的企业数据时，抓取方未经合同授权或自然人同意不得直接抓取。尤其在抓取个人数据时，用户协议或隐私政策中规定允许个人数据流动等条款并不排除抓取方事前征得用户同意的法定义务。如果抓取的部分公开数据不足以识别特定自然人，抓取方无须征得用户同意。
第二，网络爬虫抓取公开数据应当满足商业竞争之必要，并且网页抓取频次不得超过合理限度，遵守被抓取方在“robots.txt”中禁止抓取数据的范畴，非必要的网络数据抓取只会加剧网络爬虫对网络正常运营时面临的服务器访问压力。
第三，网络爬虫数据抓取行为不应当成为抓取方竞争优势增加的直接原因，具体包括抓取内容不会直接呈现在抓取方运营的网络平台中，被抓取方用户不会在抓取方运营的网络平台访问和获得任何抓取内容，被抓取方的用户流量与抓取方的用户流量不会因为抓取行为呈现此消彼长的结果。
第四，抓取方不得将所抓取的公开数据作为企业数据资产而拒绝其他经营者的合理抓取，公开数据在经过网络爬虫抓取之后并不改变自身法律属性，但抓取方在抓取之后经过数据清洗、数据迭代等数据处理环节周所形成的结构化数据不再此列。
第五，网络爬虫的抓取行为应当满足诚实信用原则与公认的商业道德，所谓的“诚实信用原则”与竞争优势形成的正当性在内容上具有一致性，即数据抓取不得“扰乱竞争秩序”，所谓的“公认的商业道德”则以互联网行业共同遵守的商业惯例为限，包括行业自律组织确认的自律条约等规范性文件。
