【条文主旨】
本条是关于个人信息处理者利用个人信息进行自动化决策的规定。
【条文理解】
自动化决策属于近年来立法、司法和理论研究中的热点和难点问题,其不仅涉及个人、个人信息处理者的关系平衡,在更深的层次上,还涉及法律和科学技术的关系问题。正是由于其前端性、复杂性和争议性,本法有关自动化决策中个人权益保护的规定经历了不断修改、完善的过程。《个人信息保护法(草案)》第25条规定:“利用个人信息进行自动化决策,应当保证决策的透明度和处理结果的公平合理。个人认为自动化决策对其权益造成重大影响的,有权要求个人信息处理者予以说明,并有权拒绝个人信息处理者仅通过自动化决策的方式作出决定。通过自动化决策方式进行商业营销、信息推送,应当同时提供不针对其个人特征的选项。”经公众征求意见,全国人大
宪法和法律委员会经研究决定将该条修改为:“利用个人信息进行自动化决策,应当保证决策的透明度和结果公平合理。通过自动化决策方式进行商业营销、信息推送,应当同时提供不针对其个人特征的选项,或者向个人提供拒绝的方式。通过自动化决策方式作出对个人权益有重大影响的决定,个人有权要求个人信息处理者予以说明,并有权拒绝个人信息处理者仅通过自动化决策的方式作出决定。”相比于一审稿,二审稿的变化为:第一,将本条内容从两款调整为三款,第1款从原则上规定利用个人信息进行自动化决策的程序性要求和结果性要求;第2款规定了通过自动化决策进行个性化商业营销和信息推送时的要求;第3款规定了个人对自动化决策的要求解释权和拒绝权。第二,在第2款中增加要求信息处理者向个人提供拒绝针对其个人特征的商业营销、信息推送的方式。第三,改变了个人行使要求解释权和拒绝权的条件。在一审稿中,个人行使要求解释权和拒绝权的条件是“个人认为自动化决策对其权益造成重大影响的”,二审稿将“个人认为”删除。本条进一步进行了优化,相比于二审稿的主要变化在于第1款。本条第1款规定:“个人信息处理者利用个人信息进行自动化决策,应当保证决策的透明度和结果公平、公正,不得对个人在交易价格等交易条件上实行不合理的差别待遇。”内容的变化有两点:第一,将“结果公平合理”改为“结果公平、公正”;第二,针对实践中存在的大数据杀熟问题,在本款中增加规定“不得对个人在交易价格等交易条件上实行不合理的差别待遇”。经过多轮修改,本条规定在规范自动化决策应用、保护个人信息权益和商业利益方面趋于完善,与本法的其他相关规定相互结合,形成了全面、科学的制度体系。
一、关于自动化决策的内涵、价值及潜在危害
理解本条的关键在于理解自动化决策(Automated Decision-Making)的含义、应用价值及其潜在危害。
(一)自动化决策的内涵
自动化决策又被称为算法,根据本法第73条规定,自动化决策,是指通过计算机程序自动分析、评估个人的行为习惯、兴趣爱好或者经济、健康、信用状况等,并进行决策的活动。也有学者认为,自动化决策(算法)即人类通过代码设置、数据运算与机器自动化判断进行决策的一套机制,并非数学或计算机科学意义上的算法,也并非纯粹关于人类行为的决策算法,这一过程既有人类决策,也有机器的自动化判断。[1]从前述定义可知,算法并非价值中立,相反,其完全体现了算法操控者自身的利益和价值立场,算法的这一根本特征决定了其可以成为法律规制的对象。
(二)自动化决策的价值
信息数据和人工智能技术的飞速发展为算法提供了大展拳脚的舞台。由于网络和信息化技术进步带来的算法的进步改变了传统的商业经营和销售模式,也改变了传统的消费与娱乐行为。传统条件下,由于信息搜集技术的限制,经营者无法有效获取消费者有关消费需求、消费倾向等方面的信息,其商品或者服务的提供带有很大的盲目性。而在当前信息技术发达、个人信息流通便捷的情况下,经营者可以低成本、高效率地利用各种信息搜集方式获取并分析消费者的消费习惯、消费倾向,从而有效地为特定消费者提供个性化服务,进而取得市场竞争优势。对个人信息的有效利用,不仅给经营者带来了利益,也给消费者带来了诸多便利:消费倾向和消费兴趣被商家掌握的消费者,在选择商品和服务时可以节省更多搜索成本,更好地满足消费者的个性化需求;经营者对消费信息的有效掌握可以使其不再向没有该类消费倾向的消费者滥发邮件,减少众多消费者收到垃圾邮件的数量;有良好信用记录的消费者可以更方便取得贷款。[2]可见,通过对所搜集的个人信息进行自动化处理与决策,可以极大地节约社会成本,促进经济发展,便利个人生活。
(三)自动化决策的潜在危害
在推动商业发展和便利个人生活的同时,自动化决策程序应用也可能带来严重的危害。首先,算法黑箱可能挑战人类决策的知情权与自主决策。在算法社会中,很多时候不透明的算法工具成为决策主体,如果不加检验地以机器决策替代人类决策,人类的自主性可能面临严峻考验。其次,算法可能威胁个体的隐私和自由。算法常常建立在个人数据的收集之上,通过结合大数据运算与个人数据进行个性化推送。但这种对个体偏好的预测与迎合可能损害公民个体的自主性,因为这种个性化推荐可能使个体困于“信息茧房”。个体受限于算法的控制,能接收到的信息只是算法根据个体偏好而筛选出来的信息,而不是那些更加中立、可能促使个体反思自身固有观点的信息,甚至不是随机性的信息。长期如此,个体真正的自由可能受到威胁。最后,算法可能导致歧视与偏见。平等是一个社会的基本价值,算法的技术特征使得有人认为,算法有助于解决歧视与偏见问题。但算法也可能常常暗含歧视与偏见,甚至放大人类的偏见。[3]除此之外,从算法决策的逻辑来看,其考察的是事物之间的相关性和盖然性,而非必然的因果关系,决策结果可能是根据偶然性因素作出的,并不能保证正确。[4]另一方面,由于算法的不透明性,个人无法理解其决策的具体逻辑和过程,算法极易异化为商业经营者或其他个人信息处理者侵害个人合法权益的工具,除近年来为人们所熟知的“大数据杀熟”外,个人信息的自动化处理还可能帮助处理者提供操纵个人相关行为。2018年“Facebook-剑桥分析公司”数据丑闻让大众了解到,数据分析公司利用算法决策可以预测甚至操纵个人的特定行为,这一极端案例表明算法可能被异化为严重损害整个社会赖以存在的基本价值体系的工具。
正是基于自动化决策的前述特征、作用和潜在危害,《个人信息保护法》专门设置本条对其进行规制。
二、个人与个人信息处理者在自动化决策中的权利义务
(一)个人信息处理者负有保证决策的透明度和结果公平、公正的义务
保证决策的透明度和结果公平、公正是对个人信息处理者应用自动化决策的基本要求。公开透明原则是《个人信息保护法》的基本原则。《个人信息保护法》第7条规定:“处理个人信息应当遵循公开、透明原则,公开个人信息处理规则,明示处理的目的、方式和范围。”个人信息处理者利用个人信息进行自动化决策,亦属个人信息的处理活动,必须遵守公开透明原则,保证决策的透明度。然而,自动化决策机制是复杂的,相对于个人来说是不可知的,且在商业领域,自动化决策机制常常与信息处理者的知识产权或商业秘密联系在一起,信息处理者在一定程度上享有对其自动决策机制保密的权利。故在何种程度上以及采取何种方式上要求个人信息处理者公开其决策过程和方法,以实现商业个人信息处理者的商业利益保护与个人对决策的知情权保护的平衡,仍有待进一步的研究和细化。
同时,自动化决策还必须保证结果的公平、公正,不能有不合理的差别待遇。近年来,有关经营者通过信息技术对消费者进行大数据杀熟的报道屡见不鲜。[5]所谓大数据杀熟,又称价格歧视、价格欺诈,指经营者通过信息技术分析消费者的消费偏好、消费习惯、消费意愿、收入水平等信息,将相同的产品或者服务以不同的价格提供给不同的消费者,从而谋取不正当利益的行为。《
消费者权益保护法》第10条规定:“消费者享有公平交易的权利。消费者在购买商品或者接受服务时,有权获得质量保障、价格合理、计量正确等公平交易条件,有权拒绝经营者的强制交易行为。”《在线旅游经营服务管理暂行规定》第15条也规定:“在线旅游经营者不得滥用大数据分析等技术手段,基于旅游者消费记录、旅游偏好等设置不公平的交易条件,侵犯旅游者合法权益。”大数据杀熟的行为侵害了消费者获得公平交易的权利。针对社会各方面对用户画像、算法推荐等新技术新应用高度关注,对相关产品和服务中存在的信息骚扰、大数据杀熟等问题反映强烈,一些常委会组成人员和地方、部门、社会公众建议,进一步完善个人信息处理规则,特别是对应用程序(App)过度收集个人信息、大数据杀熟以及非法买卖、泄露个人信息等作出有针对性规范,据此,根据本条规定,对于利用个人信息进行自动化决策的,“不得对个人在交易价格等交易条件上实行不合理的差别待遇”。该规定对消费者个人信息、公平交易权等合法权益提供了更加明确、全面、有力的法律保障。
(二)通过自动化决策方式进行信息推送、商业营销
个人信息处理者在向个人提供根据其特征进行的信息推送或者商业营销时,应当同时提供不针对其个人特征的信息推送或商业营销,并由个人进行选择,如果个人信息处理者不能提供非针对其个人特征的选项时,则应当提供方便个人操作的拒绝个性化推送或者营销的方式。个性化信息推送和营销又被称为个性化展示(Personalized?Display),国家市场监督管理总局(国家标准化管理委员会)2020年3月发布的《信息安全技术个人信息安全规范》(GB/T?35273—2020)3.16条将个性化展示定义为:基于特定个人信息主体的网络浏览历史、兴趣爱好、消费记录和习惯等个人信息,向该个人信息主体展示信息内容、提供商品或服务的搜索结果等活动。从前述定义可以看出,个性化推送的基础在于分析个人的相关信息,并预测个人可能希望看到的推送内容,这一过程被称为“画像”。根据GDPR,画像(Profiling)是指任何形式的针对个人数据的自动处理,用于评估或预测自然人的某些方面,特别是分析或预测工作表现、经济状况、健康状况、个人偏好、兴趣爱好、可靠性、行为表现、位置或行踪等。画像与自动化决策联系紧密,但又有区别,二者同属自动化处理(Automated?Processing)这一概念的统领下,但侧重有所不同,画像强调对个人的评估和预测,而自动化决策强调基于包括画像在内的自动化处理过程所形成的决定和判断。个性化推荐和画像的前述特征可能损害个人的参与权,更深层次地来看,有可能使个人困于所谓的“信息茧房”,从根本上侵蚀个人的自主和自由。故《个人信息保护法》在本条中明确,个人有权选择非针对其个人特征的信息推送和商业营销选项。
关于个性化推荐,2019年1月1日施行的《
电子商务法》第18条规定:“电子商务经营者根据消费者的兴趣爱好、消费习惯等特征向其提供商品或者服务的搜索结果的,应当同时向该消费者提供不针对其个人特征的选项,尊重和平等保护消费者合法权益。电子商务经营者向消费者发送广告的,应当遵守《中华人民共和国
广告法》的有关规定。”该规定即是针对个性化推荐,不同的是,《个人信息保护法》规范的个性化推荐不只局限在电子商务领域,而是适用于所有利用用户个人信息进行个性化推荐的活动,并且还规定个人信息处理者应当向个人提供便捷的拒绝方式。很明显,《个人信息保护法》对个人信息权益的保护更加全面。
(三)个人要求个人信息处理者说明并拒绝自动化决策的权利
根据本条第3款规定,通过自动化决策方式作出对个人权益有重大影响的决定,个人有权要求个人信息处理者予以说明。要求说明权是《个人信息保护法》赋予信息主体的一项重要权利。如前述,自动化决策程序是复杂而不透明的,作为个人无从理解自动化决策的过程和逻辑,故信息处理者应在一定程度上向个人公开决策的逻辑和过程。但即使个人信息处理者向个人公开相关信息,由于信息技术的专业性,个人很有可能仍然无法理解,因此,个人信息处理者的说明方式显得非常重要。GDPR第12条规定:信息、交流与模式的透明性——保证数据主体权利的行使。对于和个人信息处理相关的第13条和第14条规定的所有信息或者第15条至第22条以及第34条所规定的所有交流,控制者应当以一种简洁、透明、易懂和容易获取的形式,以清晰和平白的语言来提供,对于针对儿童的所有信息,尤其应当如此……本法第17条规定:“个人信息处理者在处理个人信息前,应当以显著方式、清晰易懂的语言真实、准确、完整地向个人告知下列事项:……(二)个人信息的处理目的、处理方式,处理的个人信息种类、保存期限……”因此,个人信息处理者的说明应当遵循“易懂”的标准,且此处的“易懂”应站在一般社会公众而非信息技术专业人员的角度理解。另外,在自动化决策应用中,通常会涉及商业秘密或知识产权,出于维护自身竞争力的目的,商业性质的个人信息处理者不愿对外公开自动化决策过程中的一些环节和内容,在本条征求意见的过程中,有意见认为,涉及商业秘密或可能损害第三方权益的情形可不向个人作出说明。对于具体的操作中如何既保障个人的相关合法权益,又不妨碍自动化决策技术的良性发展,仍需在实践中探索。但是,要求说明权行使的前提条件是明确的:必须是针对通过自动化决策方式作出对个人权益有重大影响的决定,而对个人权益没有重大影响的决定,个人不享有要求说明的权利。至于如何界定“重大影响”,应当具体到个人信息处理的具体场景和个人的具体特征。有意见认为,“重大影响”具体包括两种情形:一是该决定改变了个人的法律上的权利、义务和责任关系,比如拒绝订立合同或者撤销合同等;二是该决定使得个人的经济地位、社会地位等状况发生了改变。[6]上述意见颇有道理。此外,个人信息处理者应当在收集个人信息的初始阶段即告知个人其处理行为是否涉及自动化处理和决策,并且应当告知该过程可能对个人权益产生的影响。根据本法第17条的规定,个人信息处理者在处理个人信息前,应当以显著方式、清晰易懂的语言真实、准确、完整地向个人告知个人信息的处理目的、处理方式,处理的个人信息种类、保存期限。该条中提到的“处理方式”涵盖了自动化决策。从域外立法看,GDPR明确规定,在向数据主体收集信息时,数据的控制者应当告知数据主体是否存在包括画像在内的自动化决策以及有关涉及的逻辑、影响和可以预见的结果等相关重要信息。
除要求说明的权利外,根据本条第3款的规定,个人还享有拒绝自动化决策的权利。但是,拒绝权的行使有着较为严格的条件限制。首先,个人有权拒绝接受的必须是“通过自动化决策方式作出对个人权益有重大影响的决定”,这与要求说明权的前提条件一致。其次,该决定必须是“仅通过自动化决策的方式”作出的,换言之,若一项决定是由人在自动化决策技术的辅助下作出时,个人不享有拒绝接受的权利。除此之外,拒绝权的行使是否有例外情形,值得研究。GDPR规定了个人拒绝权行使的例外情形,主要包括自动化决策是数据主体和数据控制者订立、履行合同所必需、被欧盟或成员国法律允许并且采取了适当措施保护数据主体的权利、自由及合法利益、数据主体明确同意。本条虽未规定个人对自动化决策拒绝权的例外情形,但从本法的立法目的以及域外经验看,个人行使拒绝权可能会受到例外情形的限制。比如,根据《个人信息保护法》第13条的规定,“为订立、履行个人作为一方当事人的合同所必需”是个人信息处理者处理个人信息的合法性基础,如果通过自动化决策方式作出对个人权益有重大影响的决定系履行合同所必需,除非合同明确约定,否则个人任意行使拒绝权可能会构成违约。对此问题,需要实践进一步探索。
【条文适用】
司法实践中如何认定差别待遇是否合理
“大数据杀熟”或者“算法歧视”的实质是通过自动化决策实行不合理的差别待遇。因此,并非通过自动化决策所实行的任何差别待遇,都属于“大数据杀熟”,只有“不合理的差别待遇”才构成“大数据杀熟”。对于这一点,司法实践中应当重点把握。如何认定差别待遇是否合理,《国务院反垄断委员会关于平台经济领域的反垄断指南》(国反垄发〔2021〕1号)第17条对差别待遇以及差别待遇的正当理由作出了详细规定,可为参考。该条第1款规定:“具有市场支配地位的平台经济领域经营者,可能滥用市场支配地位,无正当理由对交易条件相同的交易相对人实施差别待遇,排除、限制市场竞争。分析是否构成差别待遇,可以考虑以下因素:(一)基于大数据和算法,根据交易相对人的支付能力、消费偏好、使用习惯等,实行差异性交易价格或者其他交易条件;(二)实行差异性标准、规则、算法;(三)实行差异性付款条件和交易方式。”第2款规定:“条件相同是指交易相对人之间在交易安全、交易成本、信用状况、所处交易环节、交易持续时间等方面不存在实质性影响交易的差别。平台在交易中获取的交易相对人的隐私信息、交易历史、个体偏好、消费习惯等方面存在的差异不影响认定交易相对人条件相同。”该条第3款规定:“平台经济领域经营者实施差别待遇行为可能具有以下正当理由:(一)根据交易相对人实际需求且符合正当的交易习惯和行业惯例,实行不同交易条件;(二)针对新用户在合理期限内开展的优惠活动;(三)基于平台公平、合理、无歧视的规则实施的随机性交易;(四)能够证明行为具有正当性的其他理由。”