人工智能安全与法治导则

人工智能是引领新一轮科技革命和产业变革的颠覆性技术，在为人类创造巨大福祉的同时，也会催生各类全新的安全风险。为科学预判和管控人工智能发展的安全风险，按照循序渐进、分类施策的原则，每年聚焦若干关键问题的治理，提出人工智能安全与法治导则。2019年度重点是算法安全、数据安全、知识产权、社会就业和法律责任。

一、人工智能算法安全

（一）风险挑战

人工智能算法安全风险是指由于人工智能算法设计、程序运行导致的各类安全风险，主要包括技术缺陷、设计偏见和算法黑箱等风险。

1．技术缺陷。由于算法模型存在技术性缺陷，导致人工智能系统无法正常运行，或受到外部网络攻击和恶意样本侵扰，产生与预期不符乃至危害性结果，造成人员和财产损失。

2．设计偏见。由于算法设计者自身存在价值偏见，导致算法设计无法实现设计者既定的向善目标，产生与预期不符以及危害性社会结果，例如算法歧视等。

3．算法黑箱。人工智能技术趋向自主学习和持续进化，不仅外部用户难以了解算法的运行逻辑，开发者自身也越来越难以全面解释算法的决策机制，算法的“黑箱化”将导致技术失控以及其他危害性结果。

（二）法治应对

1．开展算法安全的技术评估。通过政策和法律引导，鼓励人工智能安全技术研发，构建人工智能软件质量评估体系，针对人工智能重点应用，开展人工智能算法安全的评估检测。

2．推动技术伦理的算法导入。法律要强化基于人类伦理规范的算法模型设计，要求人工智能开发者设计高可解释性的智能系统，促进人工智能算法逻辑与人类社会价值规范的持续校准。

3．加强智能算法的透明监督。创新算法监管模式，建立多层级监管体系，政府须依法开展人工智能的产品和服务监管，人工智能企业、行业应建立相应的算法监管体制，保持与政府监管的协同。

二、人工智能数据安全

（一）风险挑战

人工智能数据安全风险是指人工智能系统在数据采集、分析及流转过程中产生的各类安全风险，主要包括数据隐私、数据控制和数据质量等风险。

1．数据隐私。数据隐私风险包括在采集阶段自动化获取用户个人敏感信息，在分析阶段基于用户非敏感数据智能挖掘得出个人敏感信息并加以利用，在流转阶段未经用户许可将用户数据传递给第三方机构或其他国家（区域）。

2．数据保护。数据保护风险是指人工智能系统数据资源遭遇攻击、窃取、篡改等，导致数据发生泄露、系统无法使用甚至导致功能失控，数据是人工智能产品正常稳定运行的基础，且涉及用户隐私、商业秘密乃至国家机密，数据保护挑战尤为艰巨。

3．数据质量。人工智能的研发和应用对数据质量依赖度极高。数据质量不足将对人工智能系统带来重大风险，主要包括数据集规模量、多样性等不足以及数据集遭污染等原因导致的安全风险。

（二）法治应对

1．加强数据安全立法和执法。针对个人数据和重要数据开展系统立法和严格执法，结合人工智能重点应用场景，制定数据安全分类分级管理体系和标准，对采集和使用敏感个人数据的人工智能企业/行业须加强法律和行政监管。

2．丰富人工智能技术发展路径。当前人工智能主流技术路径是基于海量数据的深度学习，未来须通过政策手段支持多样化的人工智能技术发展，例如基于小数据的人工智能算法技术等。

3．提升人工智能数据资源管理水平。促进公共部门和私营部门数据资源共享和流通，分行业构建人工智能高质量训练数据集，降低人工智能数据获取成本，提高人工智能行业的数据质量。

三、人工智能知识产权

人工智能知识产权是指利用人工智能进行文学、艺术等作品创作而产生的知识产权问题，人工智能知识产权问题包括算法知识产权、数据知识产权和创作物知识产权。

（一）风险挑战

1．算法知识产权。人工智能系统具有自主学习、不可解释、自动编码等特点，现有的软件著作权静态保护模式存在不足，侵权者可以采用轻易绕过算法的代码表现形式实现功能模仿甚至超越，现有的软件专利保护模式由于门槛较高且周期较长往往无法适应人工智能商业创新需要。

2．数据知识产权。人工智能系统主要通过自动化方式处理各类数据资源，著作权保护通过数据库内容选择或编排而体现其“独创性”，人工智能数据资源采集和加工方式导致数据知识产权界定具有极大的不确定性。

3．创作物知识产权。人工智能技术发展导致对创作物“独创性”界定日益模糊，以人类智力劳动为中心的传统著作权保护模式面临困境，引发人工智能系统之间、人工智能系统与人类创作之间的侵权难以认定等问题。

（二）法治应对

1．加强人工智能算法的专利保护。扩大专利法对于人工智能算法保护范围，针对人工智能算法专利申请制定相关配套制度，利用技术手段提高人工智能算法专利审查，提高人工智能算法专利审核效率。

2．鼓励人工智能数据开放性保护。明确人工智能的数据权属，对企业数据资源进行知识产权认定，在此基础上鼓励企业加强人工智能数据资源的流通共享，推进人工智能数据集的建设。

3．促进人工智能作品的知识产权化。依据著作权法等对人工智能创作物“独创性”进行科学辨别，对于符合条件的创作物应予以知识产权保护，对人工智能创作过程进行分解进而确认知识产权的归属及其权益分配。

四、人工智能社会就业问题

人工智能社会就业问题是指人工智能技术发展对现有社会生产结构及分配制度带来的风险挑战。主要包括结构性失业、收入差距加大等问题。

（一）风险挑战

1．结构性失业。人工智能技术广泛应用将导致传统行业面临重构、融合，人工智能必将取代众多传统职业，不仅包括简单重复和流程化的劳动岗位，也包括部分专业技能性知识工作岗位。

2、新兴劳动力不足。人工智能技术在替代传统职业的同时，也在创造一系列全新职业岗位，尤其是对劳动力的创新、创意、创业能力提出更高要求，现有社会劳动力构成和教育体系尚难以适应这一变革，新兴职业劳动力面临短缺。

3．收入差距加大。人工智能技术驱动全社会生产力发生飞跃，社会财富向少数具有人工智能技术优势的行业和企业积聚，对不同行业、不同企业、不同岗位的分配关系构成重大影响，劳动者的收入分配差距也将因此加大。

（二）法治应对

1．加强人工智能劳动力替代监管。加强人工智能技术应用的就业风险评估，出台法律法规，对面临人工智能技术替代的行业和职业进行监管和救助，保障劳动者尤其是中低端收入阶层的工作机会和权利，有序推动人工智能劳动力替代和职业转型，防范社会大规模失业风险。

2．加快人工智能新兴劳动力培养。面向人工智能发展趋势，科学规划基础教育和职业教育体系，加大人工智能各类人才的培养，全面支持人工智能职业转型社会机构发展。

3．面向人工智能开展收入调节。兼顾效率与公平，在鼓励企业通过人工智能创新获取高额利润的同时，加强人工智能时代社会收入分配调整，对遭遇人工智能冲击的传统行业劳动力进行保护和救助，提高社会二次分配的合理性与精准性。

五、人工智能产品法律责任问题

人工智能产品法律责任是指人工智能产品或服务在应用过程中，引发了侵权或犯罪等行为后法律责任的认定和承担问题，主要包括：人工智能法律主体模糊、人工智能责任界定复杂。

（一）风险挑战

1．人工智能产品法律主体多元模糊。人工智能产品的法律主体涉及人工智能产品设计者、生产者、运营者、使用者等多元主体，人工智能产品的法律主体难以确定。

2．人工智能产品侵权责任错综复杂。包括由于人工智能的控制者、使用者操作不当，造成人工智能侵权；人工智能的控制者、使用者故意利用人工智能进行侵权行为；由于黑客等外部技术侵入原因导致侵权；未来人工智能系统具有“自我学习”和“自主意识”导致的侵权行为等。

（二）法治应对

1．明确责任主体。弱人工智能时代，人工智能产品本身不具有独立的法律主体资格，人工智能产品的定位是“工具”，人工智能设计者、生产者、运营者、使用者承担法律主体责任。

2．科学分配人工智能侵权的法律责任。根据过错责任原则，由产品设计者、生产者、运营者、使用者按照过错程度分担；由于外部技术侵入造成的侵权，则应追究外部技术侵入者的责任。对于因技术限制，而使人工智能产品开发之初无法预测到的危险，造成侵权后果的，应当引入保险机制等方式进行责任分担。