从“弱人工智能时代”的前提出发

人工智能是引领新一轮科技革命和产业变革的战略性技术。它如同一把“双刃剑”，深刻改变着人类的生存方式和社会交往方式，也带来了一些伦理和法律方面的风险及挑战。习近平总书记强调，要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控。要整合多学科力量，加强人工智能相关法律、伦理、社会问题研究，建立健全保障人工智能健康发展的法律法规、制度体系、伦理道德。

9月13日至18日，就“人工智能发展中的科技伦理与法律问题”，全国政协副主席陈晓光、汪永清先后率全国政协社会和法制委员会调研组赴安徽省、江苏省开展专题调研。调研组深入合肥、芜湖、南京、苏州、无锡等地多家企业、科研院所和高校，与企业负责人、一线科研人员和专家学者面对面交流，并同两省相关部门座谈。通过现场走访和体验，调研组了解了党中央决策部署的落实情况，真切感受到我国人工智能发展的成就、优势和潜力，进一步增强了推动我国经济社会高质量发展的信心。委员们表示，要认真落实习近平总书记重要指示精神，尊重新一代人工智能发展规律，把握好创新发展和风险治理的“度”。要组织专门力量深入研究人工智能创新发展存在的伦理、法律等风险问题，进行风险评估、提出防范意见。需要下大力气推动研发机构、应用主体加强内部自治，促进行业自律，强化研发、应用人员教育培训，为人工智能发展营造良好环境。

“刷脸”背后的安全隐患

“电脑密码可以换，但‘人脸’这样的生物数据是不可换的。一旦信息丢失或被攻击，你就一张脸，怎么办？”

调研中，在与安徽省、江苏省相关部门座谈时，全国政协委员谈剑锋多次提及这个问题，引起大家的关注。

今年全国两会期间，从事网络安全技术行业的谈剑锋多次就此递交提案，呼吁做好人脸等生物数据的隐私保护。在这次调研座谈会上，他很鲜明地亮出自己的观点：“我反对用唯一的生物特征信息用作身份认证。”

新冠肺炎疫情防控期间推行的“健康码”为防疫作出了巨大贡献，但谈剑锋担心由此而来的安全问题：“每个公民都在‘刷脸’，这个人脸信息数据存在哪里？谁能使用？保存时限是多少？法律监管是否到位？”在他看来，目前还没有足够安全的方式来保证生物特征数据不被滥用，如果将各类生物特征数据集中保管在数据库中，再被采集到不安全的网络上，一旦数据库遭受攻击，可能造成社会风险。

人工智能高度依赖对个人数据的采集和应用，在调研组看来，这是一个亟待重视的问题。

“一些关键数据的问题不能任其散落在企业。”全国政协委员汪鹏飞说。

调研组组长、全国政协社会和法制委员会副主任陈智敏表示，现在数据交易的灰色产业非常发达，全国从事电信诈骗行业的人员有几百万，“数据在大量流失、大量买卖，这是非常可怕的。”

今年年初，美国600多家执法机构使用的人脸识别应用程序ClearviewAI遭遇重大数据泄露，被泄露的客户名单包括美国警方、执法机构和银行。谈剑锋认为，这就是前车之鉴，“人脸数据泄露不仅会危及老百姓的隐私、财产和人身安全，一旦被境内外非法势力攻击获取，将危及社会安全和国家安全。”

怎么防范？谈剑锋认为，生物数据一定不能上“云”，生物数据上“云”后则完全依赖于“云”自身安全。世界上没有任何一个“云”敢于承诺自己是无懈可击的、是100%安全的。“如果一定要使用人脸识别等生物数据，则一定将生物数据存储在手机等终端设备上。为进一步增强安全性，不能简单地将生物数据存储在手机存储空间，一定要存储在安全芯片中，并设置严格的安全策略以保护对安全芯片的访问。”谈剑锋还提醒：“对于每一个个体而言，要尽量地少用生物数据，或仅仅将生物数据用在不太敏感的场合，不建议用于关键场合的身份认证、转账交易等，这也是保护自己的方式。”

目前我国数据安全和隐私保护水平总体较低，不能等到出现非常严重的生物数据泄漏事件后才亡羊补牢，这是调研组不少委员的一致看法。

现在，全国人大已经把个人信息保护法、数据安全法列入国家五年立法规划第一序列，这让委员们充满期待。“问题的核心在于这些数据的所有权归谁，现在始终没有解决。”陈智敏说：“我认为‘人脸’信息这类具有唯一性的数据主权在国家，企业可以使用，但现状却是谁搜集谁垄断。”陈智敏打个比喻说，这就像原始社会向奴隶社会转化时期，人们占有土地，谁抢到就是谁的，这种野蛮生长到了需要规范的时候。

清华大学法学院院长申卫星认为，数据的权属不清已成为人工智能发展的一大制度性障碍，“企业采集、加工个人隐私数据，并不足以让他拥有所有权，就像一个人写小说，被改成相声小品，改编者是不能拥有著作权的。”申卫星认为，数据安全很重要，但如果只注重安全，没有相应的权益激励，问题也难以得到彻底解决，他建议根据风险的不同类型给予企业适当的数据财产权益，有使用权但不能有拥有权。

把人力“解放”出来

当前，我国人工智能技术发展势头良好。调研中，委员们看到了人工智能在交通、制造、家居、医疗等众多领域的应用场景，眼界大开。

不过，全国政协社会和法制委员会驻会副主任吕忠梅提出了这样一个问题：“当前我国人工智能的发展方向是什么？”这也是不少委员一路思考的问题。

事实上，每一项先进技术的出现都是为了让人类的生活变得更舒服更美好，以“模拟”人类为目标的人工智能就更是如此。

9月17日上午，在江苏省苏州市极目机器人科技有限公司，调研组在大屏幕上看到了一个有趣的场景：一架无人机从绿油油的农田上方轻巧地飞过，机翼两边喷洒出如绵绵细雨般的药水。

“传统的植物农药喷洒方式靠的是人工，风险系数高、工作效率低，即便使用无人机，大部分也都需要人来操控，但这款产品可以真正解放人力。”公司负责人向调研组介绍，这款无人机可以规避田间固定或移动的障碍，无须人为干预或中断作业，就像给无人机安上了“眼”和“脑”。能够完成丘陵、山区等复杂地形的任务。这一系列“智能”优势让传统的手工劳动在无人机面前相形失色，农药喷洒作业效率更高，并且农药用量也明显减少一半，施药效果更好。

高大上的无人机“联姻”接地气的农业，着实令委员们感到振奋。显然，重复性的繁重劳动由机器取代，能够极大地提升生产效率。

与此类似的还有人工智能在医学影像领域的应用。9月18日，在无锡祥生医疗科技股份有限公司，一款“掌上超声”产品吸引了委员们的目光：把一个“探头”在人体上扫一番，超声图像信号就通过无线网络传到安装了超声App软件的手机或电脑屏幕上，而且清晰度远远超过传统的超声仪。

调研组了解到，这家公司拥有5G超声、物联网远程会诊系统等多项自主知识产权技术，能够携手各级医院建成远程超声医联体。有了智能化的远程会诊系统，能让病人少奔波，对于医疗服务能力不足的地区更是福音———“大病不出县、小病不出乡”将成为现实。

与相关医院合作完成5G超声引导下的穿刺活检远程手术，连线三甲医院与乡卫生院，让专家进行超声远程指导……现在，这些应用已经取得了较好的效果。

一路上看到的应用场景引发了委员们的思考：我们还处于一个弱人工智能时代，即这些机器和技术能完成指定任务，尚不具备自主意识，更多是在增加人类能力的外延。

对此，全国政协委员钱锋认为，相对于在中高端消费领域的应用，人工智能如何与制造业深度融合、稳定产业链供应链是更紧迫的课题。在调研组看来，人工智能的发展也应遵循以人为本原则，服务人类才是技术发展的最终目的。

智能驾驶汽车出事故，谁担责?

汽车的核心部件将不再是发动机、变速箱、底盘这三大件，而是由芯片、软件以及数据等组成的“大脑”———在人工智能大潮下，这个梦想正在成为现实。

在此次调研中，调研组走访了多家车企，看到了智能驾驶的各种场景。

“车辆到达目的地后，用户通过手机终端向T平台发送指令，车辆自动驶入车库并完成自动泊车。利用手机终端远程发送召车请求信息，车辆能够自车库车位自动行驶至召车点……”

9月15日上午，在安徽省芜湖市雄狮汽车科技有限公司，公司负责人向委员们介绍了他们的技术。

调研组了解到，2014年，SAEInternational（国际汽车工程师协会）制订了一套自动驾驶汽车分级标准，从完全手动驾驶到完全自动驾驶，其对自动化的描述分为5个等级。在L0至L2级，由司机负责驾驶，到了L3级，驾驶功能的操作主要由自动驾驶系统来完成，这也意味着L3是驾驶责任由人转向机器的分水岭。

当人类越来越多地依靠人工智能的辅助决策时，机器也可能在人们知晓或不知晓的情形下，造成人类决策不能自主。“我们不鼓励设立L3的产品级别，因为人的‘有限接管’，会使人、自动驾驶汽车和汽车制造商之间的责任不清晰。”这位负责人说。

委员们认为，在机器决策情形造成事故损失时，责任如何划分，这已成为一个非常具有挑战性的法律难题。另外，发生事故时，应该优先考虑乘客安全还是行人的安全，这也是未来智能驾驶技术发展到L4级以后必须面对的伦理问题。

在一些委员看来，人工智能应用场景下，责任相关主体可能涉及人工智能设计者、生产者、经销商、使用者等，人工智能系统及其应用场景的复杂性、不确定性使得在事故发生时的责任主体界定困难。这样的事件已有先例，比如谷歌、特斯拉等自动驾驶致人伤亡事件。

除了“谁担责”的问题，调研中，委员们也在担忧智能驾驶技术发展带来的隐私泄露问题：如果这种技术得到普遍应用后，无论一个人开车要去哪里、在车里说了什么或做了什么，都不再有私密性，而成为车企或者是车联网企业眼中的“数据”，可以随时随地使用，并从中获益。

对此，委员们建议，要重视数据的过度使用和数据泄露问题，这不仅要依靠企业、行业的道德自律，更要依靠管理部门的立法和监督。

人工智能需要综合性立法吗？

“我们成立了道德委员会，还推出了基于企业自身管理标准的《人工智能应用准则》，从正当性、人的监督、技术可靠性和安全性、公平和多样性、问责和及时修正、数据安全与隐私保护六个维度，对人工智能正确有序发展作出明确规范……”9月16日上午，在南京旷云科技有限公司，公司负责人给调研组介绍了他们在“自律”方面的成果。

自2016年以来，以科大讯飞发布的《人工智能深圳宣言》为发端，国内掀起了有关人工智能治理的一场议论风潮，多项有关人工智能治理的倡议、准则、原则也应运而生。值得关注的是，企业界在人工智能治理相关问题上率先发声，成为自下而上推动中国人工智能规范发展的一股活跃力量。

“企业建立道德委员会非常好，企业自律、行业自治很重要。”全国政协常委张大方说。调研中，该采取何种方式解决人工智能发展中的伦理规范问题，是委员们讨论的热点。

“对人工智能的治理应该分五个层面：法律规范、政府引导、行业自律、企业自觉和公民共识。”科技部新一代人工智能发展研究中心主任赵志耘认为，对人工智能进行立法很重要，但如果每一项技术都要通过立法去规范，有些技术很快会被新的技术颠覆，立法部门就得浪费大量人力物力。“立法需要确立的是基本的准则，范围要宽泛。现在最欠缺的是行业自律，企业都在跑马圈地，政府应该鼓励做得好的、鞭策做得不足的，为人工智能的发展划出边界，给企业确立标准和规范。”

清华大学法学院院长申卫星认为，人工智能的技术发展给法律带来了非常大的冲击，而我们的法学研究还停留在“风车磨坊”的时代，没有看到数据已经成为生产要素，缺乏更深入研究。

全国政协社法委驻会副主任吕忠梅认为，当前应该在数据安全、个人隐私保护等领域做一些制度性规范，处理好人工智能发展和隐私保护的关系，另外还要对从业人员进行伦理道德方面的教育与培养，在教育体制改革上做一些基础性工作。

“在一片空旷的土地上，我们可以人工栽种树木，但如果自由生长，让小鸟衔来种子，风吹来种子，也能长成茂密的森林。”全国政协委员魏青松认为，对人工智能的发展进行综合性立法要慎重，要充分考量公权和私权的边界问题。现有的法律法规对人工智能领域一些违反伦理的问题是能够发挥作用的，人工智能的未来究竟会有怎样的发展，会产生怎样的影响，目前还难以估算，不宜过早制定刚性法律，以免扼杀创新的可能性。

对此，调研组组长、全国政协社法委副主任陈智敏认为，处理人工智能发展存在的伦理和法律问题，一定要从我们还处于“弱人工智能时代”这个基本前提出发，从中国的实际出发，尊重新一代人工智能发展规律，更好推动人工智能安全可控和高质量发展。