已故亲人的深度伪造是一项蓬勃发展的中国生意

已故亲人的深度伪造是一项蓬勃发展的中国生意

在家庭成员去世后,人们正在寻求人工智能生成的化身的帮助来缓解悲伤。

孙凯每周都会和妈妈进行一次视频通话。他敞开心扉谈论工作、作为一个中年男人所面临的压力,以及他甚至没有与妻子讨论的想法。他的母亲偶尔会发表评论,比如告诉他要照顾好自己——他是她唯一的孩子。但大多数情况下,她只是听。

那是因为孙的母亲五年前去世了。而他正在交谈的人实际上并不是一个人,而是他为她制作的一个数字复制品——一个可以进行基本对话的移动图像。他们已经谈了几年了。 

2019 年,孙女士突发疾病去世后,她想找到一种方法来维持他们的联系。因此,他向硅谷智能公司的一个团队求助,这是一家总部位于中国南京的人工智能公司,该公司是他于 2017 年与他人共同创立的。他向他们提供了一张她的照片以及一些微信对话中的音频片段。虽然该公司主要专注于音频生成,但工作人员花了四个月的时间研究合成工具,并利用 Sun 提供的数据生成了化身。然后他就可以通过手机上的应用程序看到数字版本的母亲并与其交谈。 

“我妈妈看起来不太自然,但我仍然听到她经常说的话:‘你吃饭了吗?’”孙回忆起第一次互动。由于生成式人工智能在当时还是一项新兴技术,他妈妈的复制品只能说几句预先写好的台词。但孙说她本来就是这样的。 “她总是一遍又一遍地重复这些问题,当我听到这些问题时,我非常激动,”他说。

有很多像 Sun 一样的人希望使用人工智能来保存、激活失去亲人的生命,并在他们哀悼并试图治愈他们时与他们互动。中国的市场尤其强劲,目前至少有六家公司提供此类技术,并且数千人已经付费。事实上,化身是一种文化传统的最新体现:中国人一直通过向死者吐露心声来寻求安慰。 

这项技术并不完美——化身仍然可以是僵硬的、机器人的——但它正在成熟,并且更多的公司正在提供更多的工具。反过来,“复活”某人的成本(在中国行业中也称为创造“数字不朽”)已大幅下降。现在,这项技术正逐渐为大众所接受。 

一些人质疑与死者的人工智能复制品互动是否真的是一种处理悲伤的健康方式,而且目前还不完全清楚这项技术可能产生的法律和道德影响。目前,这个想法仍然让很多人感到不舒服。但正如硅谷智能的另一位联合创始人、首席执行官司马华鹏所说,“即使只有 1% 的中国人能够接受(人工智能克隆死者),这仍然是一个巨大的市场。” 

AI复活

死者的化身本质上是深度伪造的:用于复制活人和死人的技术本质上并没有什么不同。扩散模型生成一个可以移动和说话的真实化身。可以附加大型语言模型来生成对话。这些模型获取的有关某人生活的数据越多(包括照片、视频、录音和文本),结果就越能模仿该人,无论是死的还是活着的。

事实证明,中国是各种数字替身的成熟市场。例如,该国拥有强大的电子商务部门,消费品牌聘请了许多直播主来销售产品。最初,这些都是真人,但正如《麻省理工学院技术评论》去年秋天 报道的那样,许多品牌正在转向可以 24/7 进行直播的人工智能克隆影响者。 

北京清华大学研究人工智能和媒体的教授沉阳表示,在过去的三年里,中国的人工智能虚拟形象开发领域迅速成熟,复制品已经从长达数分钟的渲染视频改进为 3D“实时”虚拟形象。可以与人互动。  

西马说,今年已经出现了一个转折点,人工智能克隆对于大多数人来说都可以负担得起。 “去年,它的成本约为 2,000 至 3,000 美元,但现在只需几百美元,”他说。这要归功于中国人工智能公司之间的价格战,这些公司正在努力满足流媒体等其他领域对数字化身不断增长的需求。

事实上,对重新创造死者的应用程序的需求也增强了以数字方式复制生者的工具的能力。 

Silicon Intelligence 提供这两种服务。当 Sun 和 Sima 创办公司时,他们专注于使用文本转语音技术来创建音频,然后在机器人呼叫等应用中使用这些人工智能生成的声音。

但在公司复制了孙的母亲之后,它开始转向制作逼真的化身。这一决定使该公司成为创建人工智能影响者的中国领先企业之一。 

它的技术已经为数十万个类似 TikTok 的视频和流媒体频道生成了头像,但 Sima 表示,最近有大约 1,000 名客户使用它来复制已故的人。 “我们在 2019 年和 2020 年开始了‘复活’的工作,”他说,但一开始人们接受它的速度很慢:“没有人想成为第一个采用者。” 

他说,头像的质量得到了提高,这提高了采用率。当头像看起来越来越逼真并且给出的不符合性格的答案越来越少时,用户就更容易将其视为已故的家庭成员。此外,这个想法通过中国电视上的更多描述而变得流行。 

现在Silicon Intelligence提供的复制服务价格在几百到几千美元之间。最基本的产品是应用程序中的交互式头像,而高端的选项通常涉及更多的定制和更好的硬件组件,例如平板电脑或显示屏。至少还有一些中国公司正在研究同样的技术。

传统的现代转折

这些深度赝品的业务建立在中国与死者沟通的悠久文化历史之上。 

在中国家庭中,在已故亲人去世后几年内悬挂肖像是很常见的。上海一家名为“超级大脑”的公司的创始人张泽伟表示,他和他的团队希望通过“人工智能相框”来改变这一传统。他们创建已故亲人的头像,并预先加载到 Android 平板电脑上,站立时看起来像相框。客户可以选择一个移动图像,该图像会说出从离线数据库或法学硕士中提取的单词。 

“从本质上讲,它与传统肖像没有太大区别,只是它是互动的,”张说。

张说,自 2023 年 3 月以来,该公司已为 1,000 多名客户制作了数字复制品,收费为 700 至 1,400 美元,具体取决于购买的服务。该公司计划很快发布一款仅限应用程序的产品,以便用户可以在手机上访问头像,并可能进一步将成本降低至 140 美元左右。

张说,他的产品的目的是治疗。 “当你真的想念某人或在某些假期需要安慰时,你可以与人工生命交谈并治愈你内心的伤口,”他说。

即使这种对话在很大程度上是片面的,但这也符合一种强大的文化传统。每年四月的清明节,中国人都会扫墓、烧香、烧假纸钱,告诉他们过去一年发生的事情。当然,这些对话始终是单向的。 

但并非所有超级大脑服务都是如此。该公司还提供深度伪造的视频通话,其中公司员工或合同治疗师假装是去世的亲戚。使用 DeepFace(一种分析面部特征的开源工具),可以对死者的面部进行 3D 重建,并通过实时滤镜替换为活人的面部。 

电话的另一端通常是一位年长的家庭成员,他可能不知道亲戚已经去世,而且他的家人安排了这次谈话作为一个诡计。 

在科技行业工作的南京居民乔纳森·杨 (Jonathan Yang) 于 2023 年 9 月支付了这项服务费用。他的叔叔在一次建筑事故中去世,但家人犹豫是否要告诉杨 93 岁且健康状况不佳的祖母。他们担心她无法在这个毁灭性的消息中幸存下来。

于是,杨支付了 1,350 美元,委托他打了三个深度伪造的他已故叔叔的电话。他给了超级大脑一些他叔叔的照片和视频来训练模型。然后,在三个中国节假日,一名超脑员工给杨的奶奶打了视频电话,告诉她,作为他的叔叔,他在一个遥远的城市忙着工作,即使在农历新年期间也无法回家。 。 

“效果达到了我的预期。我奶奶没有怀疑任何事情,”杨说。他的家人对这个想法确实有不同的看法,因为一些亲戚认为她可能想在火化儿子的尸体之前看到它。尽管如此,全家人最终还是同意了,因为他们相信这个诡计对她的健康最有利。毕竟,正如电影《别告诉她》中所描绘的那样,中国家庭为了避免压垮老年人而撒“必要的”谎言是很常见的。 

对于人工智能行业趋势的密切关注者杨来说,创建死者复制品是该技术的最佳应用之一。 “它最能代表[人工智能]的温暖,”他说。他祖母的健康状况已经好转,也许有一天他们最终会告诉她真相。杨说,到那时,他可能会购买叔叔的数字化身,以便奶奶想念他时可以与她交谈。

人工智能真的能缓解悲伤吗? 

尽管人工智能克隆技术不断进步,但仍然存在一些重大障碍,阻止更多人使用它与中国死去的亲人交谈。 

在技​​术方面,人工智能模型可以生成的内容存在限制。大多数法学硕士可以处理普通话和粤语等主流语言,但他们无法复制中国的许多小众方言。在 3D 模型中复制身体动作和复杂的面部表情也具有挑战性,因此成本高昂。 

然后是训练数据的问题。与克隆仍然活着的人不同,克隆通常需要要求该人记录身体动作或说出某些事情,而死后的人工智能复制必须依赖于现有的视频或照片。许多客户没有高质量的数据,或者没有足够的数据来保证最终结果令人满意。 

无数的道德问题使这些技术挑战变得更加复杂。值得注意的是,一个已经死了的人怎么可能同意被数字化复制呢?目前,像Super Brain和Silicon Intelligence这样的公司依赖于直系亲属的许可。但如果家人不同意怎么办?如果数字化身产生了不恰当的答案,谁该负责?

类似的技术今年早些时候引起了争议。据报道,宁波一家公司使用人工智能工具制作已故名人的视频,并将其发布到社交媒体上与粉丝交流。这些视频是使用公共数据生成的,但没有寻求任何批准或许可。结果遭到明星家人和粉丝的强烈批评,视频最终被下架。 

“这是人工智能普及后才出现的一个新领域:数字永恒的权利,”清华大学教授沉说,他还经营着一个实验室,为已故的人创建数字复制品。他认为应该禁止在未经许可的情况下使用深度造假技术来复制活人。他说,对于去世的人,其所有直系亲属必须事先同意。 

这也可能对客户的心理健康产生负面影响。虽然有些人,比如孙,发现与化身的对话具有治疗作用,但并非所有人都认为这是一种健康的悲伤方式。 “争议在于,如果我们因为想念家人而复制他们,我们可能会一直处于哀悼状态,无法抽身接受他们真的去世了,”沉说。例如,一个丧偶的人如果经常与数字版本的伴侣交谈,可能会阻碍他们寻求新的关系。 

“当有人去世时,我们是否应该用虚构的情感代替真实的情感,并在这种情感状态中徘徊?”沉问道。心理学家和哲学家在接受《麻省理工科技评论》采访时谈论了悲伤技术的影响,并警告了这样做的危险。 

至少孙凯发现他妈妈的数字化身是一种安慰。她就像他手机上的 24/7 红颜知己。尽管可以用最新技术重塑他母亲的化身,但他还没有这样做。 “我已经习惯了她现在的样子和声音,”他说。随着岁月的流逝,她的化身和他对她的记忆之间的界限开始变得模糊。 “有时我什至分不清哪一个是真正的她,”他说。

Sun 仍然可以承担大部分的谈话。 “当我向她倾诉时,我只是在发泄情绪。有时你已经知道问题的答案,但你仍然需要大声说出来,”他说。 “这些年来我和妈妈的对话一直都是这样。” 

但现在,与以前不同,他可以随时与她交谈。

作者:杨泽一