图源:视觉中国

随着真假难辨的AI生成内容席卷互联网,人工创作的"干净语料"日益稀缺。纸质书,也由此成为AI公司的争夺之地。

近日,美国AI公司Anthropic因"焚书"事件陷入舆论风波。根据法院判决结果及公开报道,自2024年始,为获取高质量训练语料,Anthropic批量购买2022年前出版的纸质书籍,切除书脊并加以破坏性扫描,涉及书籍数量高达数百万本。该项行动被Anthropic称作"巴拿马计划",并被美国联邦法院判决为合法。

这一事件引发巨大争议。

AI时代,这场争议将我们引向一个新的问题:一本纸质书历经数字化后,是否就完成了它的全部使命?

01 为何"焚书"

这一事件中,有一个值得关注的细节:Anthropic为购买纸质书所投入的成本并不低,且只购买2022年前出版的书籍。为何AI公司需要这一特定语料来训练模型?

要解答这个问题,首先需要了解大语言模型的训练原理。大语言模型,是一种基于深度学习、通过海量文本数据训练而成的AI模型,其能力很大一部分取决于"喂入"数据的质量。

大语言模型发展初期,尚有大量人类创作语料可作为高质量数据使用,但近几年来,随着生成式AI的快速普及,互联网上已经出现大量由AI参与创作的内容。根据斯坦福大学今年4月发布的《2026年AI指数报告》,自2025年1月以来,新发布的互联网内容中AI生成比例已超过半数。

于是,一个新的悖论出现了:当AI使用AI生成内容来训练新的模型时,模型就将不断学习自己的"复制品",原创信息越来越少,误差在连续迭代中不断累积,最终可能导致模型不仅性能下降,甚至直接崩溃。

这一现象,被研究人员称为"模型坍塌"(Model Collapse)。

因此,不少AI公司开始重新寻找由人类独立创作、未经AI污染的数据来源,2022年前出版的纸质书籍,恰巧符合这一条件。

要将实体书籍转化为AI语料,数字化步骤必不可少。

浙江图书馆数字资源中心负责人告诉有风君,目前纸质书数字化主要经过择选、图像采集、OCR(光学字符识别,即将图像转化为文字)三个步骤。不同图书机构对于图像采集方法不同,如浙江图书馆使用的即为拍照采集。"并非所有书籍数字化都要经过OCR,数字化有发布服务级、长期保存级等不同级别,呈现内容也有高清图片和纯文字等形式。"

在此基础上,才有可能进入AI语料训练。

她介绍,与商业机构采用高速馈纸扫描不同,古籍数字化通常使用非接触式拍摄设备。工作人员会根据古籍的装帧方式、开合角度和纸张状况,调整拍摄方案,尽可能减少翻动和受力。有些珍贵古籍甚至需要定制专门的书托,将开合角度控制在文献能够承受的范围内,避免因过度展开而造成书脊断裂或纸张损伤。这一过程不仅成本较高,用时也较久。

也正因如此,Anthropic选择了效率更高的"破坏性扫描"方式。切除书脊后,散页可以通过高速馈纸设备快速完成扫描,效率远高于图书馆常用的"无损扫描"。

02 数字化,留不下什么

如果一本书已经被完整扫描,文字也全部转换成数字文件,那实体书籍本身还有必要保留吗?

在浙江图书馆古籍保护研究中心主任童圣江看来,回答这个问题的关键在于如何看待一本实体书。

如果一本书仅仅作为文献资料,按照目前的技术,其数字化后的内容已经能够满足绝大多数阅读与研究需求。

童圣江告诉有风君,以古籍为例,如今的实体书数字化采用高精度拍摄设备,能够保存未经压缩的原始图像,即使是肉眼难以辨认的细小墨点、边缘批注,也能够通过放大清晰呈现。"相当于拿着放大镜去看,书页平面上的信息基本都能保留。"

在此基础上,OCR环节通过识别图片中的文字,并将其转换为可检索、复制、计算机处理的文本,则增加了阅读和研究的便利度,方便读者查阅。"当代印制的大量平装书籍,经数字化后损失的信息几乎可以被忽略。"童圣江说。

然而,数字化保存了书的内容,却无法留存实体书作为"物"的信息。

2024年新修订的《中华人民共和国文物保护法》中,明确将"历史上各时代重要的文献资料、手稿和图书资料等"列入文物。而在文物研究中,除古典文献学等内容上的分析外,形式上的实体也成为极其重要的研究材料。

文物研究常涉及纸张纤维分析、造纸原料鉴定、墨迹成分检测、印泥颜料分析等,这些都必须依赖实体书籍原件完成。

"比如纸张本身,就能够成为古籍版本鉴定的重要依据之一。"童圣江告诉有风君,我国传统造纸一般为就地取材,如南方竹材丰富,多使用竹纸;北方则更多采用树皮或麻料造纸。研究者往往会结合纸张、字体、版式、避讳字等多种细节,对一本没有出版信息的古籍进行断代和版本鉴定。

这些信息,并不会随着内容一起完成数字化,却构成一本实体书作为历史文物不可替代的价值。

03 阅后不焚

拆书、扫描、送入AI语料库,一本书的生命周期似乎在数字化完成的那一刻便宣告结束,然而事实恰恰相反。

"由于每一次翻阅、高温高湿的环境都会造成书籍的磨损,数字化恰恰是为了在保障公共阅读的同时,更好地保存这些珍贵的藏本。"童圣江强调。

这种"保护优先"的理念,也贯穿于数字资源建设的全过程。

数字资源本身也需要持续维护。完成拍摄后,图像并不会直接提供给公众使用,而是形成不同层级的数据文件。最高精度的原始图像作为长期保存文件永久留存;经过压缩处理后的版本,则用于数据库浏览和网络服务;同时配套建立完整的元数据,记录文献来源、版本信息、数字化时间、设备参数等内容,为后续管理和长期保存提供依据。

截至目前,浙江图书馆已完成古籍数字化图像采集3.3万余册,这些数字化后的古籍集中汇入"浙江省历史文献数字资源总库",上线以来累计访问量达87万余人次。

为了更好地推进数字化成果的共享,近年来,浙江也在不断推进古籍数字化标准建设。自2019年试行以来,浙江图书馆制定的《古籍数字化加工工作流程》等一系列技术标准已在全省实行,从图像分辨率、文件格式,到元数据规范、数据接口,都逐步形成统一要求,让数字资源真正实现跨机构互联互通。

在"更好保存实体书籍"之外,我们或许还应当思考建立一种新的公共保存机制。

在Anthropic的案例中,有一个值得注意的细节:该公司受到起诉,一方面因为从盗版网站免费下载大量电子书,被认为侵犯创作者权益;另一方面,才是让人震惊的"巴拿马计划"。

然而,对Anthropic的判决揭示了一个奇怪的逻辑:前者被判罚款15亿美元,后者却被认定为合法。它释放出一个信号:只要书是合法购买的,拆除、扫描、销毁等任何行为均为合法,但若从盗版网站下载,代价则会极其昂贵。因此,如果扫描后还存留原书或公开分享扫描电子件,很可能因产生新的版权副本并流入市场,从而处于法律弱势地位。

数字化资源也是一种文化资源。受访者在采访中表达了自己的担忧,如果扫描后的内容完全掌握在企业手中,公众可能获得更智能的AI产品,可一旦技术更新、平台关闭或商业模式改变,大量知识资源就可能从公共领域消失。而这与图书馆等公共文化机构承担的职责有着本质区别,而图书馆的使命是尽可能完整地保存社会的文化记忆。

或许,这正是文化保护的一道重要边界:在几乎一切都可以成为训练数据的AI时代,我们仍有要守护的文明。