尽管 LLMs 在文本生成、创意写作等领域取得了显著进步，但其产出在集体多样性方面存在严重不足。此前研究发现， AI 助手虽然可能增强个体作者的创造力，但会降低多作者群体内容的集体多样性。
本文将这种缺乏多样性的现象形象地称为“回声”（Echoes）。回声指的是：当使用相同的提示（Prompt）要求 LLM 进行多次生成时，不同生成的故事中会重复出现相同或相似的情节元素或叙事发展。为了量化叙事层面的独特性和多样性，论文提出了Sui Generis 评分指标。
本文从社会角度强调了 LLM 同质化倾向的危险性。如果大规模传播缺乏多样性的 AI 内容，可能会减少在线内容的集体创造力，以及教育体验的丰富性。这类似于推荐系统缺乏多样性导致的社会偏见和极化问题。
标题：Echoes in AI: quantifying lack of plot diversity in LLM outputs
期刊：Proceedings of the National Academy of Sciences（2025）
摘要：随着大型语言模型（LLMs）的快速发展，其在创意内容构思和生成中的应用也日益增加。一个关键问题浮出水面：目前的 LLMs 能否提供足够多样的想法，以真正促进集体创造力？我们考察了两种最先进的 LLMs——GPT-4 和 LLaMA-3——在故事生成方面的表现，并发现 LLM 生成的故事通常包含在多次生成中反复出现的情节元素。为了量化这种现象，我们引入了Sui Generis 评分，这是一个自动指标，用于衡量在相同提示下使用 LLM 生成的替代故事线中某个情节元素的独特性。我们对 100 个短篇故事进行评估后发现，LLM 生成的故事通常包含在多次生成和不同 LLM 之间频繁回响的特殊情节元素的组合，而原始人类创作的故事的情节则很少被重复，甚至从未在作品中回响。此外，我们的人类评估显示，评分在故事片段中的排名与人类对惊奇水平的判断适度相关，尽管评分计算完全是自动的，不依赖于人类判断。
#博士生日常 #研究生 #文献阅读 #多模态人工智能 #机器学习 #文学 #创意写作 #心理学 #AI #人工智能
本文将这种缺乏多样性的现象形象地称为“回声”（Echoes）。回声指的是：当使用相同的提示（Prompt）要求 LLM 进行多次生成时，不同生成的故事中会重复出现相同或相似的情节元素或叙事发展。为了量化叙事层面的独特性和多样性，论文提出了Sui Generis 评分指标。
本文从社会角度强调了 LLM 同质化倾向的危险性。如果大规模传播缺乏多样性的 AI 内容，可能会减少在线内容的集体创造力，以及教育体验的丰富性。这类似于推荐系统缺乏多样性导致的社会偏见和极化问题。
标题：Echoes in AI: quantifying lack of plot diversity in LLM outputs
期刊：Proceedings of the National Academy of Sciences（2025）
摘要：随着大型语言模型（LLMs）的快速发展，其在创意内容构思和生成中的应用也日益增加。一个关键问题浮出水面：目前的 LLMs 能否提供足够多样的想法，以真正促进集体创造力？我们考察了两种最先进的 LLMs——GPT-4 和 LLaMA-3——在故事生成方面的表现，并发现 LLM 生成的故事通常包含在多次生成中反复出现的情节元素。为了量化这种现象，我们引入了Sui Generis 评分，这是一个自动指标，用于衡量在相同提示下使用 LLM 生成的替代故事线中某个情节元素的独特性。我们对 100 个短篇故事进行评估后发现，LLM 生成的故事通常包含在多次生成和不同 LLM 之间频繁回响的特殊情节元素的组合，而原始人类创作的故事的情节则很少被重复，甚至从未在作品中回响。此外，我们的人类评估显示，评分在故事片段中的排名与人类对惊奇水平的判断适度相关，尽管评分计算完全是自动的，不依赖于人类判断。
#博士生日常 #研究生 #文献阅读 #多模态人工智能 #机器学习 #文学 #创意写作 #心理学 #AI #人工智能
