大模型日报（7月30日学术篇）

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区：

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送

如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

论文

Survey and Taxonomy：数据中心智能在基于Transformer的时间序列预测中的作用

随着不断改进人工智能性能的过程，研究人员也开始关注数据中心人工智能的涌现概念，强调数据在系统化机器学习训练中的重要作用。随着模型的发展，Transformer架构的出现成为其中之一，它在自然语言处理（NLP）、计算机视觉（CV）和时间序列预测（TSF）等多个领域具有高水平的能力。然而，它的性能在很大程度上取决于输入数据的预处理和输出数据的评估，因此未来的研究应采取数据中心的方法。我们认为，数据中心人工智能对于高效训练人工智能模型至关重要，尤其是基于Transformer的TSF模型。然而，在Transformer TSF和数据中心人工智能整合方面存在差距。该调查旨在通过基于提出的分类法的广泛文献回顾来确定这一差距。我们从数据中心人工智能的角度审查以往的研究工作，旨在为基于Transformer架构和数据中心人工智能的未来发展奠定基础。

http://arxiv.org/abs/2407.19784v1

BEExAI：评估Explainable AI的基准

最近在可解释性方面的研究催生了许多旨在增进我们对黑盒机器学习模型输出理解的事后归因方法。然而，评估解释质量缺乏统一方法，以及针对事后归因方法量化指标衡量有效性的方法学共识。此外，随着越来越复杂的深度学习模型在各种数据应用中的发展，对解释质量和正确性的可靠测量方式变得至关重要。我们提出了BEExAI，一个基准工具，允许对不同事后XAI方法进行大规模比较，采用一组选定的评估指标。

http://arxiv.org/abs/2407.19897v1

xAI-Drop: 不使用无法解释的内容

图神经网络(GNNs)已经成为从图结构数据中学习的主导范式，提供了从社交网络分析到生物信息学等广泛的应用。尽管它们具有多样性，GNNs面临着过度平滑、泛化能力不足和解释性差等挑战，这些挑战限制了它们在关键应用中的广泛采用和可靠性。丢弃已经成为一个有效的范式，可以在训练过程中减少噪声，提高GNNs的鲁棒性。然而，现有方法通常依赖于随机或基于启发式的选择标准，缺乏一个原则性的方法来识别和排除对模型中的噪声和过度复杂性有贡献的节点。在这项工作中，我们认为解释能力应该是模型在整个训练阶段鲁棒性的关键指标。为此，我们引入了xAI-Drop，这是一种新的基于拓扑级别的丢弃正则化器，利用解释能力来指示应该从GNN传播机制中排除的嘈杂网络元素。对各种真实世界数据集的实证评估表明，我们的方法在准确性上优于当前的最先进的丢弃方法，有效减少了过度平滑，并改善了解释质量。

http://arxiv.org/abs/2407.20067v1

Unknown Cluster Number的非结构化数据中的自适应自监督鲁棒聚类

摘要：我们介绍了一种针对无结构数据的新型自监督深度聚类方法，不需要先验知识来确定聚类数，称为自适应自监督稳健聚类（ASRC）。ASRC 自适应地学习图结构和边权重，以捕获局部和全局结构信息。通过增强的图自编码器与对比学习技术，ASRC 能够学习友好于聚类的特征表示。 ASRC 进一步利用鲁棒连续聚类 (RCC) 自适应地生成用于负采样的原型，可以进一步促进正例间的一致性，并扩大正例和负例之间的差距。ASRC通过将RCC应用于学习到的特征表示及其一致的图结构和边权重，获得最终的聚类结果。在七个基准数据集上进行的广泛实验表明了ASRC的有效性，显示其优于其他热门聚类模型的性能。值得注意的是，ASRC甚至胜过那些依赖聚类数先验知识的方法，突显了其在应对无结构数据聚类挑战中的有效性。

http://arxiv.org/abs/2407.20119v1

使用LLMs生成易读内容的探索

确保文本可访问性和可理解性是关键目标，特别是对于认知障碍和智力障碍的个体，他们在访问各种介质的信息时面临挑战，比如网页、报纸、行政任务或健康文件。Easy to Read和Plain Language等倡议旨在简化复杂文本；然而，标准化这些准则仍然具有挑战性，并常常涉及手动处理。本研究探讨了利用人工智能（AI）和自然语言处理（NLP）方法系统地简化西班牙文本为易读格式的初步调查，重点是利用大语言模型（LLMs）简化文本，特别是生成易读内容。该研究贡献了一套西班牙语平行语料库，适用于易读格式，可作为训练和测试文本简化系统的宝贵资源。此外，利用LLMs和收集的语料库进行了几项文本简化实验，包括对Llama2模型进行微调和测试，以生成易读内容。还进行了定性评估，由易读内容文本适应专家指导，评估自动简化的文本。这项研究有助于提升认知障碍个体的文本可访问性，突出了在负责任管理能源使用的同时利用LLMs的有前景的策略。

http://arxiv.org/abs/2407.20046v1

利用“stairs”辅助greedy 生成加速大语言模型推理

大型语言模型(LLMs)以其卓越的预测能力而闻名，但需要大量资源来运行。随着它们在受欢迎程度的飙升，即使对所需资源有轻微减少也可能对环境产生影响。另一方面，更小的模型需要更少资源，但可能会牺牲准确性。在这项工作中，我们提出了“楼梯辅助贪婪生成”的实现。这是一种改进的辅助生成方法，利用了较小模型的快速生成，较大模型的批量预测和“楼梯”验证，以实现预测生成的加速。结果显示，在文本生成任务中，与独立的大型LLM预测相比，推断时间减少了9.58%至17.24%，而准确性没有损失。

http://arxiv.org/abs/2407.19947v1

Meta-Rewarding Language Models:：LLM-as-a-Meta-Judge的自我改进对齐

大型语言模型 (LLMs) 在许多领域迅速超越了人类知识。虽然改进这些模型传统上依赖昂贵的人类数据，但最近的自奖励机制(Yuan等，2024)表明，LLMs 可以通过判断自己的响应而不是依赖于人类标注者来改进。然而，现有方法主要集中在改进模型响应而不是判断能力，导致在迭代训练中迅速饱和。为解决这一问题，我们引入了一个新颖的元奖励步骤到自我改进过程中，其中模型判断其自身的判断并利用该反馈来优化其判断能力。令人惊讶的是，这种无监督方法改善了模型判断和遵循指令的能力，如在AlpacaEval 2中Llama-3-8B-Instruct的胜率从22.9%提高到39.4%，在Arena-Hard中从20.6%提高到29.1%。这些结果强烈暗示了无需人类监督的自我改进模型的潜力。