大模型日报（7月22日资讯篇）

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区：

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送

如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。

欢迎大家一起交流！

推特

LLaMA 3.1 405B 基础模型现已可下载

资源764GiB（约820GB）！

HF链接: https://huggingface.co/cloud-district/miqu-2

磁力链接: magnet:?xt=urn:btih:c0e342ae5677582f92c52d8019cc32e1f86f1d83&dn=miqu-2&tr=udp%3A%2F%2Ftracker.openbittorrent.com%3A80

种子链接: https://files.catbox.moe/d88djr.torrent

来源: https://boards.4chan.org/g/thread/101514682#p101516633

https://www.reddit.com/r/LocalLLaMA/comments/1e98zrb/llama_31_405b_base_model_available_for_download/?rdt=46705

Dave分享：Claude3.5两小时制作语音备忘录

我用了两个小时用Claude 3.5 Sonnet完成了这个，非常整洁。

1,294行代码

下一个我想要的功能是从语音转录生成自动的iCalendar ICS文件。

使用的技术包括next.js、sqlite、tailwind、shadcn、waveformer.js、groq whisper-large-v3 api和gpt-4o mini api。

https://x.com/php100/status/1814776161542557928

Shawn Wang：<100B 模型的“血色婚礼”

<100B 模型的“血色婚礼”

我认为那些批评OpenAI的人并没有充分理解由于4o mini而发生的巨大变革。

Llama 3 70b: 82 MMLU，$0.90/千tokens

gpt 4o mini: 82 MMLU，$0.15/千tokens

现在，这张图表右侧的每一个模型都被左侧的对应模型完全超越。

其中一些模型在3个月前还是最先进的（SOTA）。

训练它们所需的FLOPs（浮点运算）的折旧率是多少？训练GPT-4花费了5亿美元，但它的寿命只有大约一年。

智能变得如此便宜，但也过于短暂，以至于无法支持超过5个玩家进行研发？这里有我忽略的角度吗？

我一直在思考的另一个角度是将推理与知识分离。RAG/内存可以轻松插入知识，但无法插入推理。82 MMLU已经足够了。你可以把它提高到90，但在正常使用中不会显著变得更智能，除非在其他指标上有所进步。所以到2025年，我们可能会进化到以下几个方向：

0）上下文利用（RULER）

1）指令跟随（IFEval）

2）函数调用（Gorilla）

3）多步推理（MUSR）

4）编程能力（SciCode）

5）视觉理解（VibeEval？）以应对RAG无法处理的所有问题。

https://x.com/swyx/status/1815037679014388172

NuminaMath 数据集：最大的包含约100万道数学竞赛问题-解决方案对的集合

我们刚刚发布了 ✨NuminaMath 数据集：这是最大的包含约100万道数学竞赛问题-解决方案对的集合，难度从初级挑战到数学奥林匹克预选赛不等。

这些数据集用于赢得AI数学奥林匹克的第一个进步奖，并包括两个子集：

⛓️ 思维链 (CoT)：860k个模板化问题-解决方案对，以增强自然语言中的数学推理

🛠️ 工具整合推理 (TIR)：73k个由GPT-4生成的合成解决方案，通过代码执行反馈将难题分解为可以用Python解决的更简单的子问题

在NuminaMath上训练的模型在开源权重模型中表现最佳，并在数学竞赛基准测试中接近或超过专有模型 🔥

我们的数据集和模型可以在 🤗 Hub 上找到：https://huggingface.co/collections/AI-MO/numinamath-6697df380293bcfdbc1d978c

https://x.com/_lewtun/status/1814958635732140336

Garry Tan：现在的软件市场，推出一个由大型语言模型驱动的替代产品都不算晚

我认为现在进入几乎任何软件市场，推出一个由大型语言模型（LLM）驱动的替代产品都不算晚，如果你有这个意愿。

我们看到只有几人的小团队使用当前最前沿的模型构建出有价值的软件，超越了现有的竞争对手（获得企业销售）。

战争的焦点将是用户留存：谁能更好地服务于你的垂直市场？

https://x.com/garrytan/status/1815057892489511259

产品

Reactor Chat AI

Reactor Chat AI 是一种人工智能聊天解决方案，基于 Google Cloud Platform 和 Lambda 搭建，希望为用户提供准确和有价值的回答，在 MMLU 和 HumanEval 基准测试中超越竞争对手 GPT-4o。

https://reactor.helloarc.ai/

Supermemory——类 Cubox

Supermemory 是一个诞生于黑客松的项目，可以帮助用户组织和利用保存的在线信息，提供快速总结、写作辅助等多种支持，目标是成为用户的“第二大脑”，提高信息管理和使用效率。

https://supermemory.ai/

投融资

Nebius——从Yandex重生为欧洲AI计算领导者

Nebius是一家由前俄罗斯科技巨头Yandex N.V.重组而成的AI基础设施初创公司，计划成为欧洲的AI计算领导者。Nebius目前拥有1300名员工和25亿美元的资本。该公司最近完成了与俄罗斯资产的分离，并获得了25亿美元的现金和股份。Nebius主要竞争对手包括CoreWeave和Flex AI等专注于GPU服务的初创公司。Nebius的战略是依托其在芬兰的数据中心和与Nvidia的合作，计划在未来几年内扩展其欧洲数据中心网络。公司现有25亿美元的资本，未来可能通过公开市场筹集更多资金。

公司官网：https://nebius.group/