大模型日报(12月6日 资讯篇)

我们希望能够搭建一个AI学习社群,让大家能够学习到最前沿的知识,大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区:

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」,即可在飞书每日收到《大模型日报》每日最新推送

学术分析报告:ResearchFlow — 奇绩F23校友的开发的深度研究产品,PC端进入RFlow的分析报告,可直接点击节点右侧的小数字展开节点,登录后可在节点上直接“询问AI”,进一步探索深度信息

如果想和我们空间站日报读者和创作团队有更多交流,欢迎扫码。

大模型日报(12月6日 资讯篇)


资讯

01

DeepThought-8B


Ruliad 最新推出的 DeepThought-8B 是一款小型但极具能力的推理模型,基于 LLaMA-3.1 8B 架构构建。这款模型的发布标志着 AI 推理透明化和可控化的第一步,并展示了较小规模的模型同样可以实现复杂的推理能力,媲美更大规模的模型。
DeepThought-8B 的主要特点是 透明推理,即模型在处理问题时,会将推理过程分解为清晰的步骤并记录每个步骤,用户可以跟踪模型的思考过程,了解它如何得出结论。例如,当模型面对一个问题时,它会首先理解问题的含义,然后一步一步地进行推理,直到得出最终答案。通过这种方式,模型能够展示它是如何推导出每个结果的,这一过程对开发者尤为有用,因为它允许用户了解并指导模型的推理过程,而无需重新训练。
此外,DeepThought-8B 具有 可编程性,用户可以通过 API 引导模型的推理过程,而无需进行复杂的模型训练。该模型也具有 测试时计算扩展 的能力,可以根据需要进行更多的推理步骤,以解决更复杂的问题。尽管它的规模较小(仅 8B 参数),DeepThought-8B 仍能够在普通的消费级 GPU(16GB+ VRAM)上运行,具有较强的推理能力,而不需要高端的企业级硬件。
DeepThought-8B 的输出采用结构化的 JSON 格式,便于与其他系统进行集成,并且在数学推理、编程任务和问题解决方面表现出色。该模型已在一些基准测试中展现了良好的性能,特别是在逐步问题解决和代码编写方面表现尤为突出。
然而,DeepThought-8B 也存在一些局限性,开发团队正在积极改进模型在复杂数学问题、长文本处理和边缘案例中的表现。团队鼓励开发者在自己的实际应用场景中测试该模型,并提供反馈,帮助识别改进的方向。
大模型日报(12月6日 资讯篇)
https://www.ruliad.co/news/introducing-deepthought8b
02

Paligemma:提升文档生成效率的突破性技术

Paligemma 是一个基于深度学习的新型文档生成模型,旨在通过理解文本结构来优化文档生成的过程。该技术由 Hugging Face 提出,并在多项任务中展示了显著优势,特别是在复杂文档和长文本生成领域。
技术亮点:
  1. 理解文档结构与传统的生成模型不同,Paligemma 不仅生成内容,还能理解文档的组织和结构。这使得它在生成长期和多段落文档时,能够保持更高的连贯性和逻辑性。
  2. 多任务能力Paligemma 可以在多个任务之间进行有效转换,适用于从摘要生成到完全文章编写的各种需求。通过专门的训练,它能够处理不同格式的文档生成,如新闻报道、研究论文和博客文章等。
  3. 高效性和准确性该模型的设计不仅考虑了生成速度,还通过优化训练流程,提高了生成内容的准确性。它能够在有限的计算资源下,快速产生高质量的文本。
应用场景: Paligemma 在学术研究、内容创作和商业报告等领域有广泛的应用潜力。通过优化文档的结构化输出,它帮助用户生成符合标准要求的专业文档,减少了编辑和人工修正的工作量。
大模型日报(12月6日 资讯篇)
https://huggingface.co/blog/paligemma
03
元资助

Pleias 1.0模型:以开放数据训练的多语言语言模型

Pleias 1.0模型是一个新的语言模型系列,标志着训练大规模语言模型不再依赖于版权数据。这些模型完全基于开放数据进行训练,符合欧盟AI法案要求,代表着安全性和开放性的全新标准。Pleias 1.0包括三个基础模型,分别是350M、1.2B和3B参数的版本,并且还推出了两个专门为知识检索优化的模型,Pleias-Pico(350M)和Pleias-Nano(1.2B)。这些模型在多语言检索增强生成(RAG)任务中,表现出色,尤其在多语言处理上具有强大的优势。
Pleias 1.0模型支持包括英语、法语、西班牙语、德语、意大利语、荷兰语、拉丁语和葡萄牙语在内的多种语言,且通过定制的分词器和精心策划的多语言数据集,能够实现高效的多语言覆盖。尤其是350M的Pleias-Pico,展现了在其重量级中前所未有的语言多样性。模型的设计注重高效和节能,能够在普通硬件上运行,甚至不需要量化操作。
在数据训练和预处理方面,Pleias 1.0采用了一个全新的开放数据集“Common Corpus”,该数据集仅包含未受版权保护或许可的数据。为了优化数据质量,开发团队创建了多种自定义数据处理工具,包括OCR修正模型,能够大规模修复数字化过程中的错误,如空格问题、词语替换和文本结构修复。此外,还开发了一个专门的管道来处理有害内容,去除对少数群体的有害语言,并且避免过度过滤。
为了增强数据集的多样性,Pleias团队生成了超过300亿个词语的合成数据,并利用从OpenAlex提取的数据集,结合YOLO微调技术,进一步增强了数据的多样性和质量。通过这种方式,训练集得到了有效扩展,支持了RAG(检索增强生成)任务的优化。
在模型训练方面,Pleias 1.0使用了Nanotron和HuggingFace库进行预训练,采用与Llama和GPT-Neox类似的架构,以简化部署和推理。训练过程中的计算资源主要来自Jean Zay超级计算机以及与TractoAI的合作,后者提供了高效的数据存储和计算能力。Pleias团队还特别关注减少碳排放,在训练过程中有效降低了与其他同类模型相比的CO2排放量。
在模型评估方面,Pleias团队开发了专门针对小型语言模型的基准测试,尤其关注RAG任务表现、多语言能力及生成内容的安全性。评估结果表明,Pleias的nano(1.2B)模型在RAG任务中的表现优于Llama 3.2 1.1B和EuroLLM 1.7B等模型,且在语言生成时避免了过多的语言切换,尤其在处理欧洲语言时,表现出色。此外,Pleias模型在有害内容生成方面表现优异,显著低于同类模型的有害生成比例。
https://huggingface.co/blog/Pclanglais/common-models

推特

01
00Arxiver开源:包含 138,830 篇 arXiv 论文的多Markdown格式

OpenAI 的 o1 版本正式推出:提供了更快、更强大的推理模型,在编程、数学和写作方面表现更佳

OpenAI 的 o1 版本现在已在 ChatGPT 中正式推出,不再处于预览阶段。
与预览版相比,有哪些变化?o1 提供了更快、更强大的推理模型,在编程、数学和写作方面表现更佳。
此外,o1 现已支持图片上传功能,可以对视觉内容进行推理,从而提供更详细和实用的回答.

大模型日报(12月6日 资讯篇)

https://x.com/OpenAI/status/1864735515121168695
02 

Answerdot AI Jeremy分享Shell Sage:可以“看到”你的终端历史、命令和错误,和 AI 拥有相同的上下文

作为@answerdotai的研发人员,我专注于通过AI提升生产力。一个经常被提及的主题是“人类+AI”的结合。在我们新的项目ShellSage中,这种结合展现了强大的力量。ShellSage是一款AI终端助手,与您共同学习和教学。🧵
我们都经历过这种场景——盯着终端试图回忆那个晦涩的 tar 命令或 SSH 参数。当然,你可以 Google 或使用 ChatGPT,但这意味着你需要在文档和终端之间切换。于是,我们创建了 ShellSage。这项“魔法”通过 tmux 集成实现。ShellSage 可以“看到”你的终端历史、命令和错误。无需描述你的问题,你和 AI 拥有相同的上下文。这种自然的工作流程让 AI 更容易理解你正在尝试完成的任务 🪄
大模型日报(12月6日 资讯篇)
https://x.com/jeremyphoward/status/1864765518995165209
03

Rowan Cheung采访微软AI CEO Suleyman:Microsoft Copilot Vision 概览,初步反响和使用场景

独家报道:
微软刚刚在 Edge 浏览器中推出了 Copilot Vision——首个能够实时陪伴你浏览互联网的 AI。
我与微软 AI 的 CEO Mustafa Suleyman 进行了深入对话,探讨了它的工作原理、无限记忆功能、AI 伴侣、智能代理等内容。
时间轴:
•        0:00 开场介绍
•        0:58 Microsoft Copilot Vision 概览
•        2:35 初步反响与使用场景
•        4:57 Copilot Vision 的工作原理
•        6:02 教 AI 学会记忆
•        8:13 微软 AI 与 OpenAI 的差异化
•        9:27 对“真正的 AI 伴侣”的追求
•        11:28 与共生智能共存的未来(10 年后展望)
•        14:04 微软如何处理你的数据
•        16:11 何时以及如何体验 Copilot Vision?
•        18:15 掌控你电脑的智能代理 AI
•        20:25 下一步:支持、游戏等领域
•        22:34 准备下一代适应 Copilot
•        25:11 Mustafa 对学生和企业的建议

大模型日报(12月6日 资讯篇)

https://x.com/rowancheung/status/1864716671317086384

04

Torné分享:大规模的 现实到模拟再到现实范式,在 100 多个环境中扩展策略训练,来、突破昂贵远程人类操控限制

机器人学习的根本限制在于数据——通过人类远程操控真实机器人代价高昂!🤖👨💻
我们提出了一种替代方案——通过众包收集家庭视频扫描数据,在模拟环境中实现可扩展的数据收集。在我们的最新研究中,我们探索了如何通过一种大规模的 现实到模拟再到现实(real-to-sim-to-real) 范式,在 100 多个环境中扩展策略训练。
有趣的是,我们发现,随着环境数量的增加,所需的人类努力呈亚线性增长。详细解读见下文线程。

大模型日报(12月6日 资讯篇)

https://x.com/marceltornev/status/1864031664231334229

产品

01

Reflex Cloud 使用纯 Python 构建 Web 应用程序 + 使用单个命令进行部署

Reflex Cloud 是一款功能强大的平台,专为开发者设计,简化了 Web 应用的开发与部署流程。通过纯 Python 构建,无需任何 Javascript,即可开发现代化 Web 应用。部署过程简单高效,仅需一个命令即可完成上线。平台配备了直观的仪表板,便于用户管理应用,支持自定义域名配置,同时提供灵活的内存和 CPU 调整选项,以满足不同应用的性能需求。此外,Reflex Cloud 集成了一键式身份验证、详细的网站分析功能,甚至支持本地托管,确保用户在开发、发布和管理 Web 应用时获得全面的支持和最佳的用户体验。
大模型日报(12月6日 资讯篇)
https://reflex.dev/hosting
02

Google Docs 的 AI 编辑副驾驶

Pointer 是一款嵌入 Google Docs 的智能 AI 副驾驶,为您的文档工作带来前所未有的便利和效率。它能够实时分析和优化您的文本,提供专业级别的编辑建议,帮助您快速提升内容质量。再也无需在 ChatGPT 和文档之间手动复制粘贴,Pointer 直接在您的工作环境中高效运行,同时解决损坏的文本格式问题,让您的文档始终保持整洁美观。通过简单的一键操作,您可以轻松采纳或调整 Pointer 的建议,将繁琐的编辑工作化繁为简。无论是撰写报告、优化提案还是润色文章,Pointer 都能成为您得力的智能助手。
大模型日报(12月6日 资讯篇)
https://www.getpointer.ai

投融资

01

埃隆·马斯克的xAI公司获得60亿美元新融资,加速AI野心

xAI是埃隆·马斯克创办的人工智能公司,近日宣布已成功融资60亿美元。这轮融资的参与者包括Valor Equity Partners、Sequoia Capital、Andreessen Horowitz以及卡塔尔投资局等。根据美国证券交易委员会的文件显示,投资者至少出资77,593美元。此次融资将使xAI的融资总额达到120亿美元,是今年春季筹集的60亿美元的两倍。
xAI成立于2023年,推出了名为Grok的生成性AI模型,该模型目前在X(前Twitter)上提供服务,包括聊天机器人功能。Grok以其“叛逆性”著称,能够回答一些其他AI系统拒绝回答的问题,甚至能在一定范围内使用粗俗语言。
此次融资加速了xAI在AI领域的竞争,尤其是在OpenAI和Anthropic等强劲对手面前。xAI计划利用从X、Tesla和SpaceX等公司收集的数据,进一步提升其AI产品,并与各大企业开展合作。尽管面临来自Tesla股东的反对,xAI的产品和研发仍然取得了显著进展,年收入已达到约1亿美元。
大模型日报(12月6日 资讯篇)
https://techcrunch.com/2024/12/05/elon-musks-xai-lands-billions-in-new-cash-to-fuel-ai-ambitions/
02

Across AI:借助“代理记忆”技术助力企业数据管理

Across AI,成立于2024年,致力于为企业提供一种动态记忆系统,旨在优化复杂的工作流程,特别是销售团队的信息管理。该公司由史蒂文·米赫(Steven Mih)创办,米赫曾是Ahana的联合创始人及CEO,Ahana被IBM收购。米赫在离开IBM后,联合加州大学伯克利分校和斯坦福大学的著名教授成立了Across AI,目标是利用“代理记忆”提升企业数据的利用效率。
Across AI的产品通过连接企业内部外部数据源,创建共享的“代理记忆”,帮助销售团队识别新的销售机会、发现风险,并提出客户问题。这种记忆系统能适应不断变化的工作环境,并根据上下文优先处理关键信息。
投融资信息
Across AI刚刚完成了570万美元的种子轮融资,投资方包括Cota Capital和Village Global(该公司背后有比尔·盖茨、马克·扎克伯格、杰夫·贝索斯等知名投资人)。这笔资金将用于进一步完善其产品,并计划在2025年推出商业版本。
公司官网:https://www.across.ai/

大模型日报(12月6日 资讯篇)

https://techcrunch.com/2024/12/05/after-selling-his-startup-to-ibm-this-founder-wants-to-bring-agentic-memory-to-enterprises/



推荐阅读

— END —

1.   The theory of LLMs|朱泽园ICML演讲整理

2.   「理论与实践」AIPM 张涛:关于Diffusion你应该了解的一切

3.   「奇绩潜空间」吕骋访谈笔记 | AI 硬件的深度思考与对话

快速获得3Blue1Brown教学动画?Archie分享:使用 Manim 引擎和 GPT-4o 将自然语言转换为数学动画

原创文章,作者:LLM Space,如若转载,请注明出处:https://www.agent-universe.cn/2024/12/24356.html

Like (0)
Previous 2024-12-05 21:07
Next 2024-12-06 23:56

相关推荐