大模型日报(10月24日 资讯篇)

我们希望能够搭建一个AI学习社群,让大家能够学习到最前沿的知识,大家共建一个更好的社区生态。

「奇绩大模型日报」知识库现已登陆飞书官方社区:

https://www.feishu.cn/community/article/wiki?id=7355065047338450972

点击「订阅社区精选」,即可在飞书每日收到《大模型日报》每日最新推送

如果想和我们空间站日报读者和创作团队有更多交流,欢迎扫码。

大模型日报(10月24日 资讯篇)

资讯

01

Andreessen Horowitz推出Oxygen私有GPU集群

Andreessen Horowitz(a16z)推出了一个名为“Oxygen”的私有GPU集群,帮助其投资组合中的AI初创公司解决GPU资源紧缺的问题。Oxygen集群由Nvidia H100 GPU组成,提供给这些初创公司,用于训练或运行AI模型,无需依赖市场上高昂的云计算资源。此举旨在帮助初创公司与谷歌、Meta、微软等大型科技公司竞争,这些大公司能够通过长期合同获取大量GPU资源,而许多初创公司无法承担这样的合同。
该项目由a16z的合伙人Anjney Midha发起,他在接受采访时表示,由于Nvidia H100的供应短缺,初创公司在获取资源时经常被大型云计算客户优先,这让许多AI公司陷入困境。Oxygen集群为这些公司提供了灵活性,使它们能够在需要时获取GPU资源,而无需签订长期的云服务合同或支付巨额费用。
此外,Oxygen不仅帮助初创公司减轻了计算资源上的压力,还为a16z带来了竞争优势,使其能够吸引更多的AI初创企业。通过提供GPU资源,a16z可以在初创公司的业务中获得股份,而不是通过额外的资金投入帮助它们支付云服务费用。
据报道,Oxygen集群可能拥有超过2万个GPU,是目前规模最大的私有GPU集群之一。
a16z联合创始人Marc Andreessen接受Tom Bilyeu Youtube频道专访,公开发表于2024年10月22日。因为篇幅较长,为了便于阅读做了一定删节,原始内容参考:https://www.youtube.com/watch?v=6twxFu3bL0w
文字稿:
https://mp.weixin.qq.com/s/WjgthcZokAqlSO6hfQyCoQ
大模型日报(10月24日 资讯篇)
https://techcrunch.com/2024/10/23/andreessen-horowitz-helps-founders-meet-compute-needs-with-oxygen-private-gpu-cluster/
02

长期政策研究员Miles Brundage离开OpenAI,转向非营利部门

长期担任OpenAI政策研究员的Miles Brundage宣布离职,选择在非营利部门继续其研究工作。他表示,希望在更自由的环境中发表研究成果,以产生更大的影响力。Brundage在2018年加入OpenAI,曾负责政策研究,并专注于ChatGPT等语言生成系统的负责任部署。
Brundage的离职伴随着OpenAI内部架构的调整,其原经济研究部门将划归新的首席经济学家Ronnie Chatterji领导,而AGI准备团队的其余项目将由其他部门接管。OpenAI发言人表示完全支持Brundage的决定,并对其贡献深表感谢。
近期,OpenAI经历了一系列高管离职,包括CTO Mira Murati和首席研究官Bob McGrew等,显示出公司内部在方向上的分歧。
大模型日报(10月24日 资讯篇)
https://techcrunch.com/2024/10/23/longtime-policy-researcher-miles-brundage-leaves-openai/
03

谷歌发布AI生成文本水印技术SynthID Text

谷歌正式发布了SynthID Text,这是一项可以对生成式AI文本进行水印标记和检测的技术。开发者和企业可以通过Hugging Face平台和谷歌的更新版Responsible GenAI Toolkit免费获取这一工具。SynthID Text通过调整生成文本中的token分布,嵌入水印信息,从而在保持文本质量的同时帮助识别AI生成内容。
SynthID Text已集成到谷歌的Gemini模型中,且即使文本被剪裁、改写或修改后,仍能进行检测。然而,该技术在处理较短文本、翻译文本或回答事实性问题时效果较弱。尽管如此,随着全球对AI生成内容的监管力度加大,如中国和加州已经提出强制要求,水印技术可能会在未来被广泛采用。
这一技术有助于减少现有“AI检测器”的误判,尤其是在检测那些语气较为通用的文本时。
Google 宣布开源大模型数字水印技术 SynthID
https://zhuanlan.zhihu.com/p/2797328824
大模型日报(10月24日 资讯篇)
https://techcrunch.com/2024/10/23/google-releases-tech-to-watermark-ai-generated-text/
04

OpenAI发布sCM提升50倍效率

今天凌晨,OpenAI发布了全新的扩散模型方法sCM (Stochastic Consistency Model),实现了显著的技术突破。sCM只需两步即可生成高质量图片、3D模型等,时钟加速达50倍,尤其在高分辨率任务上表现出色。例如,一个15亿参数的模型在单个A100 GPU上,不经过推理优化,仅需0.11秒就能生成内容。这使得sCM比当前最快的Stability AI的SD(四步生成)版本推理效率提升了一倍。
sCM的核心基于一致性模型思路,通过将噪声直接转换为无噪声样本,避免了传统扩散模型的渐进式去噪过程。其引入了连续时间框架,消除了离散时间模型中的误差,模型参数化不再依赖离散的时间步,而是基于时间本身。sCM还通过改进的时间条件、自适应组归一化、新的激活函数以及自适应权重提高了训练稳定性和生成质量。这些技术细节包括时间条件感知、组归一化稳定性、新激活函数的非线性表达能力以及自适应权重对损失函数的动态调整,确保模型在生成过程中做出合理的决策并提高数据生成的精确度。
实验表明,sCM在CIFAR-10、ImageNet 64×64和ImageNet 512×512数据集上均表现出色,特别是在ImageNet 512×512数据集上,模型达到了1.88 FID的优异成绩,且使用算力更少。这表明sCM不仅更高效,还可以在更多场景中推广应用,未来可能在视频生成等领域大幅降低推理负担,并带来实时视频生成等新应用。该论文由两位华人提出,已公开发布。
大模型日报(10月24日 资讯篇)
https://mp.weixin.qq.com/s/dI9mSCDbGzZIkjol_CT6Cg
05

Q3大模型中标项目超360个

2024年第三季度,大模型相关中标项目数量快速增长,达到了369个,远超上半年276个项目。大模型正在各行业加速落地,尤其是在核心业务场景、人才培训和端到端产品等领域取得进展。9月中标项目数创新高,达154个,环比增长40%。
项目采购的地区主要集中在北京、广东、上海等一线城市,行业分布上,能源、教育、政务和金融等领域尤为活跃。特别是能源行业,南方电网完成了至少20个大模型相关项目,其中三个项目中标金额超千万元。
中标项目金额呈现两极分化趋势,大额项目逐渐增多,千万元以上项目达21个,其中2个过亿元。项目应用场景更加细分,涵盖医疗、农业、司法等领域,但仍缺乏爆款应用。硬件采购仍是重点,占约20%的项目,软硬件一体化成为趋势,推动大模型的高效落地。
此外,人才缺口明显,企业加大人才培养投入,人才培训项目明显增多。第三季度的中标项目显示,企业通过合作科研机构和内部培训,努力解决大模型落地中的人才不足问题。数据问题也逐步被重视,相关项目显著增多,涵盖数据采集、治理和标注等方面。
领军企业如百度、科大讯飞、智谱AI等在不同领域表现突出,项目涵盖核心业务场景、前瞻技术研究和软硬一体化方案,显示大模型的应用前景广阔。
大模型日报(10月24日 资讯篇)
https://mp.weixin.qq.com/s/dI9mSCDbGzZIkjol_CT6Cg

推特

01
00Arxiver开源:包含 138,830 篇 arXiv 论文的多Markdown格式

ElevenLabs推出语音设计:仅通过文本提示生成独特的语音

ElevenLabs推出语音设计:仅通过文本提示生成独特的语音

我们的库中缺少您需要的语音吗?自己提示生成。

大模型日报(10月24日 资讯篇)

https://x.com/elevenlabsio/status/1849083718838657186
02

五种嵌入类型介绍:稠密嵌入,量化嵌入,二进制嵌入,可变维度嵌入,多向量嵌入

对不同的嵌入类型感到困惑?
你并不孤单。
嵌入类型的种类繁多,可能让人感到不知所措,因此这里是五种嵌入类型的快速概览,适用于你的AI应用:
•  稠密嵌入:标准形式,通过长序列的数字来表示意义。https://weaviate.io/developers/weaviate/search/similarity
•  量化嵌入:以较低的精度(如int8)存储稠密嵌入,在不丢失过多信息的前提下节省空间。https://weaviate.io/developers/weaviate/concepts/vector-quantization
•  二进制嵌入:将负值存储为0,非负值存储为1,高效保留核心数据。https://weaviate.io/developers/weaviate/concepts/vector-quantization#binary-quantization
•  可变维度嵌入:类似“套娃嵌入”,根据需求调整向量大小。有时,较大的并不一定是更好的!https://weaviate.io/blog/openais-matryoshka-embeddings-in-weaviate
•  多向量嵌入:超越单一序列,编码不同部分输入。例如ColBERT,它为每个token存储嵌入。https://github.com/weaviate/recipes/blob/main/weaviate-features/named-vectors/NamedVectors-ColPali-POC.ipynb
查看嵌入类型的知识卡片:https://weaviate.io/learn/knowledgecards/variable-dimensions

大模型日报(10月24日 资讯篇)

https://x.com/femke_plantinga/status/1849099350770585691
03

agent.exe开源:让Claude 3.5 Sonnet 来控制你的电脑

刚刚发布了 agent.exe,一款免费的开源应用,支持Mac/Windows/Linux系统,能让你使用 Claude 3.5 Sonnet 来控制你的电脑!
这是一个有趣的小项目,用来探索API并看看这个模型能做些什么。控制电脑真的很酷——我预计2025年将是智能代理的时代。
大模型日报(10月24日 资讯篇)
https://x.com/corbtt/status/1849124800838713844
04

实用多AI代理与crewAI高级用例:在实际应用中构建和部署高级基于代理的系统

新短期课程:实用多AI代理与crewAI高级用例。学习在实际应用中构建和部署高级基于代理的系统,该课程由@crewAIInc创建,并由其创始人@joaomdmoura讲授!(披露:我对CrewAI进行了小额种子投资。)
在本课程中,您将学习如何创建使用外部工具的高级代理应用程序,进行性能测试,使用人类反馈进行训练,并使用不同的大型语言模型执行多项任务。
您将构建多个提供实际商业价值的代理应用程序,如自动化项目规划系统、线索评分与参与管道、客户支持数据分析,以及一个强大的内容创作系统。
具体来说,您将学习如何:
•  使用任务、代理和团队的构建模块创建这些多代理系统,并了解使它们工作的一些要素,如缓存、记忆和防护机制。
•  将您的多代理应用程序与内部和外部系统集成。
•  在复杂的设置中连接多个代理,包括并行、顺序和混合配置,并创建多个代理应用程序协同工作的流程。
•  测试您的代理工作流,并使用人类反馈进行训练,以优化其性能,实现更好和更一致的结果。
•  在多代理系统中使用多个LLM,选择合适的模型大小和提供者来满足每个代理的具体任务。
•  从零开始在您的环境中启动项目,并为部署做好准备。
您还将从João与普华永道(PwC)商业生成AI负责人Jacob Wilson的访谈中学习,他们将讨论如何在实际行业用例中部署代理工作流。
完成本课程后,您将具备为工作构建定制多代理系统的能力。

大模型日报(10月24日 资讯篇)

https://x.com/AndrewYNg/status/1849112129904738656
05

为什么语言模型认为9.11 > 9.9?一个出乎意料的简单解释

为什么语言模型认为9.11 > 9.9?
在@transluceAI,我们偶然发现了一个出乎意料的简单解释——以及一个不需要重新训练或提示的修复方案。
结果与月份、日期、9月11日,甚至…《圣经》有关?

大模型日报(10月24日 资讯篇)

https://x.com/mengk20/status/1849213929924513905

产品

01

RapidSubs

RapidSubs 是一款 AI 驱动的字幕生成应用,支持99种语言,允许用户自定义字幕样式,适用于 TikTok 和 YouTube 等平台。它提供简单易用的界面,无需注册即可免费使用,提升视频的参与度和可访问性。
大模型日报(10月24日 资讯篇)
https://apps.apple.com/us/app/rapidsubs-captions-subtitles/id6695720834?ref=producthunt&at=1000l6eA

投融资

01

Granola再获2000万美元A轮融资

Granola是一款备受风险投资人欢迎的AI会议笔记应用,能够记录会议并通过AI技术增强笔记内容。Granola在最新的A轮融资中成功获得2000万美元,此轮融资由Spark Capital领投,其他参与的投资者包括Nat Friedman、Daniel Gross、Lightspeed、Betaworks和Firstminute Capital等。Granola团队仅在一周内完成了融资,该应用的独特卖点吸引了众多投资者的兴趣。
Granola自2023年5月推出以来,用户数量增长了5倍,目前每周大约有5000人使用这款应用。虽然最初风险投资人是主要用户,但如今超过57%的用户是非投资人,Granola逐渐成为各类领导者和团队的首选工具。
Granola的工作方式是通过连接日历和视频会议工具(如Zoom、Google Meet等)来记录会议音频,并使用AI自动整理会议笔记。与其他AI会议总结工具不同,Granola允许用户在会议中主动写下要点,AI则会根据用户输入自动补充和完善笔记。
随着A轮融资的到位,Granola计划扩展其工程团队,并为企业用户开发新功能,包括客户关系管理(CRM)集成、图像支持以及会议历史记录功能。此外,Granola还计划在明年推出移动应用,以进一步扩展其市场。
大模型日报(10月24日 资讯篇)
https://techcrunch.com/2024/10/23/vcs-love-using-the-ai-meeting-notepad-granola-so-they-gave-it-20m/
02

Fixify通过自动化和人类分析师解决IT问题,再获2500万美元融资

Fixify是一家专注于IT帮助平台的初创公司,结合了自动化技术和内部分析师团队来解决企业的IT问题。公司近日完成了2500万美元的A轮融资,由Costanoa Ventures、Decibel Partners和Paladin Capital Group共同领投,Scale Venture Partners也参与了此次融资。Paladin的董事总经理Mourad Yesayan将加入Fixify的董事会。此轮融资为Fixify未来的发展提供了充足的资金保障,公司预计将利用这些资金度过经济低迷期并迎接未来的市场复苏。
Fixify成立于2023年,总部位于弗吉尼亚州阿灵顿,目前已累计融资3200万美元。公司计划在短期内扩大现有的41人团队,并扩展客户群,现有客户已包括15家公司。Fixify的创新之处在于其通过自动化技术整合现有IT票务系统(如Jira和ServiceNow),自动分类和识别问题热点,并由其雇佣的IT分析师来诊断和解决问题。这一模式不仅提高了生产力,还降低了运营成本,吸引了众多投资者的关注。
Fixify的核心目标是为员工在100至2000人的技术导向型公司提供高质量的IT服务体验,而无需公司投资大量的人力和技术堆栈。
公司官网:https://www.fixify.com/
大模型日报(10月24日 资讯篇)
https://techcrunch.com/2024/10/23/fixify-blends-automation-and-human-analysts-to-tackle-it-problems/
03

Sensei再获1600万美元融资,扩展欧洲无接触商店平台

葡萄牙初创公司Sensei在欧洲无接触商店领域取得了显著进展,并在最新的A轮融资中筹集了1500万欧元(约合1600万美元)。此次融资由BlueCrow Capital领投,新投资者包括Lince Capital、Explorer Investments和Kamay Ventures(背后支持者为可口可乐和Arcor Group),以及现有投资者Metro AG和Techstars Ventures。此前,Sensei于2021年完成了一轮650万美元(540万欧元)的种子轮融资,由Seaya Ventures和Iberis Capital领投。
Sensei的技术通过计算机视觉和AI传感器,自动更新顾客购物车中的商品信息,并在结账时显示所有商品列表,方便顾客支付。公司计划到2026年在欧洲中部和北部扩展其业务,并在多个国家建立1000个全自动销售点。
竞争激烈的无接触商店领域还有其他初创公司,如Standard Cognition、Trigo、Grabango、AiFi和Zippin,它们也获得了大规模融资。
公司官网:https://www.sensei.tech/
大模型日报(10月24日 资讯篇)
https://techcrunch.com/2024/10/22/contactles-stores-to-grow-in-europe-as-sensei-reels-in-another-16m/

推荐阅读

— END —

1.   The theory of LLMs|朱泽园ICML演讲整理

2.   「理论与实践」AIPM 张涛:关于Diffusion你应该了解的一切

3.   「奇绩潜空间」吕骋访谈笔记 | AI 硬件的深度思考与对话

原创文章,作者:LLM Space,如若转载,请注明出处:https://www.agent-universe.cn/2024/10/21637.html

Like (0)
Previous 2024-10-24 11:48
Next 2024-10-25 14:17

相关推荐