摘要:Altman还表示,为了训练其模型,OpenAI和大多数其他大型AI公司一样使用Nvidia的高级H100芯片。零一万物回应争议:研发的大模型基于GPT成熟结构,对模型和训练的理解做了大量工作据《科创板日报》11月14日报道,李开复旗下AI企业零一万物开源大模型被指责完全使用LLaMA的架构,只对两个张量(Tensor)名称进行修改。...
文章转载来源:东寻
摘要:阿里巴巴智能信息事业群正式发布全栈自研、千亿级参数夸克大模型,将应用于通用搜索、医疗健康、教育学习、职场办公等场景。英伟达日前透露,2024 年推出的 Blackwell 架构 B100 GPU,在 GPT-3 175B 推理性能标竿方面击败 A100、H100 及 H200,其 AI 表现性能将是 Hopper 架构 H200 GPU 两倍以上。
图片来源:由无界 AI生成
热点资讯:
英伟达:B100 将于明年推出,AI 表现性能是 H200 两倍以上
据《科创板日报》11 月 14 日报道,英伟达日前透露,2024 年推出的 Blackwell 架构 B100 GPU,在 GPT-3 175B 推理性能标竿方面击败 A100、H100 及 H200,其 AI 表现性能将是 Hopper 架构 H200 GPU 两倍以上。市场预计,英伟达将委托台积电以 3nm 制程代工 Blackwell GPU,英伟达计划将生产时间点提前至 2024 年 Q2。Blackwell GPU 将是英伟达第一款运用 chiplet 设计的 HPC/AI 加速器。
阿里巴巴智能信息事业群发布千亿级参数夸克大模型
据财联社 11 月 14 日报道,阿里巴巴智能信息事业群正式发布全栈自研、千亿级参数夸克大模型,将应用于通用搜索、医疗健康、教育学习、职场办公等场景,夸克 App 亦将借助这一大模型全面升级。
OpenAI CEO:下一代 AI 模型 GPT-5 已在训练中,需要更多数据
据 AI 新智能 11 月 14 日报道,OpenAI CEO Sam Altman 近期在接受 FT 采访时,透露了 OpenAI 更多下一步的规划。Altman 表示,公司正在开发下一代 AI 模型 GPT-5。但他没有承诺发布时间表。Altman 称这将需要更多数据来训练,数据将来自互联网上公开可用的数据集以及公司的专有数据。OpenAI 最近发出了征集大规模数据集的呼吁,特别是那些“今天在互联网上尚未公开轻松获取”的数据集,尤其是长篇写作或任何格式的对话。
Altman 还表示,为了训练其模型,OpenAI 和大多数其他大型 AI 公司一样使用 Nvidia 的高级 H100 芯片。他提到,由于 Nvidia 的芯片供应短缺,今年一直存在“严重的紧张局势”。然而,随着谷歌、微软、AMD 和英特尔等其他公司准备发布竞争对手的 AI 芯片,对 Nvidia 的依赖可能不会持续太久。
此外,尽管 OpenAI 取得了消费者成功,但 Altman 表示,公司寻求向构建人工通用智能方向取得进展。他认为,大型语言模型(LLM),即支撑 ChatGPT 的模型,是“构建 AGI 的核心部分之一,但在其上还会有很多其他部分”。他还强调了语言作为信息压缩的重要性,这是他认为像谷歌 DeepMind 这样的公司忽视的一个因素。
谷歌联合 UC 伯克利推出全新生成式 AI 方法“幂等生成网络”,可单步生成逼真图像
据 IT 之家 11 月 14 日报道,谷歌近日携手加州大学伯克利分校(UC Berkeley),研发出了可取代扩散模型(Diffusion Models)的全新生成式 AI 方法“幂等生成网络(IGN)”。
包括生成对抗网络(GAN)、扩散模型(Diffusion Models)和今年 3 月 OpenAI 发布的一致性模型(Consistency Models)在内,当前主流生成式 AI 模型都是随机噪点、草图或者低分辨率或其他损坏的图像等输入,映射到与给定目标数据分布相对应的输出(通常是自然图像)来生成图像。以扩散模型为例,在训练期间学习目标数据分布,然后通过多个步骤执行“去噪”处理。
谷歌研究团队提出了名为幂等生成网络(IGN)的全新生成模型,从任何形式的输入中生成合适的图像,理想情况下只需一步即可完成。该模型可以想象为一种“全局投影仪”,将任何输入数据投射到目标数据分布上,和现有其它模型算法不同,不会限于特定的输入。
李开复旗下 AI 公司“零一万物”开源 Yi 大模型被指抄袭 LLaMA
据 IT 之家 11 月 14 日消息,创新工场董事长兼 CEO 李开复于今年创办了 AI 大模型创业公司“零一万物”,该公司已推出 Yi-34 B 和 Yi-6 B 两个开源大模型,号称对学术研究完全开放,同步开放免费商用申请。然而在 Yi-34 B 的 Hugging Face 开源主页上,开发者 ehartford 质疑称该模型使用了 Meta LLaMA 的架构,只对两个张量(Tensor)名称进行了修改,分别为 input_layernorm 和 post_attention_layernorm。
此外,网上今日流传着一张原阿里首席 AI 科学家贾扬清的朋友圈,该内容称“某国内大厂新模型 exactly 就是 LLaMA 的架构,但是为了表示不一样,把代码里面的名学从 LLaMA 改成了他们的名字,然后换了几个变量名”。
零一万物回应争议:研发的大模型基于 GPT 成熟结构,对模型和训练的理解做了大量工作
据《科创板日报》11 月 14 日报道,李开复旗下 AI 企业零一万物开源大模型被指责完全使用 LLaMA 的架构,只对两个张量(Tensor)名称进行修改。对此,零一万物表示:GPT 是一个业内公认的成熟架构,Llama 在 GPT 上做了总结。零一万物研发大模型的结构设计基于 GPT 成熟结构,借鉴了行业顶尖水平的公开成果,由于大模型技术发展还在非常初期,与行业主流保持一致的结构,更有利于整体的适配与未来的迭代。同时零一万物团队对模型和训练的理解做了大量工作,也在持续探索模型结构层面本质上的突破。
妙鸭相机产品负责人张月光离职,网红 AI 应用热度降温
据 Tech 星球 11 月 13 日报道,阿里大文娱旗下的妙鸭相机产品负责人张月光已离职,他曾参与支付宝春节“集五福”和“咻一咻”项目的策划,并在字节、阿里等公司工作过。
妙鸭相机是一款在 C 端层面出圈的 AIGC 产品,只要上传 20 张以上包含人脸的照片,再支付 9.9 元,然后选择喜欢的模板和造型后,就能够制作出自己的“数字分身”,从而获得写真作品。妙鸭相机在一段时间内“霸榜”应用产品榜单,但后续排名一路下滑。截至 11 月 13 日,七麦最新数据显示,妙鸭相机 iOS“社交”榜单排名 64 位。目前,市场对于 AIGC 产品如何形成长线需求,已成为了市场层面的难题。
AI 初创公司 Silo AI 面向欧洲推出开源语言模型“Poro”,涵盖欧盟 24 种语言
据 VentureBeat 报道,总部位于芬兰赫尔辛基的人工智能初创公司 Silo AI 本周发布了新开源大型语言模型“Poro”,旨在提升欧洲语言的多语言人工智能能力。Poro 是计划中的首个开源模型,旨在最终涵盖欧盟所有 24 种官方语言。这些模型由 Silo AI 的 SiloGen 生成人工智能部门和图尔库大学的 TurkuNLP 研究小组共同开发。
Poro 34B 模型拥有 342 亿参数,以芬兰语中“驯鹿(reindeer)”一词命名。它是在 21 万亿个 token 多语言数据集的一个分区上进行训练的,这些数据集涵盖英语、芬兰语以及 Python 和 Java 等编程语言。
Silo AI 首席执行官 Peter Sarlin 表示,Poro 的设计目的是解决为欧洲低资源语言(如芬兰语)训练性能卓越的核心挑战。通过利用跨语言训练方法,模型能够利用来自高资源语言(如英语)的数据。
乐天集团与 OpenAI 合作推出 Rakuten AI for Business 平台
AI 新智界讯,11 月 14 日,乐天集团宣布与 OpenAI 达成战略合作,并推出全新人工智能平台 Rakuten AI for Business。据悉,该平台支持多种基本业务功能,包括营销、销售、客户支持、运营、战略规划和工程,目前仅通过邀请提供,计划在 2024 年及以后扩大服务范围。
研究:AI 公司面临训练数据枯竭危机,高质量数据将在 2026 年前耗尽
据站长之家 11 月 14 日报道,澳大利亚麦考瑞大学的信息技术法学教授 Rita Matulionyte 在《对话》杂志的一篇文章中指出,AI 研究人员近一年来一直在敲响数据供应告急的警钟。根据去年 Epoch AI 人工智能预测组织的一项研究,AI 公司可能在 2026 年前耗尽高质量文本训练数据,而低质量文本和图像数据的枯竭时间可能介于 2030 年至 2060 年之间。
对于数据饥渴的 AI 公司来说,使用由 AI 模型生成的合成数据进行训练可能并非可行的解决方案。研究表明,训练 AI 模型使用 AI 生成的内容可能导致模型内在的畸形效应,使输出变得混乱和怪异。面对这一潜在问题,除非出现大规模人类内容农场,否则解决方法可能在于建立数据合作伙伴关系。这意味着拥有丰富高质量数据的公司或机构与 AI 公司达成协议,交换数据以换取资金。
越南科技独角兽企业 VNG 计划推出类似 ChatGPT 的人工智能服务
据日经亚洲 11 月 14 日报道,越南游戏初创公司 VNG 计划推出类似 ChatGPT 的人工智能服务,专为越南语用户量身定制。据悉,这家由腾讯和阿里巴巴旗下蚂蚁金服集团支持的科技独角兽公司已经拥有一款在其本土市场比 Facebook 更受欢迎的聊天应用,且最近又增加了翻译功能。VNG 表示,下一步将增加人工智能生成功能,让用户可以完成从撰写电子邮件到查找查询答案的所有操作。
消息称 OpenAI 正试图以 1000 万美元的薪酬待遇挖走谷歌的人工智能人才
据 IT 之家援引 The Information 报道,OpenAI 正在向谷歌发起人才争夺战,该公司正通过高达数百万美元的薪酬包,以及顶尖的技术资源,如用于运行测试的人工智能加速器芯片,来吸引谷歌的一些最优秀的研究人员。
AIGC荐读:
《最强大模型训练芯片H200发布!141G大内存,AI推理最高提升90%,还兼容H100》
英伟达老黄,带着新一代GPU芯片H200再次炸场。官网毫不客气就直说了,“世界最强GPU,专为AI和超算打造”。听说所有AI公司都抱怨内存不够?这回直接141GB大内存,与H100的80GB相比直接提升76%。作为首款搭载HBM3e内存的GPU,内存带宽也从3.35TB/s提升至4.8TB/s,提升43%。对于AI来说意味着什么?
https://www.aixinzhijie.com/article/6838346
《马斯克的 ChatGPT「Grok」,用起来到底怎么样?》
目前,Grok 还处于早期测试阶段,只对少量美国用户开放测试,想要参与的用户也可以通过 xAI 官网进行申请,但不久的将来,X 平台所有的「高级订阅用户」(X Premium+)都可以使用 Grok。那么与 ChatGPT 等 AI 助手相比,Grok 有什么特别之处?马斯克在 AI 领域又在下什么大棋?
https://www.aixinzhijie.com/article/6838336