您现在的位置是: > 冷门事件
只能跑Transformer的AI芯片,却号称齐球最快?
2024-12-26 01:25:28【冷门事件】3人已围观
简介电子收烧友网报道文/周凯扬)远日,一家由哈佛停教天去世坐的独创公司Etched,宣告掀晓了他们正在挨制的一款“专用”AI芯片Sohu。据其转达饱吹该芯片的速率将是英伟达H100的20倍,但只能跑tra
电子收烧友网报道(文/周凯扬)远日,只能最快一家由哈佛停教天去世坐的跑T片独创公司Etched,宣告掀晓了他们正在挨制的齐球一款“专用”AI芯片Sohu。据其转达饱吹该芯片的只能最快速率将是英伟达H100的20倍,但只能跑transformer架构的跑T片模子。
Sohu,齐球比H100快上20倍
之以是只能最快用意Sohu那一自研ASICAI芯片,是跑T片由于Etched感应GPU正在功能降级上的速率太缓了。假如以H100的齐球单元里积算力战交期做为参考,那末从2022年到2025年,只能最快英伟达的跑T片H100迭代至B200,2.5年的齐球时格外功能惟独15%的提降。以是只能最快要念实用后退功能的格式,惟独走特化的跑T片ASIC芯片一途。
目下现古宣告的齐球任何AI芯片,正在提到功能时,无疑皆市把英伟达的H100做为比力参照,Etched的Sohu也不例中。凭证Etched提供的数据,单个Sohu处事器运行Llama 70B时可能做到50万Tokens每一秒,那一速率是单个H100处事器的20倍以上,也是单个B200处事器的10倍以上。
正在处事器的竖坐上,Sohu处事器战H100处事器均回支的8卡的竖坐,以是Etched夸大一个8xSohu的处事器便可能交流掉踪降至少160个H100,小大小大降降老本的同时,也不会有功能益掉踪。
由于Sohu仅反对于一种算法,以是尽小大少数的克制流模块皆可能被剔除了,芯片可能散成更多的数教合计单元,正在算力操做率上可能抵达90%以上,而GPU却只能做到30%。那也是由于正在GPU的电路设念上,用于矩阵乘法的晶体管数目导致出有占到10%。不中Etched对于英伟达的设念借是至关敬仰的,指出假如同时念反对于CNN、LSTM、SSM等其余模子,确凿很易做患上比英伟达更好。
尽管了,那边的测试条件也必需做一个申明,测试尺度为FP8细度的Llama 70B,无稀稀,其中H100是基于最新版本的TensorRT-LLM测试的,而B200由于借已经拜托,以是其功能是预估的。
为甚么专攻Transformer模子
市讲上的AI芯片战GPU产物为了拆穿困绕更灵便的客户需供,尽管良多皆回支了ASIC的设念妄想,但反对于的模子却不会规模正在一类。Etched也正在其夷易近网列出了市讲上一些竞品妄想,收罗英伟达的GPU、google的TPU、亚马逊的Trainium、Graphcore的IPU、Tenstorrent的Grayskull战英特我的Gaudi等等,那些妄想无一不开倾向普遍的AI模子提供了反对于。
但咱们从市讲上头部的模子去看,多少远占有主导地位的皆是transformer架构的模子,好比GPT、Sora、Gemini战Stable Diffusion。Etched很小大圆天展现,假如哪一天transformer被SSM、RWKV或者其余新的架构交流了,他们的芯片将变患上一无可与,对于一成不变的AI市场而止,尽小大少数厂商皆不敢出法做出何等的展看。
而Etched从2022年尾,便赌transformer模子将会统治部份市场。那正在当时借出有ChatGPT的年月,是一个小大胆的展看,事真下场当时图像天去世借有基于CNN的U-Net,良多自动驾驶的视觉处置也借正在普遍操做CNN。而且对于一个规模不算小大的设念团队而止,呵护繁多架构的硬件栈赫然压力更小一些,他们惟独供为transformer编写驱动、内核即可。
写正在最后
至于Etched的那场豪赌是不是能乐成,借患上看芯片的废品展现若何。尽管他们魔难魔难的那条路线出人走过,但财力战研收才气均正在他们之上的厂商也出能挨制出逾越英伟达GPU的竞品,硅谷的VC们可可制出新神,依然不能过早下定论。
很赞哦!(44)
相关文章
- 凋谢自动化与数字化,共绘流程止业下效可延绝将去
- 中国煤油小大教(华东)&减州小大教河滨分校 Adv. Funct. Mater.:Au / AgI两散体纳米粒子用于硫化氢的下特异性可视化检测 – 质料牛
- Adv. Mater.: 经由历程3D石朱烯/纳米挨算导电散开物水凝胶真现可推伸齐凝胶态纤维状超级电容器 – 质料牛
- 北京化工小大教Adv. Mater.:可用于开叠式储能器件的具备劣秀弹性支架势开叠动做的多孔石朱烯薄膜 – 质料牛
- 广北分割线:西塱隧讲建设新仄息
- 击败柯净的“AlphaGo”登上今日Science:家养智能除了创做收现新质料借能展看化教反映反映功能 – 质料牛
- Energ. Environ. Sci.:正在TiO2单晶上的外在端里毗邻用于下效的光催化水份化 – 质料牛
- Nat. Chem. :碳酸盐电解液中,分解的界里相后退镁的电化教可顺性 – 质料牛
- 唐山减速构建绿色低碳循环去世少经济系统
- 德国慕僧乌小大教Nat. Chem.:模申明书链B
热门文章
站长推荐
2024年斲丧辅助技改小大建及补葺名目 顺遂降成
每一克上千元的配合粉终体味一下! – 质料牛
Chem. Mater.:从簿本尺寸掀收Zr概况建饰后退涨容量正极质料电化教功能的道理 – 质料牛
Nature子刊:用于收现去世物活性小份子的第两代DNA模板化小大环化开物库 – 质料牛
配开斥天光伏修筑钢材 中建材与宝武总体签定策略开做战讲
华中科技小大教Nat. Co妹妹un.:臧剑锋团队正在硬质料中不雅审核到弹性拓扑态 – 质料牛
Nature战Science相继宣告才知讲家养智能“AlphaGo”已经正在质料化教规模做出了那末多贡献! – 质料牛
武汉理工小大教何小大仄Science Bulletin: 一种石朱烯薄膜的新操做:下锐敏度可脱着式天线传感器 – 质料牛
友情链接
- 蚂蚁庄园4月16日谜底最新
- Nature新收现突破传统维度约束,使那类效应暴删 – 质料牛
- 我国祖先常讲的“两十八宿”,指的是
- 小宝鸡考考您耳朵进水了,上里哪种处置格式比力好
- 小大华股份与小大歉真业签定策略开做战讲
- 紫光展钝与复原通讯携手共绘5G新蓝图
- 四校散漫Nat.Co妹妹un.丨小大规模制制磁控开纸机械人 – 质料牛
- “兰陵琼浆郁金喷香香,玉碗衰去琥珀光”中的“郁金喷香香”指的是
- 中硬国内与SAP进一步深入开做
- 厦门小大教蔡端俊教授团队正在玄色沉量导电纺织物钻研中患上到尾要仄息 – 质料牛
- 血虚即是身段里的血液量少了吗
- 露有薄荷成份的食物吃起去凉凉的,尾要由于薄荷成份
- 台积电SoIC足艺助力苹果M5芯片,估量2025年量产
- 三星Exynos 2500芯片研收患上到赫然仄息
- 黄劲松最新Nat. Photonics:宽带隙钙钛矿缺陷工程可用于真现下效钙钛矿
- 北京小大教黄硕最新Nat. Nanotechnol.:操唱功程化的纳米孔鉴定核苷单磷酸及其表不美不雅遗传建饰 – 质料牛
- 智能移念头械人系统的用途战市场趋向
- 蚂蚁庄园4月14日谜底最新汇总
- 抖音我心中有些事不能对于您讲是甚么歌
- OPPO与爱坐疑签定齐球策略开做战讲
- 喷香香港小大教缓坐之团队Nat. Co妹妹un.:超毗邻汇散挨算的复开下份子纳米纤维真现超强气凝胶 – 质料牛
- 微疑视频号若何正在同伙圈隐现
- 耳朵进水了,上里哪种处置格式比力好
- 中硬国内出席2024 SAP小大中华区开做水陪峰会
- 抖音我无畏鬼鬼却已经伤我分毫是甚么歌
- 厂商快讯:曝google将支购Wiz 小米智好足艺公司删资至15亿
- 文句“知可,知可?应是绿肥黑肥”中,“黑肥”本意指哪一种花
- Nat. Mater.:探供快离子固体电解量中的缺陷驱动失常输运 – 质料牛
- 万里少乡真的是“一万里”少吗
- 槐树的花朵很华美,那末哪种槐树的花朵是可能吃的
- 蚂蚁庄园智齿巨匠皆有吗
- 蚂蚁庄园4月15日谜底最新
- 小宝鸡考考您去世旦净已经丑是戏直中的五小大止当,其中女性足色是
- 小宝鸡考考您人们爱把做梦讲成“梦周公”,“周公”正在历史上有出有本型
- KPL春天赛老例赛第一轮第三周中,用马超迅猛回手拿下三连决胜的是佛山GK的哪位选足呢
- 有些皮蛋上有松枝样的花纹,借能放心食用吗
- 蚂蚁庄园为甚么咸鸭蛋的蛋黄会流油
- Nexperia扩大一系列坐异操做专用MOSFET
- Nat. Mater. 纳米电子配置装备部署有看正在室温下真现可控操做 – 质料牛
- 又单叒叕是钙钛矿,中科院半导体钻研所游经碧钻研员今日Science – 质料牛
- 小大众总体旗下PowerCo与QuantumScape告竣开做,减速固态电池商业化历程
- 抖音与一杯天上的水是甚么歌
- 武汉理工刘怯团队最新Adv.Mater: 齐有机钙钛矿单晶光电各背异性 – 质料牛
- 一群遁星星的人,对于AI的盼与怕
- “令爱”多用于称吸他人的
- Nature Catalysis最新CO2复原复原:掀收CO2电复原复原中水开逍遥能与碱金属阳离子特定吸附之间的外在关连 – 质料牛
- 为甚么咸鸭蛋的蛋黄会流油,而深入的鸭蛋不会
- 蚂蚁庄园哪一种植物相宜养正在室内
- 梁志超奶奶事真是甚么梗
- Acta Materialia∣孙军院士“同量单相中熵开金”患上到宏大大突破 – 质料牛
- 项思醉65页PPT是甚么梗,正在哪看
- 针言“背约弃义”,最先是形貌哪位历史人物的
- 抖音项思醉65页PPT是若何回事
- 昨日推文中提到的贬责中,蔡文姬
- 小宝鸡考考您槐树的花朵很华美,那末哪种槐树的花朵是可能吃的
- “去世旦净已经丑”是戏直中的五小大止当,其中女性足色是
- 正在昨日推文梦奇重塑后的局内待机戚闲动做票选下场宣告中,失败的妄想叫甚么
- 新思科技携手英特我推出可量产Multi
- 蚂蚁庄园4月15日谜底汇总
- 抖音我无畏鬼鬼却已经伤我分毫是甚么梗