Stanford CS336 上，Tatsu 讲了一节 LLM 架构课，把过去 3 年所有主流 LLM 拆开，看它们的共通模板结论挺爆：90% 的架构选择已经收敛，你随便挑一个开源大模型，它跟其他模型在这些维度上几乎一模一样讲师的原话- 2024 年大家都在 cosplay Llama2- 2025 年的主题是「怎么训得不崩」- 2026 年的主题是「怎么扛住长上下文」下面是 2026 年开源 LLM 的标准模板 你训自己的模型可以直接抄【架构层 已经收敛的 7 件事】1）Layer Norm 挪出残差流（pre-norm）原版 Transformer 把 LN 放在残差里 几乎所有现代模型都挪到外面原因：keep your residual stream clean 梯度反传更稳2）RMS Norm 替代 LayerNormLayerNorm 的减均值 + 加 bias 那部分实际没怎么帮上忙丢掉之后 flops 只省 0.17% 但运行时省到 25%（瓶颈在数据搬运 计算反而次要）3）所有 bias 项全删跟 RMS Norm 一个道理 系统层省内存搬运4）激活函数用 SwiGLU
1:29:02
Stanford CS336 上，Tatsu 讲了一节 LLM 架构课，把过去 3 年所有主流 L…
523.9K views2 weeks ago
x.comJason Zhu
全球现任领导人执政时间排行榜_腾讯新闻
全球现任领导人执政时间排行榜_腾讯新闻
May 16, 2025
qq.com
超长视频10个小时
超长视频10个小时
63.7K viewsMay 3, 2021
bilibili我来看你来啦
男生平均时长会有多久？
0:33
男生平均时长会有多久？
32.8K viewsNov 24, 2024
bilibili对着虚拟说话
地球へ（二部合唱）
3:56
地球へ（二部合唱）
77K viewsDec 21, 2021
YouTubeRelease - Topic
历史上领土面积最大的8个国家
1:22
历史上领土面积最大的8个国家
307.8K viewsJul 8, 2022
bilibili大大的德国球
各国男生平均时长排行
0:53
各国男生平均时长排行
10.7K views9 months ago
bilibili多巴胺在做怪
2:14
两分钟找到阴蒂【两性科普】
335.8K viewsMar 26, 2024
bilibili静静的医学知识
2:00
地球上谁是最大的恐龙
348.4K viewsDec 31, 2022
bilibili看见背后科普
1:10
世界各国工作时长排名
20.3K viewsJun 21, 2022
bilibili关爱李奶奶
4:55
肌肉男脱的只剩内裤惹 hot guys in 2019
98.5K viewsOct 17, 2019
bilibili色之古
0:38
男生平均时长会有多久？
18K viewsMar 15, 2024
bilibili不加糖zeroo
0:40
男生的平均时长是多久？
16K viewsJul 15, 2024
bilibili鱼鱼数据氮
0:31
男性时长3个档次，你达标了吗
88 viewsJan 26, 2025
bilibili男科李亚琦主任
0:30
男生的平均时长，来看看你达标了没？
273 viewsMay 8, 2024
bilibili账号已注销
世界各国男性平均时长，看看你达标了吗？快艾特你的对象嘿嘿😁#冷知识 …
Nov 27, 2022
douyin.com
中国男性平均时长是多少那#男性 #健康 #科普 #涨知识
Mar 11, 2023
douyin.com
1:08
各国男生平均时长排行，哪里最长？
606 viewsJul 2, 2024
bilibili清野田Fit
1:44
各国年均工作时长排名，中国确实够勤劳
1.5K viewsFeb 15, 2021
bilibili飞猪流Data
0:09
带你认识男性生殖系统
59.6K viewsDec 16, 2022
bilibili男科医生琚杰昌
5:57
【女生勿入】裸体进医院？男生割包皮是种什么体验？！
1.2M viewsJun 27, 2021
bilibiliJimmy就是吉米
男性阴茎多大才算正常？
526.8K viewsFeb 19, 2023
bilibili生殖男科曲晓伟
2:09
中国各朝皇帝寿命排行
315K viewsNov 21, 2020
bilibili比众不同
1:13
不同国家男性的平均时长排行，你拖后腿了吗？
52K viewsMar 8, 2024
bilibili账号已注销
男生进来都再长5公分，各省男性平均身高排行
228.1K viewsJun 30, 2022
bilibili闲扯地图
2:09
全屏游戏切屏会黑一下、截图是黑屏解决方法
95.9K viewsDec 23, 2023
bilibili渔悦不愉悦
2:22
原来男性平均时间这么短，你达到平均水平了吗？不许吹牛！
551.4K viewsJan 11, 2022
bilibili派克曾
3:11
亚洲卷王，加班盛行？世界各地区人均年工作时长统计
10K viewsJun 12, 2022
bilibili秦淮登高
1:28
男性丁丁最长世界记录：34cm VS 48cm
40.3K views10 months ago
bilibili爱丁曼持久力训练
4:12
TOP100 全球高速公路里程长度排名（2021）
6.6K viewsApr 20, 2021
bilibiliMozaData
See more videos
Static thumbnail place holder