
海角小马拉大车妈妈官方版下载
详情介绍
海角小马拉大车妈妈PC端下载是一款模拟经营策略游戏,该版本玩家可以直接通过安卓模拟器在电脑上安装体验。该游戏采用唯美的水墨画风,将中国风元素融入游戏场景,为玩家带来极致的视觉享受,让您沉浸其中,感受w3u7903ejky2ywls之美。在游戏中,玩家将扮演一位祖师,开宗立派,培养一众有趣的弟子,帮助他们渡劫成仙。每位弟子都拥有独特的命格和属性,个性迥异,让您体验到千奇百怪的修仙生活。
与此同时,海角小马拉大车妈妈2025官方最新版本下载还拥有独特的挂机机制,您可以将游戏放置在后台,解放双手,让弟子们自动修炼、渡劫,贴心呵护您的修仙门派。宗门地产建设也是游戏的重要内容,您可以自由摆放,打造属于自己的修仙宗门,创造仙门人的理想家园。从山海异兽到一石一木,处处充满着古韵仙风,让您仿佛置身于修仙小说般的仙境之中。
微软开源“原生1bit”三进制LLM:2B参数,0.4GB内存_单CPU就能跑特色
西风 发自 凹非寺量子位 | 公众号 QbitAI
微软以小搏大,发布首个开源2B参数规模“原生1bit”LLM——
BitNet b1.58 2B4T,单CPU就能跑,性能与同规模全精度开源模型相当。
它采用三进制{-1, 0, 1}存储权重,相较于传统的16位浮点数可大幅降低显存需求。
只需0.4GB内存即可运行。
基于4T token语料训练,BitNet b1.58 2B4T在保持性能的同时,计算效率突出。
单个CPU即可达到“与人类阅读速度”相当的速度,每秒5-7个token,CPU端解码延迟29ms,能耗低至0.028J。
这种效率使其可在普通笔记本电脑甚至边缘设备上实时运行。
例如在苹果M2 CPU上快速运行:
另外值得一提的是,BitNet b1.58 2B4T具有原生训练优势,与训练后量化(PTQ)模型对比,避免了PTQ常见的性能衰减
BitNet b1.58 2B4T刚发布就吸引了大量网友点赞关注,作者们也当起了自己个儿的自来水。
如何实现原生1bit?话不多说,一起来看看技术详情。
权重映射为三元值{-1, 0, +1}
BitNet b1.58 2B4T模型基于Transformer架构,对核心组件进行了系统性改造。传统LLM依赖16bit或32bit浮点数存储权重,而BitNet b1.58 2B4T采用一种称为absmean的量化方案,将权重映射为三元值{-1, 0, +1},平均每个权重仅需1.58bit(log₂3≈1.58)来表示。
模型内存占用骤降至0.4GB,仅为同类全精度模型的1/5-1/12。
另外,线性投影中的激活值被量化为8bit整数,采用基于每token的absmax量化策略,团队还引入subln归一化,增强量化训练稳定性。
其它关键设计包括:
激活函数:前馈网络(FFN)子层采用ReLU²替代常见的SwiGLU,通过提升模型稀疏性,优化了1bit环境下的计算特性。位置编码:使用旋转位置嵌入(RoPE)。偏置消除:与Llama等架构一致,所有线性层和归一化层均移除偏置项,减少参数量并简化量化流程。
训练方面,BitNet b1.58 2B4T采用三阶段训练:大规模预训练监督微调(SFT)和直接偏好优化(DPO)。
先是大规模预训练,模型经历了两阶段学习率调度:得益于1bit模型的训练稳定性,初期采用高学习率快速收敛;中期骤降至低水平,使模型能在高质量数据上精细化调整。配合动态权重衰减策略,模型在保持泛化能力的同时避免过拟合。
监督微调(SFT)阶段,值得注意的是,训练中采用损失函数求和而非平均策略,并延长了训练轮次,这一调整被证明对低精度模型的收敛至关重要。
直接偏好优化(DPO)阶段,基于UltraFeedback、MagPie等人类偏好数据集,模型通过无奖励模型的直接优化,提升了回答的安全性与用户满意度,避免了传统RLHF的高计算成本。
实验效果方面,BitNet b1.58 2B4T内存占用仅为0.4GB,CPU端解码延迟29ms,能耗低至0.028J。
在数学推理任务GSM8K中,BitNet以58.38的准确率远超Llama 3.2-1B(38.21)和Qwen2.5-1.5B(56.79);在常识推理任务WinoGrande中,BitNet 71.90的得分超同类模型均值(63.55)。
团队特别指出,BitNet b1.58 2B4T具有原生训练优势。与训练后量化(PTQ)模型对比,BitNet的原生1bit训练策略避免了PTQ常见的性能衰减。
参数更大的Llama3-8B模型量化至1bit后,也难打BitNet b1.58 2B4T。
和其它1bit模型相比,BitNet b1.58 2B4T也有显著更强的整体性能,绝大多数基准测试中取得SOTA。
有关BitNet b1.58 2B4T的具体表现,再来看几个例子。
让它生成几个笑话,笑话简短但也蛮有意思:
稻草人为何成为成功的神经外科医生?回答是因为它在自己的领域很杰出(outstanding in his field)。
单CPU生成97个token,总耗时3.452秒,每秒处理 28.1 token。
再让它基于2000年的背景,让一位PowerPC处理器爱好者和一位英特尔处理器爱好者进行五行辩论。
BitNet b1.58 2B4T生成结果也很快,并且反映了那个时代科技行业的竞争特性。
微软在1 bit LLM上的探索
1 bit LLM的实现方法,微软其实早在2023年就有相关研究,当时就称为BitNet,用BitLinear替换了nn.Linear
之后,微软原班人马在上一篇论文的基础之上做了优化,提出BitNet b1.58,在原始BitNet的基础上增加了一个额外的0值
也就是“The Era of 1-bit LLMs”这篇论文,用6页研究引发网友广泛关注。
这种方法发布后,也有不少人在这项研究的基础之上进行探索。Huggingface Transformers还曾整合了BitNet b1.58,运用一些技巧,使得现有模型可以直接微调到1.58bit。
接着,微软还开发并开源了针对GPU和CPU平台的专用推理库
BitNet b1.58采用独特量化方案(1.58bit权重和8bit激活值,W1.58A8)需要专门的实现,标准深度学习库通常缺乏针对这种混合精度、低比特格式的优化内核,微软开发了专门针对W1.58A8矩阵乘法的自定义CUDA内核。
另外,微软还开源了bitnet.cpp——一个用于1 bit LLM CPU推理的官方参考C++库,提供针对标准CPU架构优化的内核,旨在高效适配模型的特定量化方案,尽可能避免通用量化库的开销或复杂的底层位操作。
技术报告:https://arxiv.org/abs/2504.12285抱抱脸链接:https://huggingface.co/microsoft/bitnet-b1.58-2B-4T
参考链接:https://arstechnica.com/ai/2025/04/microsoft-researchers-create-super%e2%80%91efficient-ai-that-uses-up-to-96-less-energy/
游戏亮点
1、丰富多彩的修仙玩法
除了培养弟子和建设仙门外,游戏还包含了炼丹、炼器、仙田等多种修仙玩法,让玩家体验到修仙的方方面面。
2、自由建设的仙门地产
玩家可以自由摆放修仙宗门的建筑,打造属于自己的修仙家园,创造仙门人的理想世界。
3、精美细腻的游戏画面
游戏的画面精致细腻,每一个场景都充满了古典美感,让玩家仿佛身临其境,感受到修仙之美。
4、社交互动的乐趣
游戏内置丰富的社交系统,玩家可以与其他玩家组成联盟,共同对抗强敌,体验多人合作的乐趣,增加了游戏的可玩性和趣味性。
游戏评测
1、游戏玩法丰富,内容深度十足,给玩家带来了极佳的游戏体验。2、画面精美,场景设计唯美,让玩家沉浸其中,感受到了修仙世界的奇幻美感。
3、挂机系统的设置贴心实用,解放了玩家的双手,让玩家更轻松地享受游戏乐趣。
4、弟子个性化塑造突出,每个弟子都有自己独特的故事和特点,增加了游戏的趣味性和可玩性。
更新日志
v6.166.935798版本
1.1调整问鼎苍穹席位赛的防守阵容设置规则,现在任何时候都可以调整防守阵容
1.2优化天道树领悟道果时道果数量不足的获取提示,现在会自动打开道果宝箱,方便祖师快捷获取
1.3优化新增仙法问道投资活动的购买提示,现在休赛期购买投资时,如果无法拿满奖励则会有二次确认提示
1.4修复连续炼制同种丹药时,炼制材料的数量显示异常的错误
下载地址
- 电脑版
- /安卓版
- 本地下载通道:
- 仅下载APK文件
同类游戏
网友评论
共0条评论类似游戏
-
女人被拳交高潮狂喷 v6.4.5 休闲益智 / 4.5G
-
成人网18㊙️尤视频版国产下载官方版 模拟经营 / 2.57MB
-
日本无码吃奶揉捏奶视频PC端下载 角色扮演 / 5.64G
-
玖辛奈裸体被❌同人动漫爆乳雏田 v6.9.11 模拟经营 / 1.71MB
-
丰满肥臀大屁股熟女AV电视版下载 角色扮演 / 3.3G
精彩发现
换一换精品推荐
-
美女被吸乳打扑克动漫 v9.3.6 经营养成 / 282.18MB
查看 -
嗯⋯脱我内衣吸我奶小内裤的应用 v2.853.886479 经营养成 / 1.7MB
查看 -
3D蒂法婬乱爆乳H漫画在线 v7.105.509078 经营养成 / 7.92G
查看 -
▓榴莲视频▓无码免费播放 v3.583.452383 经营养成 / 77.24MB
查看 -
Aute♥XXX♥Hentai v6.1.8 经营养成 / 905.4MB
查看