趋境科技发布极致性价比方案，消费级显卡搞定千亿模型定制
创始人
2025-11-20 23:11:05
0次
以前要微调那种超大型的AI模型，动辄得花上几百万，这价格让学校、小实验室、初创公司和个人开发者们根本玩不起。但现在不一样了，AI基础设施企业趋境科技的KTransformers技术和LLaMA-Factory工具强强联合，找到了一个省钱又省力的好办法。
简单来说，这个新方案能让你用很少的GPU资源，就像给大模型做一次轻量的“专项培训”。实际测试中，它只需要大约41GB的显存和2T的内存，速度还能达到每秒处理46.55个token。对开发者来说操作也很简单：只要安装好KTransformers和LLaMA-Factory，配置一个文件然后运行，微调任务就开始了。最关键的是，这是目前在消费级显卡上实现微调超大参数MoE模型的唯一可行方案。
在性能对比测试中，KTransformers微调方案优势显著。在较小规模的MoE模型（DeepSeek-14B）测试中，其吞吐速度超过传统方案1.8倍，显存占用较传统方案降低 82%。传统方案多依赖H100等高端 GPU，而KTransformers可支持4090级消费级显卡，大幅降低了硬件门槛。
相关内容
热门资讯
迈得医疗（688310）披露拟...
截至2025年11月20日收盘，迈得医疗（688310）报收于15.94元，较前一交易日下跌0.13...
肯特催化（603120）披露使...
截至2025年11月20日收盘，肯特催化（603120）报收于40.63元，较前一交易日上涨0.64...
鼎佳精密（920005）披露使...
截至2025年11月20日收盘，鼎佳精密（920005）报收于44.67元，较前一交易日上涨1.02...
华利集团（300979）披露部...
截至2025年11月20日收盘，华利集团（300979）报收于58.82元，较前一交易日上涨0.03...
原创 特...
11月20日，特朗普的“28点和平计划”越来越离谱了，其内容全部是按照俄罗斯的条件来执行的，还要求乌...
山西大同师范高等专科学校教师燕...
新黄河客户端获悉，近日，从第十届世界传统武术锦标赛赛场传来喜讯，大同师范高等专科学校教师燕军在比赛中...
知名品牌将全面撤柜？曾遍布上海...
黛安芬（Triumph） 这个品牌 相信女性朋友都很熟悉 上海的综合型百货商场里 几乎都有柜台 甚至...
趋境科技发布极致性价比方案，消...
以前要微调那种超大型的AI模型，动辄得花上几百万，这价格让学校、小实验室、初创公司和个人开发者们根本...
内蒙古自治区9个劳务品牌亮相全...
内蒙古日报南宁11月19日电 （记者 梅刚）11月18日，为期两天的第三届全国劳务协作暨劳务品牌发展...
【法治周末】沙洋检察打造“检护...
△△△ 2025年11月20日《法治周末》 第08版：中国之治 沙洋检察打造 “检护两江益水城”公益...