MarTech Hub 02|“大模型+”应用落地时,大模型微调如何兼顾效果、成本和可控性?
11:10 AM
share
10月17日,老牌科技巨头百度“文心大模型4.0”的发布,让原本暗潮汹涌的百模大战再次白热化。伴随着越来越多基础大模型迭代速度的日益加快,“大模型+”的应用拐点正在到来。纵观全球市场,预计到2030年,AIGC市场规模将超过万亿人民币,巨大的市场潜力,吸引了各领域科技巨头的纷纷布局。
但对于绝大多数企业来说,真正的机会并不是从头开始做ChatGPT这样的基础大模型,而是基于通用大语言模型,进行针对性的再训练、微调、评估和部署,从而开发出适合自身业务场景的应用。然而,企业应该如何汇集底层数据资源、选择符合企业自身的模型基座,进行模型微调呢?
本期MarTech Hub,我们将以易点天下企业内部已全面应用的“AI客服”为例,看大模型微调如何兼顾效果、成本和可控性?
众所周知,伴随着人工智能技术的飞速发展,AIGC对内容领域的渗透首当其冲,在开辟新的营销场景与营销模式上更是有着极大的想象空间。结合易点天下最新实践发现,AIGC在营销领域落地的最佳场景在于两个核心方面:一是内容生产,二是智能问答。
在内容生产方面,易点天下已于今年7月正式发布了首个AIGC数字营销创作平台KreadoAI,为营销领域全链路的降本提质增效,注入新的活力与动能;而在智能问答方面,易点天下在实现“AI客服”内部全面应用化的同时,也在大模型微调方面探索出一条具有参考性的路径。
易点天下高级技术总监Infi He介绍到:“作为AI时代的一项基础设施,大模型的诞生,为AI原生应用提供了前所未有的机遇,也为我们的技术团队提出了更高要求,用好大模型至关重要,尤其是在一些特定AI应用开发场景下,相较于模型预训练的高成本和长周期,大模型微调可以在成本可控的前提下,快速实现预期效果。”
Key Takeaways 01 高质量数据对大模型微调的效果至关重要
大模型微调,高质量的数据是重中之重。如果没有高质量的数据,在成本有限的前提下,做大模型的SFT监督微调,尤其是对话类任务,并不是一件性价比很高的事情;即使是目前较为流行的LoRA和P-tuning v2等微调方法,在数据有限的前提下,或多或少都会破坏基座模型的通用理解能力,造成很明显的幻觉、对话能力损伤和灾难性遗忘等多个问题。
Key Takeaways 02 高质量数据前提下,基座模型的参数量越大微调效果越好
在数据质量较高的前提下,通过对Chatglm2-6B、Baichuan2-7B、Baichuan2-13B、LLama2-7B、Qwen-14B等较为知名开源大模型的横屏测试发现,基座模型的参数量越大微调效果越好,当基座模型足够强可达到100B(千亿)参数时,即使使用1K的高质量数据也可以获得较好的微调效果。
Key Takeaways 03 资源有限的前提下,强通用能力/强专业能力须取舍
在数据、GPU、成本等资源有限的前提下,强的通用能力与强的专业知识能力不可兼得,需要根据产品定位做取舍。如果希望模型在某个专业领域有较强的专业能力,则可能需要牺牲掉部分通用能力。以AI客服为例,在企业内部使用场景下,如果希望其可对营销类问题做出快速响应,则需要舍弃掉其在生活类问题上的反馈准确率。
目前,依托于基座模型强大微调效果,易点天下AI客服已覆盖职能、人力、IT、业务等80%日常询问场景,企业员工无论何时遇到任何问题,都可以随时询问并获得AI客服7*24h的精准回答,极大提升了企业内部工作效率。
当下,伴随着AIGC浪潮此起彼伏的持续发展,出海营销正在经历新一轮的代际跃迁,从创意内容的生产,到投放策略的自动化,再到效果数据的回收、整体流量的优化,伴随AI技术的不断创新,易点天下正以更深入、更广泛、更快速、更智能的方式重塑着整个出海营销行业的创作生态系统。下期《MarTech Hub》我们将话题方向聚焦“数据中台”,一起来看如何将DataOps实践扩展到业务指标管理。
-
2025-06-27
易点天下董事长邹小武参加2025夏季达沃斯论坛,共话西安开放合作新机遇
-
2025-06-27
乘势增长|从工厂到全球品牌 供应链如何重塑美妆出海
-
2025-06-27
2025广告主必看:AI大模型如何让程序化广告更“懂”用户?
-
2025-06-27
易点天下亮相AI前沿技术与产业应用对话论坛 以AI+营销助力文化产业出海
-
2025-06-20
走进产业带|青岛黄跨会完美收官 赋能卖家洞见出海新机遇
-
2025-06-20
AWS X 易点天下解码Agentic AI驱动下的营销新变革 | 2025亚马逊云科技中国峰会回顾
-
2025-06-13
Growth Insights 04 | APP 出海生死局:流量狂欢已终结,长效增长的三大要点思路
-
2025-06-13
易点天下与迅雷集团正式达成商业化合作,携手共启程序化变现增长新篇章
-
2025-06-13
陕西省委常委、宣传部部长孙大光莅临易点天下调研指导
-
2025-06-05
易点天下出席中国-东盟媒体合作论坛,分享AI+媒体创新实践
-
2025-06-05
科技向善暖三秦 | 易点天下公益捐赠 助力宋庆龄基金会"六一"爱心汇演
-
2025-06-05
喜获三项殊荣!2025-2026年度国家文化出口重点企业及项目公布 易点天下榜上有名
-
2025-05-23
腾讯云 AI产业峰会|构建AI营销智能体 助力商业化创新与突破
-
2025-05-23
zMaticoo助力芒果TV打造国际程序化广告交易平台 开启文化出海商业变现新征程
-
2025-05-23
共享 共建 | 易点天下受邀出席中拉互联网发展与合作论坛
-
2025-05-16
易点天下x腾讯 | AI+程序化广告Workshop成功举办 共探智能营销新未来
-
2025-05-16
八年“逐浪”,易点天下携手阿里一路同行
-
2025-04-30
易点天下与华为云签署全面合作协议,共拓全球市场营销+AI新机遇
-
2025-04-24
易点天下2024年度报告及2025第一季度报告发布:出海服务+广告技术,驱动业绩全面高速增长
-
2025-04-24
易点天下CEO:致投资人的一封信