MarTech Hub 02|“大模型+”应用落地时,大模型微调如何兼顾效果、成本和可控性?
11:10 AM
share
10月17日,老牌科技巨头百度“文心大模型4.0”的发布,让原本暗潮汹涌的百模大战再次白热化。伴随着越来越多基础大模型迭代速度的日益加快,“大模型+”的应用拐点正在到来。纵观全球市场,预计到2030年,AIGC市场规模将超过万亿人民币,巨大的市场潜力,吸引了各领域科技巨头的纷纷布局。
但对于绝大多数企业来说,真正的机会并不是从头开始做ChatGPT这样的基础大模型,而是基于通用大语言模型,进行针对性的再训练、微调、评估和部署,从而开发出适合自身业务场景的应用。然而,企业应该如何汇集底层数据资源、选择符合企业自身的模型基座,进行模型微调呢?
本期MarTech Hub,我们将以易点天下企业内部已全面应用的“AI客服”为例,看大模型微调如何兼顾效果、成本和可控性?
众所周知,伴随着人工智能技术的飞速发展,AIGC对内容领域的渗透首当其冲,在开辟新的营销场景与营销模式上更是有着极大的想象空间。结合易点天下最新实践发现,AIGC在营销领域落地的最佳场景在于两个核心方面:一是内容生产,二是智能问答。
在内容生产方面,易点天下已于今年7月正式发布了首个AIGC数字营销创作平台KreadoAI,为营销领域全链路的降本提质增效,注入新的活力与动能;而在智能问答方面,易点天下在实现“AI客服”内部全面应用化的同时,也在大模型微调方面探索出一条具有参考性的路径。
易点天下高级技术总监Infi He介绍到:“作为AI时代的一项基础设施,大模型的诞生,为AI原生应用提供了前所未有的机遇,也为我们的技术团队提出了更高要求,用好大模型至关重要,尤其是在一些特定AI应用开发场景下,相较于模型预训练的高成本和长周期,大模型微调可以在成本可控的前提下,快速实现预期效果。”
Key Takeaways 01 高质量数据对大模型微调的效果至关重要
大模型微调,高质量的数据是重中之重。如果没有高质量的数据,在成本有限的前提下,做大模型的SFT监督微调,尤其是对话类任务,并不是一件性价比很高的事情;即使是目前较为流行的LoRA和P-tuning v2等微调方法,在数据有限的前提下,或多或少都会破坏基座模型的通用理解能力,造成很明显的幻觉、对话能力损伤和灾难性遗忘等多个问题。
Key Takeaways 02 高质量数据前提下,基座模型的参数量越大微调效果越好
在数据质量较高的前提下,通过对Chatglm2-6B、Baichuan2-7B、Baichuan2-13B、LLama2-7B、Qwen-14B等较为知名开源大模型的横屏测试发现,基座模型的参数量越大微调效果越好,当基座模型足够强可达到100B(千亿)参数时,即使使用1K的高质量数据也可以获得较好的微调效果。
Key Takeaways 03 资源有限的前提下,强通用能力/强专业能力须取舍
在数据、GPU、成本等资源有限的前提下,强的通用能力与强的专业知识能力不可兼得,需要根据产品定位做取舍。如果希望模型在某个专业领域有较强的专业能力,则可能需要牺牲掉部分通用能力。以AI客服为例,在企业内部使用场景下,如果希望其可对营销类问题做出快速响应,则需要舍弃掉其在生活类问题上的反馈准确率。
目前,依托于基座模型强大微调效果,易点天下AI客服已覆盖职能、人力、IT、业务等80%日常询问场景,企业员工无论何时遇到任何问题,都可以随时询问并获得AI客服7*24h的精准回答,极大提升了企业内部工作效率。
当下,伴随着AIGC浪潮此起彼伏的持续发展,出海营销正在经历新一轮的代际跃迁,从创意内容的生产,到投放策略的自动化,再到效果数据的回收、整体流量的优化,伴随AI技术的不断创新,易点天下正以更深入、更广泛、更快速、更智能的方式重塑着整个出海营销行业的创作生态系统。下期《MarTech Hub》我们将话题方向聚焦“数据中台”,一起来看如何将DataOps实践扩展到业务指标管理。
-
2023-12-06
陕西省省长赵刚到易点天下调研指导
-
2023-12-06
陕西省新生代企业家联合会会长,易点天下董事长邹小武接待全国工商联副主席汪鸿雁调研指导
-
2023-10-20
易点天下推动“一带一路”外向型经济,共建高水平对外开放格局
-
2023-10-20
MarTech Hub 02|“大模型+”应用落地时,大模型微调如何兼顾效果、成本和可控性?
-
2023-10-20
易点天下海外效果整合营销案例获金投赏银奖!KreadoAI能力再获认可
-
2023-10-20
CyberMedia移动端新功能来了!便捷操作助您随手实现账号管理
-
2023-10-16
易点天下x甲骨文携手共建云上管理新模式,全面护航企业出海新航道
-
2023-10-16
成本直降98%,KreadoAI秋冬上新季AI模特商拍功能强势来袭
-
2023-10-16
2023 SMARTIES CHINA 获奖榜单公布,易点天下摘得2项优秀大奖
-
2023-10-16
全球CTV极速增长,zMaticoo携手FreeWheel共探增长最强点
-
2023-10-08
KreadoAI这些体验优化 让AI数字人生成更简单
-
2023-09-25
易点天下受邀出席秦商大会开幕式,以AIGC引领品牌全球化新机遇
-
2023-09-25
双双入围!易点天下入围两项2023 Google年度优秀合作伙伴大奖
-
2023-09-25
KreadoAI 9月新功能速递,全新创意Buff加成助跑电商旺季热销潮
-
2023-09-15
MarTech Hub 01|业务流量增长56%云成本仅上涨28%,如何以多元技术手段实现云上降本增效?
-
2023-09-15
KreadoAI假发行业解决方案抢鲜上线 这份使用指南请查收
-
2023-09-08
满载而归 | 易点天下CGTN案例荣获2023服贸会全球服务实践案例奖
-
2023-09-08
易点天下受邀参加陕西主题日活动,以数字技术加码服务贸易提质增效
-
2023-09-08
创新共享 “链”接未来 | 易点天下受邀参加2023中国(陕西)重点产业链推介会
-
2023-09-08
易点天下技术代表团赴Qcon分享交流AIGC应用及商业化落地实践