字节跳动技术副总裁洪定坤在火山引擎FORCE原动力大会上，以《AI Coding的实践与探索》为主题发表演讲，深入剖析了AI编程在字节跳动内部的落地情况与核心挑战。他指出，过去一年中，字节跳动的AI代码贡献率实现了超过6倍的增长，AI Coding的Token消耗量激增5倍，同时AI代码合入率也翻了两番有余。然而，这些数字背后，是团队对AI编程挑战愈发清晰的认识。
洪定坤特别强调，过度聚焦于AI代码贡献率这一单一指标存在误导性。他举例说，字节TRAE团队在半年内，AI生成的代码占比超过90%，但人均需求吞吐率仅提升了60%。尽管AI写代码的速度远超人类，理论上应带来数倍甚至数量级的效率提升，但实际效果却远低于预期，仅为1.6倍。这表明，单一指标难以全面反映AI编程的真实效率。
在探讨Vibe Coding的实用性时，洪定坤分享了团队使用3个主流Coding模型和3个Agent框架进行的实验结果。900次运行数据显示，虽然所有组合的功能正确率均超过80%，但在UI易用性、可靠性、可维护性、性能和兼容性等方面，得分却骤降至40到60分的不及格水平。这表明，模型与框架的组合表现出强烈的随机性，距离真正上线交付还有较大差距。
洪定坤进一步指出，Harness基建在AI编程落地过程中扮演着至关重要的角色。真正决定AI能否成功落地的，往往是那些更为基础、工程化的问题，如上下文工程、架构约束、团队知识沉淀和技术债梳理等。通过引入Harness，团队成功将正确率从80%提升至近90%，可交付性也从40到60分普遍提升至80分的不错水平。
在谈到AI编程对团队协作的影响时，洪定坤举了一个具体案例：产品同学使用Vibe Coding完成了需求，但研发团队却表示需要排期。原因在于，虽然代码能够运行，但在性能、扩展性和权限安全等方面存在不足。这表明，AI虽然降低了代码生成的门槛，但并未降低系统复杂度，产出仍需遵循统一的架构、规范和交付流程。
针对这些挑战，洪定坤透露，字节跳动在AI Coding上的关注点已经发生了转变。团队现在更加注重寻找更合理的指标来衡量全局效率，探索更稳定的方式让Vibe Coding走向真正的软件工程，并围绕AI Coding促进软件开发上下游角色的更好协作。目前，字节内部已经探索了原型驱动开发模式和系统化AI Development，TRAE的日均Token消耗量已达到5.6万亿，相比去年增长了50倍。团队还推出了TRAE Work，并将其集成到TRAE企业版之中。