字节跳动开源了一款名为veGiantModel的大模型训练框架

3月17日消息，据IT之家消息，近日，字节跳动的应用机器学习团队开放了一个名为veGiantModel的大模型训练框架，主要用于自然语言处理领域的大模型训练。它可以将大模型训练的性能提高6.9倍，并大大减轻训练系统的压力。目前，字节跳动旗下的企业级技术服务平台火山引擎(Volcano Engine)已经在其正在公测的机器学习平台上原生支持该框架。

据了解，自然语言处理是人工智能研究的重要领域，旨在帮助计算机理解、解释和使用人类语言，可应用于机器翻译、个性化推荐、信息抽取等领域。

近年来，自然语言处理在应用方面取得了显著突破，这主要得益于深度学习及相关技术的发展，尤其是伯特、GPT、GPT-3等大规模预训练语言模型的流行。针对大模型训练场景下现有训练系统的内存压力、计算压力和通信压力的挑战，字节跳动应用机器学习团队提出了大模型训练框架veGiantModel。大规模的训练模型可以包含更多的数据，表示更多的信息，算法更加优秀。