人工智能行业通常与石油行业进行比较：从开采到提炼，数据就像汽油一样是一种利润丰厚的产品对于市场来说，市场上的数据就像是驱动公司前进的石油一样，就像是汽油对于汽车一样重要。但是很多人不知道的是， 与化石燃料相比，人工智能的训练过程对环境产生了更加巨大的负面影响。
马萨诸塞大学阿默斯特分校的研究人员对几种常见的大型AI模型进行了生命周期评估。 他们发现这个过程可以排放超过626,000斤的二氧化碳当量，这几乎是普通汽车一生排放量的五倍。 对于AI研究人员长期怀疑的事情，这是一种不正确的统计。所有研究人员都没有考虑过这些因素，认为环境影响是巨大的。但是为什么会产生这么大的影响呢？
自然语言处理（NLP）的模型训练过程，这是人工智能的子领域，专注于教授机器来处理人类语言。在过去两年中，NLP社区在机器翻译，句子完成和其他标准基准测试任务方面达到了几个值得注意的性能里程碑。但是，这些进步需要对从互联网上搜集的庞大数据集的大型模型进行培训。该方法计算成本高且能耗高。
研究人员研究了该领域的四个模型，这些模型负责性能的提高。每个模型在一个GPU上训练每个人长达一天来测量其功耗。每个GPU就是一个独立的高性能显卡，然后，他们使用模型原始论文中列出的培训时数来计算整个培训过程中消耗的总能量。根据平均能源结构，该数字转换为二氧化碳当量磅数，这与亚马逊最大的云服务提供商AWS所使用的能源结构非常接近。
培训的计算和环境成本与模型大小成比例增长，然后在使用额外的调整步骤来提高模型的最终精度时爆炸。特别是，他们发现称为神经架构搜索的调整过程，试图通过穷举试验和错误逐步调整神经网络的设计来优化模型，具有极高的相关成本，几乎没有性能优势。没有它，最昂贵的型号显卡GPU的碳足迹大约相当于1,400磅的二氧化碳当量，接近一个人的往返跨美洲航班。
更重要的是，研究人员指出，这些数字只应被视为基线。 训练单一模型是可以做的最少量的工作，但是实际上，人工智能研究人员更有可能从头开发新模型或将现有模型适应新的数据集，其中任何一个都需要更多轮次的培训和调整。为了更好地处理完整开发流程在碳足迹方面的表现，发现，建立和测试最终纸质模型的过程需要在6个月内培训4,789个模型。转换为二氧化碳当量，它排放超过78,000磅，这样的训练量是人工智能领域的普遍工作方式。
这些数字的重要性是巨大的，特别是在考虑人工智能研究的当前趋势时。 总的来说，大多数人工智能的最新研究忽视了效率，因为已发现非常大的神经网络对各种任务都有用，而拥有大量计算资源的公司和机构可以利用这一点来获得竞争优势，需要进行这种分析，以提高对所用资源的认识，并引发争论。这样的问题强调了人工智能中另一个日益严重的问题：现在产生二氧化碳结果所需的资源强度使得学术界工作人员继续为研究做出贡献越来越具有挑战性。
对于大量数据培训大型模型的这种趋势对学术研究生其实是不大可行，因为这些研究人员并没有计算资源，因此，学术界的研究人员和商业的研究人员之间存在着设备资源不平均的问题。所以导致，研究人员无法通过更先进和更大的设备提高算法和训练模型，从而帮助商业研究员进行效率的提升。人类的大脑可以用很少的能量做出惊人的事情，所以其实更大的问题是在一个更加环保方式下，我们如何建造模仿人类大脑的机器。
网友评论