• 周二. 4月 16th, 2024

一份来自Huggingface的大模型进化指南没有必要完全复现GPT-4

大数据文摘出品

ChatGPT爆火之后,AI界进行了一场“百模大战”。近日,Huggingface的机器学习科学家Nathan Lambert,在一篇博文中对当前入局大模型的力量,从开源视角进行了梳理,并提出了很多深刻的见解。

What this looks like is instead of taking the giant scorecard that GPT4 was touted on, you take 10-50% as the targets for an open-source model and beat GPT4。

开源的模型不要试图在所有方面都超越GPT4,而只专注于在部分领域(占总指标的10-50%)取得优势。

至于原因,他提到语言模型在推理能力、预测能力、控制程度等方面具有很大的多样性,仅仅“瞄准”复现ChatGPT可能只是一种氛围目标,并不必要。

此外,他还提到OpenAI的成功有运气成分,这可能是开源社区无法实现的。