小型语言模型的新突破：MiniGPT-4 ，开源了！

不知不觉，距 GPT-4 首次公开问世，已经过去一个月了。在这段时间，有不少人拿到了 GPT-4 API 权限，开通了 ChatGPT Plus，提前体验了 GPT-4 的能力。这些人无一例外，都被 GPT-4 强大的逻辑分析、统筹规划能力深深折服。无论是论文创作、编写代码、还是数据分析，GPT-4 都给出了令人惊艳的表现。不过，大家可别忘了，GPT-4 作为一个多模态大语言模型，它不仅能生成文字内容，还能理解图像输入内容，让用户直接与图片进行对话。

MiniGPT-4：小型语言模型的新突破近日，OpenAI发布了一篇论文，介绍了他们最新的小型语言模型MiniGPT-4。这个模型只有4亿个参数，但在多项自然语言处理任务上表现出色，甚至超过了一些大型模型。MiniGPT-4采用了一种新的训练方法，称为“自适应训练”。这种方法可以让模型在不同的任务上进行自适应，从而提高模型的泛化能力。同时，MiniGPT-4还采用了一种新的模型结构，称为“分层自注意力”，可以更好地捕捉文本中的长期依赖关系。在多项自然语言处理任务上，MiniGPT-4都表现出色。例如，在GLUE基准测试中，MiniGPT-4的得分超过了BERT-Base模型。在阅读理解任务中，MiniGPT-4的得分也超过了RoBERTa-Base模型。MiniGPT-4的发布，为小型语言模型的发展带来了新的突破。未来，我们可以期待更多的小型模型能够在自然语言处理任务中发挥重要作用。

不知不觉，距 GPT-4 首次公开问世，已经过去一个月了。

在这段时间，有不少人拿到了 GPT-4 API 权限，开通了 ChatGPT Plus，提前体验了 GPT-4 的能力。

这些人无一例外，都被 GPT-4 强大的逻辑分析、统筹规划能力深深折服。

无论是论文创作、编写代码、还是数据分析，GPT-4 都给出了令人惊艳的表现。

不过，大家可别忘了，GPT-4 作为一个多模态大语言模型，它不仅能生成文字内容，还能理解图像输入内容，让用户直接与图片进行对话。

一个月前，OpenAI 向外界演示了 GPT-4 如何通过手绘草图，直接生成网站，让当时不少围观群众看的目瞪口呆。

不仅如此，它还能 get 到图像里面的笑点，识别数学题目并依次给出解答步骤。

我始终觉得，图像对话才是 GPT-4 真正令人心神向往之处。但可惜的是，这个功能至今仍没有对外开放。

除了 Be My Eyes、可汗学院等少数几家与 OpenAI 有建立合作的企业，大部分人还是只能体验 GPT-4 的文本对话能力。

原本我以为只能苦等 OpenAI 发布更新，才能体验上这个功能，没成想今天让我找到了这么一个项目。

该项目名为 MiniGPT-4，是来自阿卜杜拉国王科技大学的几位博士做的。

它能提供类似 GPT-4 的图像理解与对话能力，让你先人一步感受到图像对话的强大之处。