号称可以成为 ChatGPT 平替的开源模型 “Dolly”,


作者: Sourav Rudra 译者: LCTT Xiaobin.Liu

| 2023-03-31 09:54   评论: 1    

你需要一款 ChatGPT 的平替?还得是开源的?看起来我们已经被卷入了与 ChatGPT 的开源大战。

Databricks 这家软件公司,在各个领域都有所建树,尤其是在数据仓库和基于人工智能的解决方案方面。

最近,随着 ChatGPT 横空出世,Meta、谷歌甚至 Mozilla 都开始效仿 ChatGPT。

而现在,Databricks 开源了其 大型语言模型large language model(LLM)“Dolly”,也正在以自己的方式进行尝试。

我们一起来看看它。

发生了什么? 在最近的公告中,Databricks 介绍了他们号称 “廉价构建” 的 LLM,使用 EleutherAI 的已经开源的参数 模型 提供功能。

他们在该模型基础上稍作调整,赋予了 Dolly 指令诸如头脑风暴和文本生成的能力。

当你拿它与 GPT-3 中的 1750 亿个参数 比较时,Dolly 的 60 亿个参数 就可能显得微不足道。

但是,当 Databricks 的人看到即使数据量与 GPT-3 相差这么多,Dolly 也能 展示很多与 ChatGPT 相同的能力 时,他们感到非常震惊。

下面是他们展示的其中一个例子:

a screenshot of how dolly performs in an open question and answer scenario

原始模型使用了 Alpaca 的数据,该模型由斯坦福大学以 Meta 的 LLaMA LLM 为基础建立。

但是,正如你所看到的,原始模型产生了一个非常杂乱无章的结果,而 Dolly,通过不同的模型和调整,能够产生一个更为可用的答案。

相关内容

    暂无相关文章