8000 GitHub - WangHuiNEU/llm: The Roadmap for LLMs · GitHub
[go: up one dir, main page]

Skip to content
< 7FFF header class="root__q6pgdo HeaderMktg header-logged-out fullWidth__R5BAbe" role="banner" data-marketing-header="true" data-color-mode="dark" data-light-theme="light" data-dark-theme="dark">

Navigation Menu

WangHuiNEUPublic

About

The Roadmap for LLMs

Resources

Stars

85 stars

Watchers

4 watching

Forks

Latest commit

 

History

40 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 

Repository files navigation

🗺️ The Landscape of LLMs

图片3

🚧 持续更新... 知乎,欢迎交流 全部大模型列表

Goal: 大模型社区每周都要发布近百个模型,本项目会及时整理相关模型和文章并期望成为中文社区的大模型研究人员的模型和技术备忘录,每天会及时更新最新的模型,并详细解读技术细节~ 欢迎大家PR~

The Landscape of LLMs(大模型全景图)

一、Foundation model (基座模型)

二、Instruction-tuning model (指令微调模型)

三、 Multimodal (多模态模型)

一、Foundation model (基座模型)

1.1 Google系

Google Brain (已合并到Google DeepMind部门)

模型名称 时间 是否开源 参数规模 Paper Code Introduction
T5 2019-10 是 13B Arxiv github T5 介绍
T5X
(框架改进)
2022-03 - - Arxiv github Youtube
LaMDA
(ChatBot LLM)
2021-05 否 137B - - LaMDA介绍
PaLM 2022-04 否 540B Arxiv - PaLM介绍

DeepMind (已合并到Google DeepMind部门)

模型名称 时间 是否开源 参数规模 Paper Code Introduction
Gopher(地鼠) 2021-12 否 280B Arxiv - -
Chinchilla(龙猫) 2022-04 否 70B Arxiv - Gopher介绍

Google DeepMind (23年4月合并Google Brain和DeepMind,命名为Google DeepMind)

模型名称 时间 是否开源 参数规模 Paper Code Introduction
PaLM 2 2023-05 否 340B(小道消息,未证实~) - - PaLM2介绍

Latest: 更强大的模型Gemini正在训练中, Ref

1.2 Meta系

模型名称 时间 是否开源 参数规模 Paper Code
OPT 2022-05 是 125M-175B Arxiv github
LLaMA 2023-02 是 7B-65B Arxiv github
LLaMA 2 2023-07 是 7B-70B Paper github

1.3 OpenAI系

img

模型名称 时间 是否开源 参数规模 Paper Code
GPT 2018-06 是 117M Paper Hugging Face
GPT-2 2019-02 是 150M-1.5B Paper Hugging Face
GPT-3 2020-05 否 125M-175B Wiki Arxiv -
GPT-3.5
(InstructionGPT)
2022-01 否 175B Blog -
GPT-4 2023-03 否 未知 Blog
GPT-4 Technical Report
-

1.4 EleutherAI

https://www.eleuther.ai/

模型名称 时间 是否开源 参数规模 Paper Code
GPT-Neo
(GPT-2 architecture )
2021-03 是 2.7B Paper github
GPT-J 2021-06 是 6B Paper Hugging Face
GPT-NeoX 2022-04 是 20B Paper github

1.5 其他科技公司和研究院

机构 模型名称 时间 是否开源 参数规模 Paper Code
Anthropic Anthropic-LM v4-s3 2021-12 否 52B - -
北京智源人工智能研究院 天鹰Aquila 2023-06 是 7B/33B - -

🔑 训练框架和模型训练Tricks

🚧 ...

二、Instruction-tuning model (指令微调模型)

2.1 Google系

机构 模型名称 基座模型 是否开源 Blog & Code Paper
BigScience T0 T5 是 Hugging Face Arxiv
Google FLAN T5 是 Hugging Face Arxiv
Google Flan-T5/Faln-PaLM T5/PaLM 否 github Arxiv
DeepMind Sparrow
(生成人工智能聊天机器人)
Chinchilla 否 blog Arxiv
Google DeepMind Bard
(生成人工智能聊天机器人)
之前是LaMDA,后面是PaLM 2 否 Wiki
website
-

2.2 Meta系

机构 模型名称 基座模型 是否开源 Blog & Code Paper
Meta OPT-IML OPT-175B 是 Hugging Face Arxiv
Stanford Alphaca (Alphace 7B)
LLaMA-7B 是 Blog
github
-
Stanford Vicuna (7B, 13B)
LLaMA-7B/13B 是 Blog

github
-

2.3 OpenAI系

image-20230727120740221

Picture Ref: https://s10251.pcdn.co/wp-content/uploads/2023/03/2023-Alan-D-Thompson-GPT3-Family-Rev-1.png

2.4 EleutherAI

模型名称 基座模型 是否开源 Blog & Code Paper
GPT-NeoX-20B GPT-Neo 是 github Arxiv

2.5 其他科技公司和研究院

机构 模型名称 基座模型 是否开源 Blog & Code Paper
北京智源人工智能研究院 AquilaChat-7B (生成人工智能聊天机器人)
Aquila-7B 是 Blog

Hugging Face
-
北京智源人工智能研究院 AquilaChat-33B (生成人工智能聊天机器人)
Aquila-33B 是 Hugging Face -
BigScience BLOOMZ BLOOM 是 Hugging Face Arxiv
Baidu 文心一言 (生成人工智能聊天机器人)
ERNIE 3.0 否 Website -
Anthropic Claude2 (生成人工智能聊天机器人)
克劳德 2
Anthropic-LM v4-s3 否 Website -

🔑 训练框架和模型训练Tricks

🚧 ...

三、 Multimodal (多模态模型)

🚧 ...


ZhiHu , WeChat 欢迎交流~

About

The Roadmap for LLMs

Resources

Stars

85 stars

Watchers

4 watching

Forks

Releases

Packages

Contributors

0