1.1 Basic Concepts

本小节主要介绍一些基础的概念，方便后续快速进入。

1.0 LLaMA（英语：Large Language Model Meta AI）是Meta AI公司于2023年2月发布的大型语言模型。它训练了各种模型，这些模型的参数从70亿到650亿不等。LLaMA的开发人员报告说，LLaMA运行的130亿参数模型在大多数NLP基准测试中的性能超过了更大的、具有1750亿参数的GPT-3提供的模型，且LLaMA的模型可以与PaLM和Chinchilla等最先进的模型竞争[3]。虽然其他强大的大语言模型通常只能通过有限的API访问，但Meta在非商业许可的情况下发布了LLaMA的模型权重，供研究人员参考和使用。2023年7月，Meta推出LLaMA2，这是一种可用于商业应用的开源AI模型。

2024年4月18日，Meta发布了Llama-3，有两种模型大小尺寸：8B和70B参数。 这些模型已经根据从“公开可用来源”收集的大约 15 万亿个文本标记进行了预训练，并且指导模型根据“公开可用的指令数据集以及超过 1000 万个人工注释的示例”进行了微调。 计划发布多模式模型、能够以多种语言进行对话的模型以及具有更大上下文窗口的模型。

于2024年7月23日增量更新至Llama-3.1。具有8B、70B、405B参数三种模型大小尺寸。

Meta AI 的测试表明，Llama 3 70B 在大多数基准测试中都击败了 Gemini 和 Claude

Ollama——一个简明易用的本地大模型运行框架。随着围绕着 Ollama 的生态走向前台，更多用户也可以方便地在自己电脑上玩转大模型了。

Ollama 有一系列的周边工具可供使用，包含了网页、桌面、终端等交互界面及诸多插件和拓展。

之所以 Ollama 能快速形成如此丰富的生态，是因为它自立项之初就有清晰的定位：让更多人以最简单快速的方式在本地把大模型跑起来。于是，Ollama 不是简单地封装 llama.cpp，而是同时将繁多的参数与对应的模型打包放入；Ollama 因此约等于一个简洁的命令行工具和一个稳定的服务端 API。这为下游应用和拓展提供了极大便利。

就 Ollama GUI 而言，根据不同偏好，有许多选择：

Web 版：Ollama WebUI 具有最接近 ChatGPT 的界面和最丰富的功能特性，需要以 Docker 部署；

ModelScope 是一个“模型即服务”(MaaS) 平台，旨在汇集来自AI 社区的最先进的机器学习模型，并简化在实际应用中使用AI 模型的流程。

在大模型之中我们遇到的文件格式

.safetensors 文件：

这是 TensorFlow 2.x 中新增的文件格式，用于保存模型参数和优化器状态。
它采用的是 TensorFlow 的自定义序列化格式，不能直接用于其他框架。
可以使用 TensorFlow 的 tf.train.Checkpoint 类来加载和保存 .safetensors 文件。

.ckpt 文件：

这是 TensorFlow 1.x 中用于保存模型参数和优化器状态的文件格式。
它采用的是 TensorFlow 的自定义序列化格式，不能直接用于其他框架。
可以使用 TensorFlow 的 tf.train.Saver 类来加载和保存 .ckpt 文件。
可以使用 TensorFlow 2.x 的 tf.compat.v1.train.Saver 类来加载和保存 .ckpt 文件。

.gguf 文件：

这是 Google 的 GFST（Google Finite State Transducer）格式，用于保存语言模型。
它采用的是 Google 的自定义序列化格式，不能直接用于其他框架。
可以使用 Google 的 fstcompile 和 fstrain 工具来加载和保存 .gguf 文件。

.pth 文件：

这是 PyTorch 中用于保存模型参数和优化器状态的文件格式。
它采用的是 PyTorch 的自定义序列化格式，不能直接用于其他框架。
可以使用 PyTorch 的 torch.save 函数来加载和保存 .pth 文件。

.bin 文件：

这是一种通用的二进制文件格式，可以用于保存模型参数和优化器状态。 
它可以被多种框架所使用，例如 TensorFlow、PyTorch 和 ONNX 等。 
可以使用 NumPy 或 PyTorch 等框架的函数来加载和保存 .bin 文件。