---

作者

---

可下载资源

众所周知，Gemma与Gemini具有相似的技术组件，在与其他开源模型（如Meta的Llama-2模型）相比时，其尺寸达到了同类最佳性能。它在所有LLM基准测试中均优于Llama-2。

如何访问谷歌的Gemma模型

在TPU上运行Gemma推理

您可以前往Keras/Gemma，向下滚动，选择“gemma_instruct_2b_en”模型变体，然后点击“新建笔记本”按钮。这将启动一个包含Gemma模型的输入目录的云笔记本。

确保您已经安装并更新了所有必要的Python库。

bash复制代码 !pip install -q tensorflow-cpu !pip install -q -U keras-nlp tensorflow-hub !pip install -q -U keras>=3 !pip install -q -U tensorflow-text

安装并更新所有必要的Python包。

由于Kaggle GPU的VRAM有限，我们无法加载完整的Gemma 7b-it模型。为了解决这个问题，我们将使用BitsAndBytes库以NF4类型配置进行4位量化来加载模型。同时，加载分词器。

登录到Hugging Face CLI

我们将从Kaggle的秘钥（环境变量）中加载Hugging Face的API密钥。

使用API密钥登录到Hugging Face CLI。这将允许我们访问模型并将其保存到Hugging Face Hub。

初始化W&B工作区

使用W&B API密钥初始化weights and biases（W&B）工作区。我们将使用这个工作区来跟踪模型训练。

---

---

	# 监控LLM  

	wandb.login(key = secret_wandb)  

加载数据集

复制代码
	# 加载数据集  



	dataset["text"][100]

我们的数据集由用户与助理之间基于名人风格的连续对话组成，这是一种角色扮演。

复制代码
	# 加载分词器  

	tokenizer = AutoTokenizer.from_pretrained(base_model)  

	
        

添加适配层

通过在我们的模型中添加适配层，我们可以更高效地对其进行微调。这样，我们无需训练整个模型，而只需更新适配层的参数，这将加速训练过程。

我们的目标模块将是’o_proj’、’q_proj’、’up_proj’、’v_proj’、’k_proj’、’down_proj’和’gate_proj’。

model = prepare_model_for_kbit_training(model)
peft_config = LoraConfig(
    lora_alpha=16,
    lora_dropout=0.1,

训练模型

	training_arguments = TrainingArguments(  

	    output_dir="./gemma-7b-v2-role-play",  

	    num_train_epochs=1,  

	
        

为了设置监督微调（SFT）训练器，我们需要向它提供模型、数据集、Lora配置、分词器和训练参数作为参数。

python复制代码
	trainer.train()

完成Weights & Biases（W&B）会话，并为推断配置模型。

wandb.finish()
model.config.use_cache = True

我们在两种类型的GPU加速器上训练了模型。看起来P100的速度是T4 2X的两倍。

保存模型

接下来，我们将把模型适配器保存在本地，然后上传到Hugging Face hub。push_to_hub命令将创建仓库并将适配器配置和适配器权重推送到hub。

模型推断

为了使用我们微调后的模型生成响应，我们需要遵循几个步骤。

首先，我们将按照角色扮演数据集格式创建一个提示。然后，我们将提示传递给分词器，再传递给模型以生成预测。

为了将预测的输出转换为可读的文本，我们将使用分词器对其进行解码。

text = tokenizer.decode(outputs[0], skip_special_tokens=True) print(text)

它还会提出相关的后续问题。

用一个新的角色再试一次：Michel Jordan。

python复制代码 prompt = '''<|system|>Michael Jordan an NBA legend known for his competitive drive six championship wins with the Chicago Bulls. text = tokenizer.decode(outputs[0], skip_special_tokens=True) print(text)

使用角色扮演适配器的Gemma 7B推断

要生成响应，我们不能简单地加载保存的适配器。我们需要将微调后的适配器与基础模型（Gemma 7b-it）合并。

1. 安装所有必要的Python库。
2. 从Kaggle secrets加载API密钥并登录到Hugging Face CLI。

!huggingface-cli login --token $secret_hf

3. 提供基础模型和适配器的位置。

new_model = "kingabzpro/gemma-7b-it-v2-role-play"

4. 加载基础模型。

base_model_reload = AutoModelForCausalLM.from_pretrained( base_model,

5. 加载适配器并将其与基础模型合并。

6. 加载分词器。

tokenizer = AutoTokenizer.from_pretrained(base_model, trust_remote_code=True

7. 将提示通过分词器传递给模型进行响应生成。

text = tokenizer.decode(outputs[0], skip_special_tokens=True) print(text)

解释了“自我”的含义。