当前位置：首页 > news >正文

电脑网站建设规划国内最新的新闻

news 2025/8/18 9:31:44

电脑网站建设规划,国内最新的新闻,化妆品网站设计方案,自己可以做公司网站吗1. BERT 3亿参数 30亿个词在输入和loss上有创新两个句子拼起来放到encoder–句子对 cls-class分类 sep-seperate 分隔符分开每个句子告诉是哪个句子两个句子给不同的向量位置编码不用sin cos， 让网络自己学习 bert–通用任务 encoder 是双向的，…

1. BERT

在这里插入图片描述

3亿参数 30亿个词

在输入和loss上有创新
两个句子拼起来放到encoder–句子对
cls-class分类
sep-seperate 分隔符分开每个句子告诉是哪个句子两个句子给不同的向量
位置编码不用sin cos，让网络自己学习
在这里插入图片描述

bert–通用任务
encoder 是双向的，两个方向的信息都可以看到
预测mask是谁。
改动：让模型在做微调的时候不要看到mask就做预测

在这里插入图片描述

4. QA

在这里插入图片描述
1 对每个词每个token 学习一个固定长度的向量
2 bert 用一个词段做向量表示
3 15% 中的10%
4 大量用在cv上，图片可以扣很多小块出来，是有空间关系的，模拟语言模型的关系
6 用小一点的bert模型；多用几个卡；每个gpu存一部分的模型。
7 gpt等预训练任务本身都会有改进
8 bert之后的论文
在这里插入图片描述