GlomImpl:文本的GLOM模型的实现 源码

格洛姆 这是针对文本域的GLOM模型()的简单实现。 它很大程度上建立在ALBERT模型的上()。 方法 使用t变压器层(t =您要建模的GLOM时间步数) 使用L个关注头(L =您要建模的GLOM级别数) 将这些小修改应用于ALBERT模型: 删除查询,键,值的线性投影; 只需通过[(d/L)*i..(d/L)*(i+1)]到第i个头 修改/约束关注的密集层,使其输出的每个分区[(d/L)*i..(d/L)*(i+1)]仅由(第i-1),第i和第(i + 1)头(这将模拟对较低和较高GLOM级别的访问) 请参阅实际的农业逻辑。 删除跳过连接和位于关注层顶部的MLP 对于屏蔽语言模型训练:仅将输入令牌嵌入到[0..(d/L)] (第一级)中。 同样,仅从最终的隐藏状态中获取这些尺寸即可预测被屏蔽的令牌。 所有其他维度都将获得一个(与位置无关,但与电平相关的)偏差,作为零时步输入。