code_summarization_transformer:基于变压器的源代码摘要 源码

代码汇总变压器 基于通用变压器架构,使用神经网络对源代码进行自动汇总。 观看! 细节 用于序列到序列建模的Transformer体系结构由一个编码器和一个解码器组成。 编码器和解码器具有几组层,每个层都有一个自我关注块和一个前馈块。 解码器层还具有一个编码器-解码器注意块,该块关注已处理的输入以及当前生成的输出。 通用变压器架构在整个编码器上使用相同的编码器层; 解码器也是如此。 这样可以减小模型的大小,并提高许多任务的准确性,包括具有算法性质的任务(例如,解释源代码)。 我使用TensorFlow实施了这个项目。 本地培训 运行训练脚本train.py ,提供参数num_epochs