MIDAS nlp task 源码

MIDAS任务3(NLP) 使用jupyter笔记本用python编写的自然语言处理模型。 问题 该问题在NLP中被识别为文本分类任务,其中基于产品的描述对产品进行分类。 该数据集来自电子商务网站flipkart,可以在找到该数据集的链接。 将数据分为训练集和测试集,以首先训练ML模型,然后测试其准确性。 F-1得分和LogLoss函数用作准确性的度量标准。 方法 我以下列方式介绍了该模型: 数据预处理 拟合模型 数据预处理 通过清理数据开始数据预处理。 数据中的两个有用变量是product_category_tree和description 。 其余的列将被删除。 类别是从product_category_tree列中提取的。 层次树的1级被定义为我们的预测的主要类别。 数据分为85%的训练和15%的测试集。 在训练集上对模型进行训练,然后在测试集上进行验证。 可用的32个类别中