基于TF-IDF的文本分类实现

采用中文文本数据集，利用jieba进行中文分词。data_preprocess函数实现数据读取和预处理，去除数字、符号及停用词。calculate_tfidf函数计算文本的TF-IDF特征。text_classification_1和text_classification_2函数分别实现基于不同分类器和TF-IDF特征提取方法的文本分类。其中，text_classification_2使用sklearn的TfidfVectorizer来提取特征。tfidf_train和tfidf_test函数分别用于训练特征提取器并保存到磁盘以及加载特征提取器处理测试数据。svm_grid函数运用网格搜索优化SVM模型。主程序调用上述函数，输出分类性能评价指标。