基于语言和统计特征具体是指基于心理语言学、句法结构和词汇分析等领域的知识，人工定义并提取文本中的特征。早期研究中，这些特征通常与机器学习分类器结合使用。例如，Argamon等人 [5] 率先将心理语言学特征纳入识别任务，将语料库中的单词分为功能词、连接词等四个类别，计算相对频率并输入到支持向量机模型中进行人格识别。此外，Mairesse等人 [6] 还指出，文本中的句法模式也蕴含着重要的人格特质线索。进一步地，一些研究还尝试利用词典生成特征，旨在通过对预定义类别的词语统计来揭示文本中蕴含的个人思想、个性与情感。常用的词典工具包括语言探索与字词计数(LIWC)、心理语言学数据库(MRC)、情感词典(如NRC与SenticNet)等。例如，Poria等人 [7] 利用 LIWC、MRC和SenticNet生成的特征，构建了一个基于序列最小优化算法的模型，有效识别了人格特质。类似地，Mairesse等人 [8] 开发了一套词典与特征提取工具，从文本中可提取包含词汇特性、句法结构、功能词使用情况及心理语言学特征在内的88个特征，并验证了其在人格特质识别中的有效性。随着研究的深入，这些方法逐渐应用于社交媒体内容分析与个性化服务领域，如Golbeck等人 [8] 尝试基于Facebook和Twitter内容提取特征来预测用户的个性。除了词典外，TF-IDF、词袋和词性标注也被用于识别人格特征。例如，Choong等人 [9] 设计了一个针对MBTI特质的识别模型。该模型结合字符级TF-IDF、词级TF-IDF和LIWC特征，利用LightGBM (Light Gradient Boosting Machine)作为分类器，取得了短期内最佳识别效果。然而，这些人工特征依赖于长文本，而在社交网络中，多数用户生成的文本内容往往较短，难以满足这些特征提取的要求。

已有研究将预训练语言模型大致分为两代。第一代模型的学习目标是在单词级别生成与上下文无关的分布式词嵌入，代表模型主要有Word2Vec、GloVe (Global Vectors for Word Representation)。然而，大多数自然语言处理任务的要求超出了单词理解水平，需要在句子或更高层次上对神经编码器进行预训练。这催生了第二代预训练语言模型，代表模型有GPT (Generative Pre-trained Transformer)、BERT、RoBERT (Robustly Optimized BERT Pretraining)等。

在第一代模型中，常用的Word2Vec可通过训练前馈神经网络，根据上下文预测单词，生成固定长度的词特征向量，并通过组合多个单词向量来表示句子。例如，Majumder等人 [2] 利用Word2Vec生成文档的词嵌入，并输入到深度卷积神经网络中进行人格预测。此外，Word2Vec算法还可用于生成多个大规模词嵌入，尤其是基于大型数据集(如Twitter和Wikipedia)生成的预训练嵌入。GloVe就是一个典型的例子，相较于Word2Vec，它在处理复杂且动态的社交媒体文本时表现更为优越。例如，Kumar等人 [10] 基于GloVe词嵌入，提出了一种结合语言特征的人格特质分类系统。然而，这些方法仅限于单词级别的特征表示，未能充分捕捉更高层次的语义关系。这一局限性在面对更复杂的自然语言处理任务时，限制了模型的性能和泛化能力。

之后，研究提出了一种新的词嵌入方法，即Transformers，作为循环神经网络的替代方案。它通过多层自注意力机制和前馈神经网络来改进当前序列到序列的映射转换任务。基于此，Google推出了预训练的BERT模型，通过掩码语言模型和下一句预测任务，学习Transformers的双向编码器表示，最终生成单词级和句子级的语义表示。BERT凭借其更好的文本理解能力在NLP任务中取得了一系列成功，使得人格识别的研究者更多关注预训练模型。他们利用BERT捕捉丰富的语言特征，并在人格识别任务上对其进行微调，实现了高效的迁移学习。这种方法不仅提高了分类的准确率，还显著缩短了训练时间。例如，Mehta等人 [11] 对比了BERT在Essays和Kaggle数据集上的结果，发现预训练语言模型的特征表现优于传统的心理语言学特征，且综合结果优于当时的最优模型。类似地，El-Demerdash等人 [12] 结合了包括BERT在内的三种预训练语言模型来提取特征，在Essays和MyPersonality数据集上取得了领先的结果，准确率显著提高了约1.25%和3.12%。Christian [13] 等人提出了一种基于多种预训练语言模型的多模态深度学习方法，用于预测社交媒体用户的个性。他们采用了BERT、RoBERTa等从Facebook和Twitter等多个数据源中提取双向上下文特征，为人格识别领域提供了强有力的技术支持。

此外，一些研究还尝试混合方法，将心理语言学特征和预训练语言特征结合，用于训练更加精确的人格识别模型。例如，Kazameini等人 [3] 将BERT提取的特征与Mairesse心理语言学特征进行拼接，并将其输入到多个支持向量机中进行集成学习。Ren等人 [14] 则认为，情感信息和上下文语义特征的结合更为重要，他们利用BERT和SenticNet特征，构建了一个性能更高的人格自动识别模型，准确率高达92.51%。类似地，Lopez等人 [15] 结合使用Word2Vec、GloVe和BERT预训练语言模型来提取YouTube视频的音译文本，从而实现大五人格特质识别然而，尽管在某些情况下，混合心理语言学特征和预训练语言特征的方法表现出色，但其效果因数据集和应用场景而有所不同。例如，有些研究发现结合两类特征后模型性能并未显著提升，表明混合方法的有效性需根据具体情况评估和优化。

在人格识别研究中，传统的文本挖掘方法依赖机器学习算法。研究人员通过文本处理和特征提取，将文本数据转化为数值特征向量，再输入到机器学习分类器进行监督或无监督学习。通过理解这些特征与目标任务之间的关系，这些算法能够有效地执行分类和预测任务。常用的机器学习算法有朴素贝叶斯(Naive Bayes, NB)、K近邻(K-Nearest Neighbors, KNN)、支持向量机(Support Vector Machine, SVM)、逻辑回归(Logistic Regression, LR)等。例如，Bharadwaj等人利用TF-IDF、LIWC和EmoSenticNet来生成特征向量，降维后输入到朴素贝叶斯和支持向量机在内的多种机器学习模型中进行MBTI人格预测。进一步地，Ryan等人 [16] 通过Word2Vec获取词向量表示，并使用逻辑回归、随机梯度下降和随机森林在内的多种机器学习方法进行效果评估。

考虑到机器学习在处理单词间长距离依赖关系时的能力有限，以及其对单词顺序关系缺乏显式考虑，可能导致丢失关键的上下文信息，一些研究开始引入深度学习模型用于用户的人格识别与预测。例如，Yuan等人 [17] 利用LIWC词典工具和Word2Vec从Facebook内容中提取语言特征和词嵌入，并将这些特征输入到卷积神经网络(Convolutional Neural Network, CNN)中，卷积神经网络能够利用词嵌入来捕捉文档中的上下文信息，生成基于文档的表示，提取深层特征并执行人格分类任务。结果显示，将语言特征与深度学习分类器相结合在一定程度上改善了预测性能，但对不同深度学习模型的结合研究仍在继续。更进一步地，为更好保留和管理长期依赖信息，Sujatha等人 [18] 提出了一种基于CNN-LSTM的混合人格分类模型，该模型结合了卷积神经网络在提取时间无关特征方面的优势和长短期记忆网络在捕捉长期依赖关系方面的能力。实验结果表明，该混合模型在性能上显著优于单一模型。此外，将深度学习模型与注意力网络相结合，可以进一步增强模型表现。Lynn等人 [19] 提出了一种分层注意力机制，通过评估用户Facebook帖子的相对权重来预测大五人格特质。他们使用门控循环单元获取消息级编码，再通过注意力机制加权这些编码，以提取与个性特质相关的重要特征，从而提高预测准确性。类似地，Wang等人 [20] 构建了一个基于自注意力机制的分层混合模型(HMAttn-ECBiL)，用于从文本获取深层语义信息。该模型通过CNN提取文本的局部特征，Bi-LSTM提取句子级特征，从而在不同层次上捕捉文本的细粒度信息与上下文依赖关系。通过这种水平和垂直的双向特征提取，该模型能够更加全面地获取语义信息，依赖特征的多样性显著提升了人格识别任务中的预测性能。

与此同时，已有许多研究探讨了通过集成方法利用多个分类器的优点来提高模型预测能力的可能性，这种方法能够最大限度地利用数据集信息并提供最佳结果。集成学习通过单独训练多个分类器并将它们的输出组合起来，以提高预测模型的置信度。例如，Ramezani等人 [21] 提出了一种由五个独立的自动人格识别模型组成的集成建模方法，包括：基于词频向量、本体、丰富本体、潜在语义分析(LSA)、和深度学习(Bi-LSTM)。并通过分层注意力网络整合所有分类器，综合利用统计信息、分层语义信息、基于共现和上下文的信息以及序列分析的信息，以预测Essays数据集中的大五人格特征。类似地，El-Demerdash等人 [12] 提出了一种基于数据级和分类器级融合的深度学习自动人格识别系统。他们同时利用Elmo、ULMFiT和BERT等预训练语言模型生成Essays和MyPersonality数据集的嵌入，并进行数据级融合。随后，集成BERT和Elmo的MLP分类器以及ULMFiT的Softmax分类器，生成最终预测结果。