大型预训练语言模型在网络健康信息鉴别中的应用探讨 - 王超; 孔祥辉 (农业图书情报学报, 2023)
[目的/意义]探讨Chat GPT等大规模预训练语言模型在网络健康信息识别中的应用效果，为人工智能在健康信息领域的应用提供参考。[方法/过程]以国内某权威辟谣平台与健康相关的信息为研究对象，使用“Chat GPT”和“讯飞星火”对其真实性进行鉴定，对其性能进行评估，并将鉴定结果与医学专家或权威机构的鉴定结果进行比较。[结果/结论] Chat GPT和讯飞星火的鉴别准确率分别为93.9%和92.9%，F1值分别为0.951和0.946，应用效果良好。两者生成的解释文本内容比较详细，语言比较流畅，文本长度和语义相似度与专家文本高度接近，但对个别信息的解释仍存在科学依据不够详细、逻辑错误等问题。实验结果表明，大规模预训练语言模型在辅助网络健康信息识别任务方面具有一定的优势，但仍需要人工干预以保证结果的准确性和可靠性。