图片新闻

    《计算机科学与探索》“垂直领域大模型构建与应用”专题
  •     近年来,基于大规模语料训练的大参数量语言模型在自然语言理解和生成方面展现出了卓越的性能。同样,基于大规模文本、图像、视频等数据训练的多模态大模型在视觉内容理解和生成方面表现出色。这些大模型凭借出色的泛化能力和丰富的参数化知识,能够通过精心设计的指令和微调技术迅速适应新任务。然而,将大模型技术应用于特定垂直领域仍面临挑战。基于通用域语料训练的原始大模型具有丰富的常识知识,但缺乏垂直领域的专业知识,而垂直领域大模型在一定程度上将承担领域专家的角色,如何借助已有的领域知识表示方法,如知识图谱等,让垂直领域大模型学会记忆、利用、融合领域知识需要新的解决方案,以期构建负责任、可控、可解释的领域专家大模型。

        为了推动垂直领域大模型的构建与应用研究,《计算机科学与探索》特设“垂直领域大模型构建与应用”专题。本专题旨在围绕垂直领域大模型的构建与应用,探讨领域知识建模与大模型的融合理论、方法和技术,探究大模型在垂直领域的应用实践,以形成一套高效、低成本、易于扩展且具有可解释性的垂直领域大模型构建与应用新思路、新技术和新系统,促进大模型技术在重点关键领域的深入应用。

    特邀编辑
    王昊奋 特聘研究员 同济大学
    王  鑫 教授 天津大学
    张  文 特聘研究员 浙江大学
    张玲玲 副教授 西安交通大学

    AIGC大模型测评综述:使能技术、安全隐患和应对
    许志伟1,2,李海龙2,3,李  博2,3,李  涛1,4,王嘉泰5,谢学说1,董泽辉1    
    1. 先进计算与关键软件(信创)海河实验室,天津 300350
    2. 中国科学院 计算技术研究所,北京 100080
    3. 内蒙古工业大学 数据科学与应用学院,呼和浩特 010080
    4. 南开大学 计算机学院,天津 300350
    5. OPPO研究院,北京 100026
    介绍:人工智能生成内容(AIGC)模型因出色的内容生成能力,在全球范围内引起了广泛关注与应用。为了降低不可知风险及其危害,对AIGC大模型进行全面测评变得越来越重要。论文对AIGC大模型测评研究进行了综述和分析。对模型测评过程进行了概述,内容涵盖模型测评前准备和相应的测评指标,并系统性地整理了现有测评基准。讨论了AIGC大模型在金融、政治和医疗领域的代表性应用及其存在的问题。通过可解释性、公平性、鲁棒性、安全性和隐私性等不同角度深入研究测评方法,对AIGC大模型测评需要关注的新问题进行解构,提出大模型测评新挑战的应对策略。
    链接http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2402023
    引用格式:许志伟, 李海龙, 李博, 等. AIGC大模型测评综述:使能技术、安全隐患和应对[J]. 计算机科学与探索, 2024, 18(9): 2293-2325.

    基于大语言模型增强表征对齐的小样本持续关系抽取方法
    李逸飞1,2,张玲玲1,2,董宇轩2,3,王佳欣2,3,仲宇杰2,3,魏笔凡2,3    
    1. 传播内容认知全国重点实验室,北京 100733
    2. 西安交通大学 计算机科学与技术学院,西安 710049
    3. 陕西省大数据知识工程重点实验室,西安 710049
    介绍:关系抽取作为自然语言处理的关键任务,对于深化语言理解、构建知识图谱以及优化信息检索系统具有重要作用。为了充分利用大语言模型的语义知识来缓解灾难性遗忘与过拟合问题,论文提出了一种基于大语言模型增强表征对齐的小样本持续关系抽取方法LAFA,通过关系实例改写、语义扩充和关系增强表征等策略,在保持数据量和计算成本较低的同时,有效提升了模型对新关系的适应性和对旧知识的保持能力。在两个关系抽取数据集FewRel、TACRED上进行实验验证。LAFA的推理效率与开销远远低于现有的基于大语言模型的方法,并且具有很强的扩展性,能够适配多种语言模型。
    链接http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2406056
    引用格式:李逸飞, 张玲玲, 董宇轩, 等. 基于大语言模型增强表征对齐的小样本持续关系抽取方法[J]. 计算机科学与探索, 2024, 18(9): 2326-2336.

    生成式大语言模型在中文放射医学领域的应用研究
    陈龙飞1,高  鑫1,侯皓天1,叶初阳2,刘亚欧3,张美慧1  
    1. 北京理工大学 计算机学院,北京 100081
    2. 北京理工大学 集成电路与电子学院,北京 100081
    3. 首都医科大学附属北京天坛医院 放射科,北京 100070
    介绍:利用自然语言处理(NLP)技术来理解和学习影像学报告的文本内容,并以此辅助完成放射科临床工作,已成为该领域的重要研究方向。论文提出了一种基于本地高效微调大语言模型的中文放射医学领域自然语言任务解决方案。通过收集并构建大规模高质量中文影像学报告自然语言任务数据集,采用LoRA高效微调方法对开源大语言模型Baichuan2进行有监督微调训练,提出了能够同时解决四种中文放射医学领域临床任务的“龙影大模型”。在三个医学影像种类的报告数据集上进行了多组实验,结果显示所提方法在分类性能、文本总结与扩充能力和模型泛化性上表现更好。
    链接http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2406041
    引用格式:陈龙飞, 高鑫, 侯皓天, 等. 生成式大语言模型在中文放射医学领域的应用研究[J]. 计算机科学与探索, 2024, 18(9): 2337-2348.

    大模型驱动的科技政策法规问答系统研究
    向小伟1,2,申艳光1,胡明昊2,闫天伟3,罗  威2,罗准辰2    
    1. 河北工程大学 信息与电气工程学院,河北 邯郸 056038
    2. 军事科学院 军事科学信息研究中心,北京 100142
    3. 国防科技大学 计算机学院,长沙 410037
    介绍:科技政策法规问答系统(Q&A)在帮助公众理解和应用科技法规方面发挥关键作用。大语言模型(LLM)可以显著提升科技政策法规问答系统的准确性和效率。论文提出了一种检索增强自提示的问答数据集构建方法,并构建了一个大规模高质量的科技政策法规问答数据集;同时,构建了科技政策法规问答系统,该系统结合了经过低秩自适应(LoRA)微调技术优化的大语言模型与科技政策法规知识库,并运用提示学习技术,来引导系统生成准确的答案。实验结果显示,构建的问答数据集在引用和整合科技政策法规知识方面,比传统方法构建的问答数据集的性能有显著提升。
    链接http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2406023
    引用格式:向小伟, 申艳光, 胡明昊, 等. 大模型驱动的科技政策法规问答系统研究[J]. 计算机科学与探索, 2024, 18(9): 2349-2360.

    面向工艺规范文本的大语言模型知识注入方法研究
    纪贵阳1,王裴岩1,余  卓2    
    1. 沈阳航空航天大学 计算机学院,沈阳 110136
    2. 上海飞机制造有限公司 航空制造技术研究所,上海 201324
    介绍:使用大语言模型进行工艺规范的应用是解决工艺知识查询不准确的有效途径。论文提出一种面向工艺规范文本的大语言模型知识注入方法。根据工艺规范数据特点设计了包含辅助句判别任务、概念-篇章生成任务、篇章续写任务及篇章-摘要生成任务的知识注入数据,结合问答对数据对模型进行有监督微调,为模型注入领域概念、属性、多概念间关系及参考依据知识。实验结果表明,结合知识注入数据和问答对数据训练的模型,对比只使用问答对数据训练的模型的各项指标均有提升,表明了提出的知识注入方法的有效性。
    链接http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2406067
    引用格式:纪贵阳, 王裴岩, 余卓. 面向工艺规范文本的大语言模型知识注入方法研究[J]. 计算机科学与探索, 2024, 18(9): 2361-2369.

    基于大语言模型的命名实体识别研究进展
    梁  佳,张丽萍,闫  盛,赵宇博,张雅雯    
    内蒙古师范大学 计算机科学技术学院,呼和浩特 010022
    介绍:论文对基于大语言模型的命名实体识别最新研究进展进行综述,概述大语言模型和命名实体识别的发展历程,简要介绍命名实体识别任务常用的数据集和评估方法,从基于规则和字典、基于统计机器学习和基于深度学习的命名实体识别方法这三方面对目前传统命名实体识别研究工作进行梳理。按照模型架构详细阐述不同大语言模型如何应用于不同领域的命名实体识别任务,并对存在的问题和改进的方向进行分析。
    链接http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2407038
    引用格式:梁佳, 张丽萍, 闫盛, 等. 基于大语言模型的命名实体识别研究进展[J]. 计算机科学与探索, 2024, 18(10): 2594-2615.

    面向中医药大模型的知识增强方法研究
    吉祥宇1,王  鑫1,张鹤译1,孟昭鹏2,张俊华2,庄朋伟3,贾勇哲1,4,徐大为4    
    1. 天津大学 智能与计算学部,天津 300350
    2. 天津中医药大学,天津 300193
    3. 天津中医药大学第一附属医院 国家中医针灸临床医学中心,天津 300193
    4. 天大智图(天津)科技有限公司,天津 300192
    介绍:论文提出了一种新的知识增强方法。该方法由模型训练、图谱构建和知识增强三部分组成。在模型训练阶段,通过对基础大模型在中医药数据集上进行预训练和微调两阶段训练,得到中医药领域大模型。在图谱构建阶段,基于中医十万首经典方剂和古籍中的方剂,利用清洗后的数据集构建中医药图谱。在知识增强阶段,基于对知识图谱上信息的计算,利用检索图谱中的专业知识和图谱结构计算检索结果,中医药方剂中的结构特性得以保留。针对中医药方剂配伍任务特性提出了一组评价标准,用于评估模型在该任务上的表现。实验表明,该方法相对于基准测试模型,在主观指标和客观指标上均获得了较大提升,BLEU-1最高提升0.09,ROUGE-1最高提升0.21。消融实验表明,该方法对于模型在该任务上具有较大作用,未使用知识增强的模型BLEU-1相比于使用知识增强下降约37%。
    链接http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2407082
    引用格式:吉祥宇, 王鑫, 张鹤译, 等. 面向中医药大模型的知识增强方法研究[J]. 计算机科学与探索, 2024, 18(10): 2616-2629.

    基于大语言模型的公安专业小样本知识抽取方法研究
    裴炳森,李  欣,蒋章涛,刘明帅  
    中国人民公安大学 信息网络安全学院,北京 100038
    介绍:论文提出使用较少资源和数据构建垂直领域大语言模型,实现模型对公安专业适配的方法,利用知识编辑技术MEMIT、低资源微调技术LoRA、提示模板,提高模型对警务术语、警务常识等公安知识的理解能力。为进一步提高模型的知识抽取效果,设计小样本执法办案文本数据抽取流程,以更好结合模型中的相关案别专业知识。实验结果表明,融合抽取流程的公安专业垂直领域大语言模型在各类知识抽取任务中准确率较之传统方法显著提高,有助于帮助一线民警快速、客观、准确分析执法办案文本,挖掘案件潜在信息,支撑公安工作智能化发展。
    链接http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2403039
    引用格式:裴炳森, 李欣, 蒋章涛, 等. 基于大语言模型的公安专业小样本知识抽取方法研究[J]. 计算机科学与探索, 2024, 18(10): 2630-2642.

    融合大模型与图神经网络的电力设备缺陷诊断
    李  莉1,2,时榕良1,3,郭  旭1,蒋洪鑫1   
    1. 华北电力大学 计算机系,河北 保定 071003
    2. 河北省能源电力知识计算重点实验室,河北 保定 071003
    3. 北京中恒博瑞数字电力科技有限公司,北京 100085
    介绍:为提升缺陷诊断的准确性和效率,论文提出一种基于图神经网络的缺陷文本评级分类方法和大模型智能诊断分析助手。构建专业词典,使用自然语言处理算法规范化文本描述。通过统计方法,优化缺陷文本的语义表示。集成图注意力神经网络和RoBERTa模型对缺陷文本进行精确评级分类。基于大语言模型Qwen1.5-14B-Chat进行低秩适配(LoRA)微调训练,得到电力设备诊断大模型Qwen-ElecDiag,结合检索增强生成技术开发设备缺陷诊断助手。对比实验结果表明,提出的基于图神经网络的缺陷评级分类方法在准确性上较最优基准模型BERT提升近8个百分点;诊断助手的电力知识以及缺陷诊断能力得到提升。通过提高缺陷评级的准确率并提供全面专业化诊断建议,不仅提高电力设备运维的智能化水平,也为其他垂直领域的智能运维提供新的解决方案。
    链接http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2405085
    引用格式:李莉, 时榕良, 郭旭, 等. 融合大模型与图神经网络的电力设备缺陷诊断[J]. 计算机科学与探索, 2024, 18(10): 2643-2655.

    基于大语言模型的知识图谱构建及应用研究
    张才科1,李小龙2,郑  胜2,蔡家骏2,叶小舟1,罗  静1     
    1. 中核武汉核电运行技术股份有限公司,武汉 430223
    2. 三峡大学 理学院,湖北 宜昌 443002
    介绍:论文提出了分步提示策略的大语言模型知识抽取方法,构建了DCS运维知识图谱;并基于大语言模型技术和二次意图识别方法,利用知识图谱开展智能问答等知识服务。以某核电厂DCS运维数据为例,重点就知识抽取、图谱构建、智能问答开展实例研究。结果表明,模型的总体精确率、召回率和F1值分别为91.24%、85.85%和88.43%,能够较为全面地获取DCS多源异构运维数据中的关键实体及属性信息,指导开展领域知识问答,有助于运维人员及时响应DCS报警异常,分析总结故障原因及响应策略,为后期的电厂DCS运维的培训和维护提供借鉴和参考。
    链接http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2406013
    引用格式:张才科, 李小龙, 郑胜, 等. 基于大语言模型的知识图谱构建及应用研究[J]. 计算机科学与探索, 2024, 18(10): 2656-2667.
  • 发布日期: 2024-10-10  浏览: 173