近红外光谱是一种分子吸收光谱,主要反映含氢基团的合频和倍频的振动,具有丰富的组成和结构信息。近红外光谱的光谱范围为800~2500 nm,可以很方便地实现仪器的微小型化和工业在线分析。近年来,在人工智能、物联网和智能工厂等大背景推动下,我国近红外光谱技术得到了快速和高质量发展,在研究和应用领域都显示出快速发展的趋势。
为实现近红外光谱技术在我国的广泛应用,中国仪器仪表学会近红外光谱分会组织业内近百位专家,于2021年撰写出版了我国首部近红外光谱科普书《点亮我们生活的近红外光谱》。2021年,我国成功承办了第20届国际近红外光谱学术会议,出版了《Sense the Real Change:Proceedings of the 20th International Conference on Near Infrared Spectroscopy》会议论文集。2020和2022年在线上分别举办了第八届和第九届全国近红外光谱学术会议,每届会议的参会人数都超过了2000人。
为满足市场和创新需要,填补标准方法空白,近年有关近红外光谱技术的团体标准和地方标准受到广泛重视。例如,中国仪器仪表学会标准化工作委员会成立了红外光谱技术委员会,制订了《中药混合均匀度与水分快速检测近红外光谱法》(T/CIS 11001—2020)、《傅立叶变换近红外光谱仪通用技术规范》(T/CIS 17006—2022)、《中药生产过程柱层析洗脱起点与终点的实时判断近红外光谱法》(T/CIS11005—2023)等多项团体标准。此外,中国石油和化学工业联合会制订了《原油关键性质快速测定近红外光谱法》(T/CPCIF 0195—2022)团体标准,山东省和吉林省的质量技术监督局制订了多项车用汽油和柴油等快检方法地方标准。为将标准方法实施落地落细,我国相关单位开展了多个实验室间分析结果的比对工作。例如,针对《纺织品纤维定量分析近红外光谱法》(FZ/T 01144—2018)标准方法,组织十余家实验室参与了纤维定量分析比对试验,通过查找实验室间分析数据差异原因,进一步提升了标准方法的实际应用水平。
近红外光谱技术得到了社会各方面的广泛关注。国家知识产权局刘南岑等[1]从专利申请量、技术构成、申请人类型、法律状态和转让等方面剖析了近红外光谱技术在我国中药制造领域近20年的发展情况,指出了当前专利布局存在的问题,并对未来的创新方向提出了建议。田华等[2]采用文献计量学方法对2010~2021年期间,71个国家/地区、766个研究机构、2342位作者在197种期刊发表的584篇食品领域近红外光谱研究论文进行了分析,从文献的时空分布、国家/地区及相关机构影响力、合作关系、研究热点与前沿等方面,评述了近红外光谱技术在食品领域中的研究现状和发展前景。近红外光谱教学也逐步进入大学课堂,李敏等[3]将近红外光谱用于乙醇精馏实验教学过程中,邹亮等[4]将近红外光谱煤矸石分选纳入“人工智能基础”教学课程,在培养大学生工程意识和创新能力等方面均取得了良好效果。此外,2021年“高教社杯”全国大学生数学建模竞赛中出现了近红外光谱用于“中药材鉴别”的试题。
本研究组曾于2006、2014和2019年分别综述了1996~2005年、2009~2013年和2014~2018年我国近红外光谱分析技术的研究和应用进展[5][6][7],本综述是上述3篇论文的续篇,从上千篇论文中,选取105篇具有代表性的文献,概述了2019~2023年我国近红外光谱技术领域的进展情况,主要引用近五年国内学术期刊上发表的论文,未引用国外期刊的文献和国内外专利。
1方法学研究
水光谱组学是利用近红外光谱研究水和水系统分子之间氢键组成形态的学科。孙岩等[8]总结了用于温控近红外光谱分析的化学计量学方法,论述了利用随温度变化的水光谱信息研究小分子结构,以及蛋白质、温敏聚合物结构转变过程等方面的工作。陈定芳等[9]梳理了水光谱组学的历史沿革、研究方法及其应用现状,阐明了水光谱组学用于测定人体经络脏腑的超分子结构特征的可行性。王海朋等[10]论述了利用温控近红外光谱及分子动力学模拟在分子层面和原子尺度上认识抗冻剂与水/冰晶之间相互作用的研究。
深度学习方法在近红外光谱分析中的应用研究是近些年的研究热点。李灵巧等[11]采用深度卷积网络建立了多厂商、多品种药品近红外光谱分类模型,取得了比传统机器学习更优的分类性能。李文霞等[12]采用深度卷积网络建立了12类纤维织物的在线定性识别模型,识别正确率达到96.6%。针对小样本量的训练问题,孙禧亭等[13]通过动态二维相关光谱结合迁移学习,将Goog Le Net的图像识别模型用于织物的近红外光谱分类,在很大程度上解决了形态复杂且组成高度相似样本的分类难题。王磊等[14]利用超参数优化器自动搜索深度卷积网络的超参数,弥补了卷积网络容易出现过拟合的不足,提高了模型的泛化能力和稳健性。
深度学习中的自动编码器是一种优秀的光谱特征提取方法,尤其是与有监督策略结合,可以获得比传统方法更优的定量和定性校正模型。孙志兴等[15]提出一种基于堆叠监督自动编码器的近红外光谱建模方法,可以提取数据深层的特征信息,拟合光谱与物性之间复杂的非线性关系。罗智勇等[16]提出了一种改进卷积自编码网络的特征提取方法,能有效学习光谱数据中的内在结构和非线性关系,所建模型具有更好的预测性能。
近红外光谱分析中的模型传递方法一直是该领域的研究热点,随着红外光谱分析技术在商品流通领域的应用,模型传递算法逐渐向无标样方法拓展。其中,半监督和无监督的模型传递方法受到越来越多的重视。张进等[17]提出了一种无参数校正增强框架(PFCE)算法,通过对模型回归系数的相关性约束,增强源模型对目标仪器样本光谱的预测能力。该方法减少了对标样的需求,也省去了模型再建需要的多参数优化步骤,可用于单台仪器上的模型更新和多台仪器上的模型传递。深度学习中的迁移学习也被用于模型传递。张小丹等[18]基于卷积神经网络提出了一种仪器之间模型迁移的策略,提高了模型的共享利用率。陈楚汉等[19]通过迁移学习策略实现了家蚕种茧雌雄鉴别模型在多台光谱仪和多个品种之间的传递。刘贞文等[20]将深度自编码器用于近红外光谱的转移,获得比传统模型传递方法更优的结果。宾俊等[21]利用深度模型转移策略,将一台近红外光谱仪器上建立的烟粉卷积神经网络模型迁移到新仪器上用于烟丝总糖含量的预测分析。
传统的多元校正方法建立定量模型步骤较为繁琐,并且需要较为专业的人员进行维护,很大程度上限制了其广泛应用。将谱图检索算法直接进行定量分析的免建模方法可以显著减轻模型维护的工作量。李敬岩等[22]将移动窗口相似系数结合蒙特卡洛虚拟光谱相结合,提出了快速测定加氢-催化裂化组合生产高辛烷值汽油或轻质芳烃工艺(LTAG)中原料与产物烃组成的近红外光谱方法。刘秋芳等[23]采用样本增强方法结合K-近邻回归建立了预测石脑油单体烃分布比例的近红外光谱模型,以获取石脑油单体烃分子组成的含量。样本增强前后的对比如图1所示,增强后的虚拟样本在一定范围内大幅增加了待测样本周围训练样本的密度,甚至完全覆盖了待测样本,提高了预测准确度[23]。蔡广庆等[24]采用欧氏距离与多元线性回归方法拟合待测光谱,建立了近红外光谱预测汽油分子组成的方法。
图1 增强前实际样本(左)和增强后混合样本(右)的主成分分析得分图[23]:红色圆点为待测样本;蓝色圆点为实际校正样本;黄色圆点为虚拟校正样本
Fig.1 Principal component analysis score graph of actual samples before enhancement (Left) and mixed samples after enhancement (Right)[23]:red dots represent test sample,blue dots represent actual calibration samples,and yellow dots represent virtual calibration samples
多模型共识是提高预测结果准确性和稳健性有效的方法。毕淑慧等[25]将PLS和ELM苹果分类模型进行融合,提高了分类的准确性。叶华等[26]基于不同光谱区间建立成员模型,通过拉格朗日乘数法获取各成员模型的权系数,用于果酒总酚含量的快速分析。
多数据融合方法是另一个研究热点[27],通过将不同信息特征进行数据融合,达到提高模型预测准确性和稳定性的目的。吴思俊等[28]将近红外光谱与拉曼光谱融合,用于盐酸青藤碱制备工艺一致性评价,提出了一种评价工艺变更前后产品质量的新方法。焦俊等[29]将近红外和远红外光谱进行融合,建立了稳健性和准确性更好的7种核桃品种鉴别模型。孙迪等[30]将近红外和中红外光谱进行融合,实现了对规模化奶牛场粪水运移全链条各环节氮、磷含量的快速检测。陈明明等[31]将近红外光谱和矿物元素含量进行融合,提高了绿豆产地的鉴别准确率。茌方等[32]将近红外光谱与激光诱导击穿光谱(LIBS)融合用于发电厂炉煤发热量的快速分析,提高了预测准确性。宋健超等[33]将近红外光谱与X射线荧光光谱(XRF)联用,提高了预测煤炭发热量的重复性。王秋等[34]采用LIBS联合近红外光谱,建立了有效区分油茶叶片炭疽病等级的PLS-DA模型,为鉴别油茶叶炭疽病的等级提供了一种新方法。蔡德玲等[35]融合近红外光谱和颜色特征,实现了草莓的可溶性固形物含量的快速、准确预测。王清亚等[36]将XRF和近红外光谱融合,对白术中的3种内酯进行定量分析,其预测准确性优于单独一种光谱的结果。雷涛等[37]将近红外反射光谱与荧光光谱结合,消除了土壤粒径、湿度、有机质和土壤类型等因素对检测PAHs荧光光谱强度的影响。
在光谱和图像结合方面,张柏等[38]把近红外光谱与计算机视觉融合,对红茶发酵程度进行精准、量化判别,提高了茶叶加工的智能化和标准化水平,也为其它农产品的标准化加工提供了借鉴。黄艳等[39]将近红外光谱与气相离子迁移谱结合,用于评价白茶等级。边明博等[40]将基于近红外光谱反射率构建的植被指数与RGB图像的纹理信息融合,提高了马铃薯叶片叶绿素含量预测的准确性。
2实用性技术研究
近些年,我国近红外光谱实用性技术研究工作越来越深入,主要体现在仪器测量附件的优化设计、光谱测量条件的优化以及模型优化建立和应用等方面。
刘燕德等[41][42]提出了新型的光源发射接收一体化探头结构设计,对传统的在线近红外光谱果品分选设备进行改造研究,获得了满意的实验结果;同时利用多模式可调节的光学结构,研究了卤素灯光照射位置对苹果近红外漫透射测量结果的影响,确定了最佳的光照位置。田喜等[43]基于自主研发的全透射近红外光谱在线检测系统(图2),研究了苹果不同姿态获取光谱的差异,通过建立多姿态通用模型,提升了模型在不同姿态时的预测稳健性。孙潇鹏等[44]针对柚果的在线检测,优化传送托盘的结构参数设计和材料选择,提高了柚果在线输送的稳定性,减少了托盘对光谱采集的干扰。金文玲等[45]采用超连续激光光源作为入射光,设计搭建了水稻种子活力的近红外透射光谱检测系统,实现了带稃壳水稻种子宽波段高信噪比的光谱测量。彭彦昆等[46]基于可见/近红外光谱技术开发了掌上式生鲜猪肉新鲜度无损智能检测装置,可满足不同部位猪肉新鲜度多指标现场快速检测和分级的需求。符娟娟等[47]设计了一款用于骨关节炎的原位检测的近红外光谱光纤探头,通过自制的固定耦合装置和红外光谱仪联用,可高效和高质量地获取样本的光谱。卢启鹏等[48]研究了光谱仪的波长漂移对偏最小二乘模型预测结果的影响,为仪器设计参数的确定和分析操作规程的制订提供了依据。韩岷杰等[49]研究了不同光源类型、光纤探头和光源与检测点的距离以及光源功率对马铃薯近红外光谱质量的影响,为在线分选设备的设计及安装提供了技术参考。曾英杰等[50]将近红外光谱与低场核磁共振进行组合,研发了一种能够同位同步采样的联用分析仪,实现了谱学信息互补,可用于石油产品、食品农业和生物医药等领域。
图2 短积分全透射光谱采集系统[43]
Fig.2 Schematic of on-line transmittance spectra measurement system[43]
钟翔君等[51]研究了土壤的不同粒径对近红外光谱预测有机质含量的影响,为确定田间土壤的光谱采集条件打下了基础。赵晨等[52]通过研究不同饲料原料温度对原料概略养分预测准确性的影响,获得了用于测量玉米、碎米、大豆粕和花生粕4种常见饲料原料近红外光谱的合适温度范围。陈东杰等[53]探讨了不同移动速度对近红外光谱漫透射方式在线检测库尔勒香梨品质的影响,并建立了稳健性更好的速度混合模型。孙迪等[54]研究了季节因素对近红外光谱预测规模化奶牛场粪水氮磷含量的影响,比较了季节内和季节间模型的优劣,为建立全季节要素的模型提供了支撑。杨增玲等[55]探究了将豆粕近红外光谱定量分析模型从实验室到工厂在线应用转移的可行方法,通过扩充现场校正样本的方法成功将实验室光谱数据应用到饲料生产企业的在线分析。胡丽萍等[56]采用虚拟标样建立转移矩阵,将一台在线近红外光谱仪上的中草药口服液光谱传递到另一台仪器上,其结果满足工业应用的要求。刘静等[57]将外部参数正交化算法用于小柴胡颗粒近红外光谱中水分信息的提取,提高了水分含量预测值的稳定性和准确性。
在近红外光谱数据库建立方面,刘运华等[58]基于2000多个样本建立了油茶籽的近红外光谱数据库,可用于油茶籽收购、市场流通和生产加工。张坤峰等[59]建立了中药口服固体制剂原辅料的近红外光谱数据库,并成为原辅料物性数据库的重要部分。王晓丽等[60][61]建立了不同病虫害的苹果叶片光谱反射率和图像数据库,以及苹果树标准叶片近红外光谱、标准图像和氮含量的数据集,可为利用航空航天遥感监测大面积果树营养诊断和病虫害提供数据支撑。
3应用研究进展
近年来我国近红外光谱的应用研究逐渐向以下两个方向发展:小型、微型的便携式仪器的现场分析应用[62][63][64]以及工农业生产装置的在线分析应用[65]。
3.1便携式现场分析
在硬件开发方面,高升等[66]基于可见/近红外漫反射方式,研制了便携式生长期红提葡萄多品质参数无损检测仪,可以快速测定可溶性固形物含量、总酸、p H值、硬度和含水率等指标。魏雨晴等[67]研制了便携式近红外光谱仪,将其用于枇杷果实的快速无损品质分级,提升了枇杷果实的销售经济价值。彭彦昆等[68]开发了具有自建模功能的便携式近红外光谱火腿品质腐败检测设备,并利用物联网技术和自行提出的货架期预测模型开发了火腿货架期预警系统。为满足物联网感知层中对物质成分智能传感的应用需求,王绪泉等[69]提出了集成多通道滤光片和集成LVF两种微型化光谱组件结构,并进行了相关的实验验证。
在应用研究方面,近年来研究人员将便携式近红外光谱仪与区域特色产业结合在一起,以创新提升优势产业,增强产品的竞争力。饶芳秋等[70]采用便携式近红外光谱仪建立了快速预测酒醅入窖和出窖的水分、酸度和淀粉含量的校正模型,可用于白酒生产车间发酵酒醅品质的实时监测。饶敏等[71]将便携式近红外光谱仪用于常见纺织品中纤维含量的快速分析,结果表明该方法可以用于日常现场定量检测工作。张雪莉等[72]利用便携式近红外光谱仪,快速检测从油茶籽饼粕提取茶皂素过程中的主要组成含量,以确定提取终点。陈智锋等[73]采用便携近红外光谱仪建立了快速预测混纺织品中羊毛含量的模型,可用于纺织品交易、海关商检等现场检测。董怡青等[74]提出了利用便携式近红外光谱仪无损鉴别陈皮真伪的方法。范林宏等[75]用便携式近红外光谱对川贝母及其掺伪品进行快速鉴别,可满足现场无损真伪鉴别的需求。王超等[76]利用近红外光谱建立了小龙虾新鲜度快速检测方法,适用于市场上的批发商和商户使用。周昊杰等[77]利用便携式近红外光谱仪建立苜蓿干草、玉米青贮两种粗饲料营养成分的近红外光谱数据库,指导苜蓿干草和玉米青贮的高效精准利用,以达到节本增效的目的。在茶叶品控与装备创制领域,研究者做了大量的研究和应用工作[78]。李文萃等[79]开发了用于茶叶品质快速检测的便携式近红外光谱专用分析仪,可快速预测茶叶中水分、茶多酚、氨基酸、咖啡碱和水浸出物等含量。梁浩等[80]将微型近红外光谱仪结合云服务器实现了粪水中多种成分的现场速测,推进了智能化粪水管理网络的建立。
3.2工农业在线分析
在线近红外光谱在食品、饲料、粮油加工、烟草、能源化工和制药等行业的应用越来越广泛。张敏等[81]研发了一种基于近红外光谱的谷物蛋白质含量在线检测系统,结合GPS/北斗定位模块位置信号,可实现联合收割机作业时动态检测谷物蛋白质的含量,并记录采样的地理位置信息。黄瑞等[82]基于近红外光谱设计了一种冷冻鱼肉自动化分类设备,可快速识别鲑鱼和鳕鱼。郑佳辉等[83]研制了纤维制品识别与分选装置,可对废旧聚酯/棉混纺织物样本进行含量预测,并通过吹分系统对不同聚酯含量的织物进行分选。杨双双等[84]探索了采用近红外光谱预测乳酸发酵各营养成分含量的可行性,结果表明,该技术可用于乳酸等产品的发酵过程监测。王鲁飞等[85]采用在线近红外光谱对膨化大豆粉的品质进行实时监测,及时发现生产过程中物料品质的波动,并实施干预。刘杲华等[86]将在线近红外光谱用于豆粕生产过程的质量控制,提高了豆粕产品的合格率和质量的稳定性。吉桂珍等[87]采用近红外光谱监测甜菊糖苷生产过程液中乙醇浓度含量,为甜菊糖生产工艺控制提供了新的分析手段。宋彦等[88]将近红外光谱用于眉茶的拼配比例高精度计算,有望应用在茶叶拼配作业中,以降低成本和优化库存。
在烟草行业,李石头等[89]采用近红外光谱结合相似度分析,在产地、部位和常规化学等方面表征烟叶的相似程度,提出了一种卷烟配方维护方法,可在一定程度上改善传统烟叶替代及配方工作强度大、主观性强等问题。王戈等[90]将在线近红外光谱仪和面阵相机结合,制订了基于配方原料均匀性的打叶复烤均质化调控策略,提高了打叶复烤均质化的加工效果。刘华友等[91]利用在线近红外光谱实时测定了原烟烟碱的含量,采用“分区域、分区间”的入库和“大小值烟框搭配”出库作业方式,有效提高了配方打叶时每次备料的烟碱均匀性。杜国荣等[92]将近红外光谱和金融领域中K线图结合用于烟丝总糖实时监测,快速判断批次内、批次间的变化情况及未来批次走势,与常用的误差棒图和箱线图相比,具有更好的直观性和时效性。
在能源化工相关行业,吕渊博等[93]基于近红外漫反射光谱,研制了一种煤岩识别装置,结合煤岩数据库和识别算法,可快速鉴别煤岩的种类。梁浩等[94]通过设计旁路循环系统,研究了在线近红外光谱测定粪污厌氧发酵过程中挥发性脂肪酸含量的可行性,为沼气工程智能化控制提供分析数据。章群丹等[95]将近红外光谱用于配方原油技术(如图3所示),通过原油品种和数量的优化配伍,制定出与目标原油在物性和可加工性能等方面很相似的配方原油。该技术可以稳定炼厂加工原油,配合原油在线调合技术,为企业带来可观的经济和社会效益。许育鹏等[96][97]将在线近红外光谱分别用于S Zorb装置和润滑油加氢异构装置,实时分析多种物料的物化性质和分子组成含量,与先进过程控制系统和实时优化控制系统结合,实现了装置的优化运行。李权等[98]采用在线近红外光谱检测三羟甲基丙烷反应釜中各成分含量的实时变化,并对反应过程进行及时、准确的反馈控制,解决了生产安全和质量控制的关键技术难题。
图3 基于近红外光谱的配方原油生成示意图[95]
Fig.3 Schematic diagram of formulated crude oil generation based on near-infrared spectroscopy[95]
近红外光谱作为过程分析技术的重要组成部分,在药品制造过程中发挥了重要作用[99][100][101],我国已有一些中药或西药生产企业将近红外光谱用于生产过程的在线监测,并取得了较好的应用效果。尚献召等[102]将近红外光谱用于注射用益气复脉(冻干)生产过程中,提升了生产过程质量的控制水平,降低了产品的批间差异,提高了产品的质量可控性。金保等[103]利用近红外光谱在中药沸腾制粒生产过程中在线分析水分含量和粒度,加深了对沸腾制粒工艺过程的理解,为工艺研究和生产操作提供了指导。柯樱等[104]采用在线近红外光谱实时监测硫酸羟氯喹颗粒在干燥过程中的水分含量,有助于提高生产效率和成品的质量。
4总结与展望
近年来,近红外光谱技术在我国得到了快速且高质量发展。在工业应用领域,将近红外光谱分析技术与现代过程控制技术密切结合的工程实施模式已得到普遍接受,与加工工艺的融合也逐渐得到认可和应用。利用近红外光谱分析技术解决了部分传统产业中的工艺配方靠经验、生产过程不优化以及产品质量有隐患等问题,为工艺参数的智能、实时、闭环调控提供了有力支持,提升了企业的经营效益和现代化管理水平。近红外光谱也正从以前的“锦上添花”技术转变成“雪中送炭”技术。
近红外光谱在贸易、购物和家庭等场景中的应用也得到了越来越多的关注。在智能家电方面,云计算、大数据和物联网等计算和通信技术承担了数据的传送、分析、管理和储存等工作,显著简化了近红外光谱分析仪器的构造,使其更微小化和精准化。近红外光谱与洗衣机、冰箱和厨电等家电的组合,在衣物材质识别、食物成分检测和烹饪过程监测等场景初步具备了应用条件,大宗商品光谱数据库的建立也将进一步促进这些应用的开发和普及。
未来,我国近红外光谱关键技术的研发建议围绕以下方面开展。(1)深度学习算法在解决复杂建模任务以及模型更新和传递等方面具有优势,但该类算法在光谱分析中的应用研究刚起步,如网络规模、超参数的优化选择、过拟合和模型的可解释性等问题仍需要进一步研究。此外,随着光谱数据库中有效样本数的指数式增加,在现有机器学习和深度学习算法的基础上,对定量和定性建模策略的研究和应用也将越来越重要[105]。(2)微型近红外光谱仪和光谱成像仪的性能指标尚待进一步提高,包括波长范围、分辨率、信噪比以及仪器的稳定性和一致性等。此外,芯片式仪器的成本相对较高,限制了该技术的广泛应用,尤其是用于消费电子品市场的需要二次开发的专用光谱传感器。而且,小型化的多光谱融合光谱仪器硬件以及与多块数据算法的组合也应一并考虑。(3)目前,近红外光谱在很多领域的应用研究不够深入,尤其是消费品的模型开发主要处于实验室理想条件下的探索阶段,研究成果零散,缺乏一致性和可比性,例如食用油掺假和肉制品掺假等识别模型。为满足商品市场和消费市场的应用需求,建议由行业协会等组织机构统一协调,制订更全面、更深入的研究方案和工作计划,系统考察各种变化因素对识别和定量准确性的影响。在此基础上,建立商品化、标准通用化的光谱数据库,同时形成光谱数据库定期升级维护的工作机制,不断提高模型数据库的适用范围和利用效率。