江苏南京有色金属化学分析技术理论与应用

基于深度强化学习的网络智能管控架构系统和运行方法 700     

 0

本发明公开了基于深度强化学习的网络智能管控架构系统和运行方法，应用于网络内部的管理控制。其中架构系统由数据平面、控制平面以及管理平面组成。运行方法为：数据平面通过网络遥测技术探测网络中的各类数据，控制平面接收数据平面上传数据，通过深度强化学习技术进行在线决策并下发配置指令，数据平面接收指令对网络内设备进行处理。管理平面根据各分布式控制平面上传的网络状态数据进行学习，并将知识共享到各分布式控制平面。本发明基于深度强化学习技术，可实现网络内部的智能管控，有效提高网络内部资源利用率。

基于深度强化学习的毫米波通信波束训练方法 1127     

 0

本发明公开了一种基于深度强化学习的毫米波通信波束训练方法，该方法通过定义强化学习模型中的状态、目标、奖励等要素在波束训练这一实际问题中的具体表示来对毫米波信道进行追踪；将状态定义为图像的形式，使用卷积神经网络对强化学习中的值函数进行近似，动作定义为基于上一时刻信道最优波束组合的移动方向、距离以及波束覆盖范围的三元组形式；在设计奖励函数时，将一个时间片内有效的数据可达速率作为目标值；在神经网络的训练过程中，使用了Q学习的方法来更新网络参数；利用训练的深度Q网络进行预测，选择Q值最大的动作，该动作对应下一时刻需要测试的波束组合。

基于深度强化学习的换挡策略动态优化方法 900     

 0

本发明属于工程机械及车辆工程领域，具体涉及一种基于深度强化学习的换挡策略动态优化方法。包括如下步骤：(1)：确定换挡策略状态输入变量和动作输出变量；(2)：根据状态输入变量和动作输出变量，确定换挡策略马尔科夫决策过程；(3)：根据换挡策略目标建立强化学习换挡策略奖励函数；(4)：根据马尔科夫决策过程和奖励函数，求解深度强化学习换挡策略；(5)：将步骤(4)计算出的预测Q网络放入换挡策略控制器，工程机械及车辆在行驶过程中，工程机械及车辆根据换挡策略控制器选择挡位；(6)：在行驶过程中定期更新预测Q网络。本发明通过深度强化学习方法对换挡策略进行更新，实现换挡策略的动态优化。

岩土温度-渗透-应力-化学耦合多功能试验系统及其操作方法 943     

 0

本发明公开了一种岩土温度‑渗透‑应力‑化学耦合多功能试验系统及其操作方法，它包括竖向加载装置(1)、化学溶液隔离装置、压力控制装置、压力室(4)、体积变化测定装置(5)、温度控制装置(6)和计算机(7)，通过计算机(7)对竖向加载装置(1)、化学溶液隔离装置、压力控制装置、压力室(4)、体积变化测定装置(5)和温度控制装置(6)的控制，完成多种土工试验操作。本发明结构设计合理，操作简单，应用范围广，自动化程度高，可实现多种土工试验的全过程自动化控制，稳定性能高，使用寿命长。

基于深度强化学习的智能移动平台无地图自主导航方法 1077     

 0

本发明公开了一种基于深度强化学习的智能移动平台无地图自主导航方法，在AI2‑THOR仿真框架中选取导航场景；构建基于Actor‑Critic框架的深度强化学习模型；根据动作概率分布进行移动平台与导航场景的动作交互，更新奖励值和当前观测信息，若当前观测信息与目标图像信息匹配，或达到最大移动步数，或连续采取动作数达到设定步数，则更新模型参数，否则继续动作交互；构建Actor‑Critic网络的损失函数，采用异步优势算法A3C训练更新深度强化学习模型；重复训练，直至训练步数达到设定阈值；获取实际导航场景的初始观测信息与目标图像，利用训练好的模型进行导航，规划智能移动平台的导航路径。本发明无需提前构建环境模型，即可实现显示环境的导航。

腐蚀性化学剂温度报警系统 1068     

 0

本实用新型公开了一种腐蚀性化学剂温度报警系统，包括测量端、参考端、差分比例运算电路、跟随放大电路、减法运算电路、同相放大电路、单片机报警模块；所述测量端与差分比例运算电路相连，所述参考端与跟随放大电路相连；所述差分比例运算及跟随放大电路输出端与减法运算电路输入端相连；所述减法运算电路通过同相放大电路与单片机报警模块相连。本实用新型提供一种腐蚀性化学剂温度报警系统，实现自动报警，不仅可以直接测量腐蚀性化学剂在生产或实验中温度，而且可以有效减轻自然对流给测量带来的影响，系统整体有着搭建简单、安全性高、测温距离远、制作成本小的优势。

多组份化学液料自动配料装置 1184     

 0

本实用新型属于化学原料制备应用技术领域，具体公开了一种多组份化学液料自动配料装置，由搅拌混合组件、输料组件和控制组件组成。本实用新型的一种多组份化学液料自动配料装置的有益效果在于：1、其设计结构合理，能依据生产需要通过多个输料电磁阀进行快速、精准、自动的加料配料作业，同时能实时对各个贮料仓的料液进行监测，控制驱动电机的工作状态并实现及时的预警和远程的管理如与上位机实现数据的实时输送等，提高了生产和管控效率；2、解决了传统手工配料所存在的安全隐患，且无需打开各个贮料仓进行料液监测，二者都保证了作业人员的身体健康。

基于深度强化学习的网络负载均衡系统及均衡方法 1080     

 0

本发明公开了一种基于深度强化学习的网络负载均衡系统及均衡方法，均衡系统包括控制平面和数据平面，控制平面包括INT模块、网络模块，INT模块通过发送探测包获取网络模块中各个节点上的网络信息，并发送给控制平面；控制平面包括DQN模块、网络状态信息模块、最短路径路由算法模块节点源路由路径更新模块，网络状态信息模块接收控制平面发送的网络信息，并发送给DQN模块；DQN模块输出动作调用dijkstra算法模块进行最优路径的计算，并将节点流表的更新结果传递给网络中相应的节点设备。该方案基于P4的INT技术和人工智能中的深度强化学习Deep Q Network模型实现SDN网络的智能负载均衡，从而实现网络资源的合理利用，有效提高网络效率，减少网络中的拥塞。

基于强化学习算法SAC的目标跟踪方法、装置及存储介质 1032     

 0

本发明公开了一种基于强化学习算法SAC的目标跟踪方法、装置及存储介质，方法包括：获取视频数据；在视频数据的当前帧中确定搜索区域位置和大小；判断当前帧是否为第一帧；响应于当前帧非第一帧，将当前帧输入预训练好的actor网络模型进行特征提取，得到输出的预测框，根据所述预测框对目标进行跟踪；其中所述actor网络模型的训练方法，包括：通过第一帧对actor、target_actor网络进行初始化，根据经验池中存储的数据，通过actor、critic网络计算动作，计算actor、critic1、critic2网络损失，利用强化学习SAC算法更新网络权值。将目标跟踪问题转化为强化学习算法中在线决策的问题，并且本发明只需要少量数据集，充分利用现有技术，提升训练速度。

基于深度强化学习的车辆自动循迹驾驶方法 766     

 0

本发明公开了一种基于深度强化学习的车辆自动循迹驾驶方法，包括如下步骤：步骤1、构建双重深度Q网络进行图像特征提取；步骤2、采用经验回放方案进行环境交互训练样本采集和双重网络训练；步骤3、采用RMSprop算法优化网络的训练过程；步骤4、采用训练完毕的双重深度网络进行预测，进而实现自动循迹驾驶。本发明采取深度强化学习方法，直接实现从图像采集到车辆控制的端到端网络建立，避免了传统方法中复杂的PID控制环节，并且采用双重深度网络进行动作预测，可以有效减少单一深度强化学习网络中最大化偏差带来的性能损失。

强化学习下的无人机集群雷达通信一体化资源分配方法 843     

 0

本发明公开了一种强化学习下的无人机集群雷达通信一体化资源分配方法。涉及的资源主要包括波束、频谱、功率等资源。所述内容包括以下步骤：对无人机集群雷达通信系统进行搭建，分为无人机集群和探测目标群体；构建总性能表征指标，总性能表征指标分别由通信和雷达表征指标按比重合成，通信表征指标是通信率，雷达表征指标是互信息；构建强化学习和深度强化学习；构建相应强化学习和深度强化学习算法；对单个资源进行有效分配，对双资源进行有效分配，对多资源进行有效的分配。本发明提供的方法，能更有效的对无人机集群雷达通信一体化系统进行合理的资源分配，提高资源利用率。

面向蜂窝网络的改进式强化学习网络覆盖优化方法 1048     

 0

本发明公开了面向蜂窝网络的改进式强化学习网络覆盖优化方法，包括：(1)从异构无线网络环境中采集终端路测数据和基站侧静态数据，处理得到平衡数据集；(2)从平衡数据集中选取一部分数据作为训练集输入到随机森林模型中，对随机森林模型进行训练得到网络覆盖预测模型；(3)设置覆盖优化的目标函数；(4)设置强化学习与网络覆盖优化问题的空间映射，训练强化学习智能体，得到工程参数的调整策略以及覆盖优化结果。本发明方法自动改进优化行为，从而拥有更快的收敛速度，同时能够积累大量运维优化经验并自主形成优化策略，避免了优化过程对网络性能产生较大影响。

基于强化学习的频繁写缓存数据压缩方法 1154     

 0

本发明公开了一种基于强化学习的频繁写缓存数据压缩方法，以此更好的解决非易失性缓存中数据压缩存储的问题。包括如下步骤：S1：对于每一次缓存写请求访问操作，将写强度和复用局部性信息记录在数据收集模块；S2：构建强化学习模式选择算法，选择适合压缩的模式，将选择的模式信息记录在预测表中；S3：根据预测表中缓存数据的压缩标志位，如果待写数据适合压缩，则将其压缩后存储在缓存中，下次读取该数据时，根据该信息还原被压缩数据；S4：基于霍夫曼编码的数据压缩算法压缩待存储的数据；S5：返回至步骤S1，继续下一次访问缓存操作，直至该任务执行完毕。本发明所提出的强化学习方法获取频繁写数据，以低功耗的形式压缩存储在非易失性缓存中，提升压缩效率和系统性能。

分阶段电化学修复盐侵蚀钢筋混凝土的系统及方法 675     

 0

本发明公开了一种分阶段电化学修复盐侵蚀钢筋混凝土的系统及方法。本发明系统包括修复系统和监测调控系统；修复系统包括电流控制器、迁移液控制器、修复池、废液回收池、2个迁移液池，监测调控系统包括处理器、数据采集器、修复池中的迁移液监测器及钢混结构监测器，修复池中还设有修复电极；处理器分别与电流控制器、数据采集器、迁移液控制器连接，数据采集器分别与迁移液监测器、钢混结构监测器连接，迁移液控制器用以控制溶液进出。本发明修复系统操作简单，维护成本低，既可通过电化学再碱化恢复混凝土的碱性，又可通过双向电迁、电除盐提高侵蚀性离子排除和阻锈剂导入的效率，并实时监控钢筋、混凝土、迁移液状态，提升电化学修复安全性，最终有效延长钢混结构的服役寿命。

多化学反应罐反应液体积一致性控制器系统及设计方法 831     

 0

本发明公开了一种多化学反应罐反应液体积一致性控制器系统及设计方法。本发明包括将化学反应罐视为跟随者，其与期望的化学反应罐反应液体积通过通信拓扑图连接成的网络化系统作为被控对象，利用反步法设计自适应控制器，使得化学反应罐的反应液体积跟踪领导者的参考反应液体积。本发明在系统中考虑了随机项，通过利用伊藤引理处理随机多智能体系统中的求导问题；设计状态观测器，基于系统输信号设计状态观测器来估计系统状态考虑输入饱和环节；采用神经网络逼近饱和函数中的未知数；在控制律中增加附加项，避免奇异现象；采用动态面方法，可减少复杂求导过程。

低速轻载电化学摩擦试验机 873     

 0

本发明公开了一种低速轻载电化学摩擦试验机，解决的技术问题：针对背景技术中提及的传统摩擦学仪器存在摩擦磨损速度很快且不适合从事腐蚀磨损机理方面的研究工作的技术缺陷。采取的技术方案，一种低速轻载电化学摩擦试验机，包括用于实现升降机构在最高位置与最低位置之间转变的快速升降机构，设置在快速升降机构内部的用于带动上试样做圆周运动实现摩擦试验测试的旋转机构，与旋转机构相连的用于给上试样加载法向负载的法向力加载机构，位于法向力加载机构下方的试样平台和固定在试验机底板上的传感器测试模组。本发明的有益效果是：本低速轻载电化学摩擦试验机，可开展低速、轻载荷下的电化学摩擦实验。

基于状态与扰动估计的物料转送器强化学习控制方法 822     

 0

本发明公开了一种基于状态与扰动估计的物料转送器强化学习控制方法，首先建立物料转送器电液伺服系统的控制模型；然后采用一种新型的非线性扩张状态观测器估计液压伺服系统未知状态和等效扰动，该非线性扩张状态观测器理论上的估计误差为零；基于上述状态和等效扰动估计，设计滑模控制器实现液压伺服系统快速、高精度控制；最后采用强化学习方法，通过系统自适应学习对滑模控制器参数进行在线自适应学习，提高液压伺服系统的控制性能。本发明能够根据液压伺服系统位置信息得到其他状态和扰动信息；能够通过强化学习方法实现控制滑模控制器参数自整定，不需要人工大量的实验进行整定，降低了工作量，提高了控制精度。

多聚腺苷二磷酸核糖聚合酶的检测方法 825     

 0

本发明属于分析化学技术领域，涉及一种多聚腺苷二磷酸核糖聚合酶(PARP)的检测方法及其应用。本发明主要是利用经典巯基自组装的方式将能够与PARP特异结合的单链DNA(c-kit-1)修饰于金电极表面，经处理使c-kit-1形成四聚体构型；与PARP孵育后，加入该酶特定的催化底物尼克酰胺腺嘌呤二核苷酸(NAD)，即可促使PARP自催化产生一条带有高负电荷的聚腺苷二磷酸核糖(PAR)；利用PAR的负电荷吸附带正电荷的电信号分子六氨合钌(RuHex)，通过电分析方法对电极表面吸附的RuHex进行定量，通过电化学信号与PARP浓度的关系，绘制标准曲线，通过测量待测样品的电化学信号，通过计算即可实现PARP的灵敏检测。该方法具有好的重复性，高的灵敏度，可应用于PARP及其抑制剂3-氨基苯甲酰胺(3-AB)的检测。

基于深度强化学习的机器人自主寻源方法及装置 997     

 0

本申请提供了一种基于深度强化学习的机器人自主寻源方法及装置。所述方法包括：建立放射源计数衰减模型和放射源计数分布模型；基于实际环境，建立寻源模拟环境，所述寻源模拟环境包括探测器、放射源和屏蔽物；基于所述放射源计数衰减模型和放射源计数分布模型，利用所述探测器在所述寻源模拟环境中沿着不同路径测量不同位置的所述放射源的放射性活度，并依据价值函数，确定探测器在每个状态下，不同动作对应的价值函数值，多次训练后以建立深度强化学习模型；基于所述深度强化学习模型，在实际环境中找到放射源。

基于深度强化学习的软件智能升级方法及装置 1079     

 0

本发明提出了一种基于深度强化学习的软件智能升级方法及装置。所述方法包括：采集软件运行参数以及用户操作参数，并确定所述软件运行参数以及用户操作参数下软件的基准升级时间点；根据所述软件运行参数以及用户操作参数，利用策略网络给出预测的升级时间点，将预测的升级时间点和所述基准升级时间点的差值作为强化学习的奖励，并将奖励作为策略网络的标签值，通过训练得到训练好的软件智能升级模型；获取软件实时运行参数和用户操作参数，传入训练好的软件智能升级模型，得到当前升级时间点的可信值，并根据可信值判断是否进行升级。本发明基于强化学习和深度学习，实现软件系统的智能升级时机预测，极大地提高软件升级效率。

电化学pH传感器 769     

 0

本发明提供一种电化学pH传感器，以饱和KCl溶液为电解液，溶液中含有大量离子，可以使pH传感器内阻更小，导电性能更优；Ag/AgCl参比电极为圆丁状，其圆片电极相比针状可以有效增大电极与微液膜接触面积，使pH传感器灵敏度更好；RuO2‑TiO2复合H+敏感电极为环片状，与普通电极结构相比，可以有效提高微液膜中H+与电极接触面积，增加传感通道，从而提高传感器的灵敏度，更好的对飞行器进行腐蚀监测；并且，本发明提供的电化学pH传感器形状为圆柱形，较传统长条笔状电极更易安放在飞行器表面，进而对海上高盐高湿环境下飞行器表面进行腐蚀监测。

竹材化学机械浆生物酶预处理方法 709     

 0

本发明公开了一种竹材化学机械浆生物酶预处理方法，竹片筛选后送入汽蒸仓进行常压预汽蒸，然后进行第一段螺旋挤压；挤压后的物料加入生物酶进行预处理，然后进行高温灭活，洗涤脱水，再依次进行第一段和第二段化学预浸渍，然后用高浓盘磨进行第一段高浓常压磨浆，将浆料在高浓反应仓内停留约50～60min完成漂白反应；接着再用盘磨进行后续磨浆，通过控制输入不同的磨浆能耗，制取不同加拿大游离度的浆样，并分别记录制取各浆样所需的磨浆能耗，不同浆样分别经过消潜、酸化、洗涤、筛选、脱水浓缩后，用于纸浆性能测试。本发明通过对竹材生物酶预处理，观察与传统PRC?APMP制浆工艺在磨浆能耗与成浆性能方面的差异，为以竹子为原料制备化学机械浆提供参考工艺。

基于强化学习的音视频柔性传输装置及传输方法 1148     

 0

本发明涉及一种基于强化学习的音视频柔性传输装置及传输方法，基于强化学习的音视频柔性传输装置包括用于探测链路、发送端、接收端网络情况参数的链路侧及端侧网络探测装置、用于对视频浏览质量进行评价以产生正、负反馈的音视频浏览端QOE评价模块、用于对音视频编码数据进行调整和控制的音视频编码与发送控制器、以及用于实现链路侧和发送端调优以及柔性传输的强化学习智能体。本发明通过强化学习网络模型对链路侧与端侧网络情况以及音视频编码及发送参数进行训练，形成强化学习智能体，针对各种网络状况和参数可动态调整音视频编码与发送机制，可以有效应对各种异构弱网的偶发性和复杂性，实现音视频的柔性传输和QOE提升。

融合强化学习与递进学习的表情识别方法 846     

 0

本发明公开了一种融合强化学习与递进学习的表情识别方法，该方法包含：构建包含样本筛选模块与表情分类模块的强化学习模型；将训练集样本划分为I组，使用一组样本对强化学习模型的每一轮训练中，表情分类模块输出预测类别概率，样本筛选模块将样本分为容易、较易、不易分类样本，按照递进学习思想使用容易、较易和不易分类样本对表情分类模块重新训练，根据重新训练前后表情分类模块输出的预测类别概率之差，基于强化学习方法调整样本筛选模块，进入下一轮的模型训练，经过I轮迭代训练得到训练好的表情分类模块；用训练好的表情分类模块对人脸图像进行表情识别。该方法能消除含噪声标签样本对模型训练的不利影响,提升表情识别准确性和鲁棒性。

基于联邦强化学习的卫星资源调度优化方法 1086     

 0

本发明提供了一种基于联邦强化学习的卫星资源调度优化方法，将对地观测卫星资源调度优化问题抽象为一个离散马尔可夫决策问题，应用联邦强化学习算法求解对地观测卫星资源调度最优解，本发明利用联邦学习和强化学习技术，挖掘对地观测任务与卫星资源之间隐含的内在关联关系，充分挖掘各个智能体在训练过程中各种有关联的特征指标，形成了高效高质量的全局调度优化模型，最终生成最优无冲突的对地观测卫星资源调度优化方案，且该优化方法有效的降低了卫星资源调度优化中对调度启发式规则和人工历史分配经验的依赖，提高资源调度方法的有效性和准确性，可显著提高对地观测卫星资源调度的智能化管控水平。

应力场-温度场耦合的柔性壁土柱化学渗透装置及方法 928     

 0

本发明属于岩土工程技术领域，尤其是应力场‑温度场耦合的柔性壁土柱化学渗透装置，现提出如下方案，其包括试验腔室、围压腔室、精密液体注射泵、上温度控制器、下温度控制器、压差传感器及数据采集仪，所述试验腔室包括腔室顶盖、腔室底座及腔室壁，腔室壁位于腔室顶盖和腔室底座之间并采用螺栓相连，所述腔室底座上部焊有试样底座并固定连接有下透水石、试样、上透水石及试样顶盖；本发明实现测定岩土工程材料在应力场‑温度场作用下的目标污染物的化学渗透膜效率系数、扩散系数以及阻滞因子，同时还提供了测试方法，简单易行，可以对岩土工程材料的化学渗透膜效率系数、扩散系数以及阻滞因子进行联合测定，不必分别测定，提高了测定效率。

用于循环水阻垢剂快速评价的电化学方法 1020     

 0

本发明涉及一种用于循环水阻垢剂快速评价的电化学方法，首先配置含有Ca2+和HCO3‑的空白溶液，然后加入不同量阻垢剂制备不同浓度的测试溶液；采用常规的三电极体系进行电化学测试，其中参比电极为饱和甘汞电极，辅助电极为铂电极，工作电极为TA1金属电极；电化学测试在CHI660E电化学工作站进行；线性伏安扫描测试的扫描速率为‑2.0mV/s，扫描电位区间为‑0.5V至‑2.0V(vs SCE)。本发明实现了工业循环水阻垢剂阻垢效果的快速评价，阻垢率计算结果经对比与其他方法接近，说明该电化学方法有效可行。

多试管搅拌-旋转式光化学反应的方法与装置 941     

 0

多试管搅拌-旋转式光化学反应的方法和装置,光化学反应的试管同时由磁子对试管内进行搅拌,试管围绕光源旋转,试管在旋转状态下接受光照,试管围绕的中心光源采用二种滤光方法:化学滤光液滤光或采用滤光片滤光,化学滤光液放入具有双夹层石英冷阱的外夹层内,内夹层通过冷却水,石英冷阱内腔放置光源。本发明设备至多可同时插入10～20根10～50ml试管接受光照,设有对试管内光化学反应的液体进行通气参与反应或进行通气保护,能确保反应溶液浓度的均匀性及其接受光照的均匀性,保证实验的结果可靠与高效率,特别适合用于测定光化学反应的量子产率、反应速率等动力学常数。

基于点击化学的具有钾离子选择性的功能化高分子传感材料及其应用 864     

 0

本发明公开了一种基于点击化学的具有钾离子选择性的功能化高分子传感材料及其应用。这种通过Huisgen环加成反应（俗称“点击化学”）固定在叠氮基团修饰的聚氯乙烯基质上的载体可运用于制备电化学和光学传感器。聚合物中三唑连接环的形成会降低功能化聚氯乙烯的溶解性。由塑化的功能聚合物制备的固相电极在10-6至10-1M范围内对钾离子有能斯特响应且具有很好的选择性。由于钾离子载体的固定，固相传感膜的使用寿命延长。本发明的功能化聚合物加上显色离子载体ETH？5294也可运用于制备光学传感膜。此光极的测量范围以及离子选择性可与离子选择性电极匹敌。

基于木材化学组份参数的木建筑常用结构材天然防腐性能快速评定方法 729     

 0

本发明公开了一种基于木材化学组份参数的木建筑常用结构材天然防腐性能快速评定方法：通过采用甲醇、乙酸乙酯溶剂进行提取定量木材内部具有天然防腐性能的化学组份，根据该组份含量的大小与木材的天然防腐性能建立对应关系，快速对木材天然防腐能力等级做出评价。本发明根据木材化学组份快速评定其天然防腐性能的技术方法，相比于传统的测试评定方法，测试方法简便可行、测试周期短，同时该方法从木材材料本质出发，根据木材所含元素组分和其防腐性能的对应关系出发，测试评价结果精确可靠。