江苏南京有色金属化学分析技术理论与应用

基于强化学习的可靠车载边缘计算卸载方法 736     

 0

本发明公开了一种基于强化学习的可靠车载边缘计算卸载方法，用于由于城市障碍物导致的路侧单元(RSUs)覆盖范围有限，或者路侧单元计算能力不足等场景中，车辆可以借助无人机(UAV)进行可靠的计算卸载。本发明所述方法将最大化系统效用和最小化功率消耗的多目标优化问题，转化为功率分配问题和计算卸载问题两个子问题，由无人机和路侧单元共同完成任务的分配和计算。该方法通过为传输功率创建机会约束，使用Chebyshev不等式转化机会约束，推导出最小传输功率，确保任务传输的可靠性。本发明通过改进的深度强化学习模型提高计算卸载效率，利用多目标优化问题的结果，调整深度强化学习模型中预测的目标Q值，实现边缘服务器的离线训练，在线更新。

可提高结构稳定性的腐蚀电化学实验用简易复合电极 931     

 0

本实用新型是一种可提高结构稳定性的腐蚀电化学实验用简易复合电极，包括：参比电极槽由固定塞、溶液槽、参比电极、外盐桥构成，溶液槽和外盐桥中都注满了参比电极相对应的溶液，外盐桥固定在固定塞中，参比电极插入外盐桥中；盐桥一端插入参比电极槽中，另一端引出电极槽外，将参比电极的电位输出到电解槽中；辅助电极固定在盐桥的侧面，辅助电极的大表面的角度根据工作电极测试表面的角度位置可调节的。本复合电极将两个电极功效合一，可提高实验效率，结构稳定性强，功效多样，应用广泛，可开展多种类工作电极的腐蚀电化学测试。

基于深度强化学习的低时延高可靠性V2V资源分配方法 780     

 0

本发明提出的一种基于深度强化学习的低时延高可靠性资源分配方法，考虑了处于基站覆盖范围外的NR‑V2X侧链资源分配，其中车辆根据自己观测到的信息以及在训练阶段得到的Q网络调度5G网络中供V2V用户使用的URLLC切片资源。为了最大化V2V通信的能量效率，并且保证通信的可靠性以及时延要求，提出了一种使用集中式训练、分布式执行的深度强化学习架构，借助DDQN学习方法训练出满足上述要求的模型。将资源分配问题中目标和约束的建模都转化为深度强化学习中收益的设计，可以有效解决V2V用户信道分配和功率选择的联合优化问题，可以在一系列连续动作空间的优化中表现稳定。

基于强化学习的多目标复杂交通场景下自动驾驶解决方法 1072     

 0

本发明公开一种基于强化学习的多目标复杂交通场景下自动驾驶解决方法，该方法可以使用一套强化学习自动驾驶建模方法处理所有交通场景，具有较好的通用性。强化学习综合建模基于传统强化学习框架，使用环境感知信息及结合人类知识提取的特征量作为观测空间。模型训练基于时变训练策略，提高训练速度和策略应用的泛化性。为对其形式安全性作进一步保障，还提出了基于长短时记忆(LSTM)网络的危险动作识别器与基于人类知识体的规则约束器，从环境中采样并训练危险动作识别器，使车辆具备识别危险动作与危险场景的能力，并针对特定情形设计规则约束对输出动作加以限制，可以大大提高安全性，减少碰撞次数，以保障车辆的行驶安全。

化学实验室酸碱废液分离装置 854     

 0

本实用新型公开了一种化学实验室酸碱废液分离装置，包括一排废主管，所述排废主管的底端部固定连接有一排废支管，所述排废支管的一侧壁固定连接有第一连管，所述第一连管远离排废支管的一端固定连接有盛放斗，所述盛放斗的内腔设置有漏网板，所述盛放斗的顶部卡接有可拆卸的料塞。本实用新型涉及化学实验器材技术领域，该化学实验室酸碱废液分离装置，通过利用化学反应和机械装置使废液分离自动化，在定期添加药品的条件下可多次使用。相比普通的废液收集装置，本发明无需在倾倒废液前测量pH，程序简单，可以大大降低因废液错误倾倒导致的风险。

基于多智能体强化学习的车联网频谱共享方法 721     

 0

本发明公开了一种基于多智能体强化学习的车联网频谱共享方法，包括建立车联网系统模型，基于马尔科夫决策过程建立强化学习中观测空间、行为空间、奖励设定的基础模型，然后将系统模型中的车辆链路视为智能体，利用强化学习SAC(Soft Actor‑critic)思想设计频谱共享方法。本发明的设计方案能够以合作的方式实现车联网中车辆与车辆(Vehicle‑to‑Vehicle,V2V)链路和车联与路旁基础设施(Vehicle‑to‑Roadside Infrastructure,V2I)链路的频谱共享，保证最大化V2I链路的信道容量和性能和V2V链路载荷的成功传输概率性能。

化学指示卡识别判读系统 875     

 0

本发明公开了一种化学指示卡识别判读系统，其特征在于包括：图像采集单元，通过探头获取化学指示卡的信息；按键单元，用于开关设备及激活和隐藏菜单、调节设备参数；信号处理单元，通过主板芯片对探头采集的信息进行处理，为信号（图形）输出到显示屏做准备；图像处理单元，根据指示卡上提供的信息，通过算法判定当前指示卡的结果；显示单元，用于显示输出化学指示卡的实时图像、显示按键的菜单操作、显示判定结果。存储单元，根据预设的频率自动存储当前指示卡的图像和判定结果。本发明实现了对化学指示卡结果的客观、准确、实时判断，体积小、重量轻、具有一体性、可视化交互界面、操作便捷，为医院监测灭菌工作提供了便捷的工具。

基于深度强化学习的信息聚合短波选频方法 1113     

 0

本发明公开了一种基于深度强化学习的信息聚合短波选频方法。该方法为：将高动态的短波环境下的选频问题，转化为高动态短波通信环境下的信道增益、用户间的互扰和环境中的干扰三个子问题；对于高动态短波通信环境下的信道增益问题，把短波信道情况输入神经网络，对短波下一个时刻的信道增益进行预测，并将输出记为G；对于用户间的互扰和环境中的干扰问题，通过深度强化学习网络训练得到下一个时刻选择每一个信道的通信干扰情况，并将输出记为R；把训练的到的G与R输入到信息聚合深度强化学习网络，通过数据的不断训练，深度强化学习网络得到下一个时刻信道选择的最优解，指导下一个时刻选频。本发明提升了复杂环境下的短波通信能力。

腐蚀电化学实验用简易复合电极 1019     

 0

本发明是一腐蚀电化学实验用的简易复合电极，包括：参比电极槽由固定塞、溶液槽、参比电极、外盐桥构成，溶液槽和外盐桥中都注满了参比电极相对应的溶液，外盐桥固定在固定塞中，参比电极插入外盐桥中；盐桥一端插入参比电极槽中，另一端引出电极槽外，将参比电极的电位输出到电解槽中；辅助电极固定在盐桥的侧面，辅助电极的大表面的角度根据工作电极测试表面的角度位置可调节的。本复合电极将两个电极功效合一，可提高实验效率，结构稳定性强，功效多样，应用广泛，可开展多种类工作电极的腐蚀电化学测试。

基于强化学习的无人驾驶汽车多车道行驶的决策方法 1110     

 0

本发明公开了一种基于强化学习的无人驾驶汽车多车道行驶的决策方法，首先建立强化学习训练模型，利用强化学习算法收益函数对神经网络参数进行更新、修正从而建立基于强化学习‑BP神经网络算法的决策系统。无人驾驶汽车在多车道行驶过程中，传感器采集周围车辆信息，上述决策系统给出执行动作并预测车辆行驶状态，由收益函数判断车辆行驶危险度，决策多车道工况下车辆当前时刻的最优驾驶行为。本发明能提升无人驾驶汽车多车道高速行驶的效率与安全性，实现在高不确定性、动态环境下的无人驾驶汽车高效、安全的驾驶决策。

多环芳烃-镉污染土壤的化学强化植物修复方法 1117     

 0

多环芳烃-镉复合污染土壤的化学强化植物修复方法,属于土壤污染治理领域。其步骤为:(A)测量土壤中镉和多环芳烃菲和芘的含量,进行柳树的插种;(B)柳树插种四个月后加入由乳酸乙酯与乙二胺四乙酸组成的化学强化剂。柳树为金丝垂柳J1011,其种植密度分别为每5、50和6mg/kg土壤中菲、芘和镉每平方米种植4～6株。本发明避免了植株矮小、生长速度慢、地上部生物量小等植物修复的缺陷;降低了植物提取修复土壤中重金属镉的环境风险;这些化学强化剂的加入在提高单独用有机配体作为螯合萃取剂修复重金属的修复效率,同时也增强了对土壤中有机污染物多环芳烃的修复效果,实现了土壤中镉和多环芳烃复合污染的同时修复。

基于强化学习的涡扇发动机直接推力智能控制方法 1109     

 0

本发明公开了一种基于强化学习的涡扇发动机直接推力智能控制方法，包括以下步骤：步骤1)，选取策略和评价网络结构和参数，设计考虑关键安全参数保护的直接推力制器形式和强化学习环境的奖励形式；步骤2)，基于连续型策略梯度强化学习算法，利用部件级模型搭建环境进行探索，通过探索获得的经验训练智能体策略网络和评价网络；步骤3)，测试智能体在全包线范围内的控制性能表现，优化网络结构和参数。本发明解决了涡扇发动机间接推力控制动态性能差、保守性高、推力控制不精确等问题，通过本发明设计的奖励激励智能体在全包线范围内搜寻动态性能最优的直接推力控制器，并且保证发动机关键安全参数在控制过程中不超限。

面向处理单元部署的基于值函数的强化学习方法 1090     

 0

本发明公开了面向处理单元部署的基于值函数的强化学习方法，对于基于值函数更新的此类强化学习方法，提供了一种将处理单元图部署在物理节点上的对应框架，充分利用强化学习能够通过多次部署尝试得到处理单元部署的更优方案的优点，得到使处理单元图部署后的响应时间更低的部署方法。本发明根据复杂事件处理在边缘计算环境下的特性，来预测响应时间。并根据复杂事件处理响应时间的特性，针对限制了处理单元图整体响应时间的处理单元进行优先部署，来降低处理单元图整体响应时间。

快速检测花生过敏原蛋白Ara h2的方法 845     

 0

本发明公开了一种快速检测花生过敏原蛋白Arah2的方法，本发明将包裹在磁珠/金纳米颗粒/海藻酸盐/氧化石墨烯复合水凝胶中的大鼠嗜碱性白血病（RBL‑2H3）肥大细胞固定在玻碳电极上构建肥大细胞传感器，通过对过敏原蛋白Arah2刺激下肥大细胞的反应进行电化学分析，使用电化学阻抗谱记录和测定过敏原蛋白Ara h2的含量。所开发的细胞传感器对Arah2浓度范围在0.02到0.1ng/mL之间具有较高的检测精度，检测限为8pg/mL。本方法与市售ELISA试剂盒相比检测结果相一致，证明本发明提出的用于检测花生过敏原的方法简单易操作，灵敏度高且检测结果准确可靠，具有十分广阔的应用前景。

基于自适应强化学习的飞机维修路径优化方法 1161     

 0

本发明公开了一种基于自适应强化学习的飞机维修路径优化方法，属于航空技术领域，首先考虑飞机运行中的飞行时间、起降架次、遍历天数与机场容量四项维修约束，构建四天为周期的飞机维修路径模型以保证航班连接收入与飞机维修成本差值最大化；其次，基于自适应变动因子提出改进强化学习求解算法，该算法以门特卡罗决策为基本内核，通过“探索‑利用”不断迭代的方式求解模型；最终基于航空公司真实航班计划，由小至大规模数据检验模型与算法的实际有效性能，解决了为航空企业提供具有实际应用价值的路径优化模型的技术问题，基于民航运行实际情况，考虑四种维修约束，构建改进连接网络下的飞机维修路径模型，兼顾航班连接收益与维修操作成本。

基于多智能体深度强化学习的MU-MISO混合预编码设计方法 733     

 0

本发明公开了一种基于多智能体深度强化学习的MU‑MISO混合预编码设计方法，适用于通信中下行系统使用。该方法中基站构建多个用于计算模拟预编码矩阵的深度强化学习智能体，每个智能体包含一个动作预测网络及一个带优先级的经验池，各智能体共用一个中心化的奖励值预测网络和一个中心化的评价网络，协同探索模拟预编码策略。该方法中基站获取多个用户的信道状态信息，将用户信道信息输入所构建的智能体，输出相应的模拟预编码矩阵；进而通过迫零预编码和注水算法计算包含各用户数字预编码向量的数字预编码矩阵。其能有效解决大规模MIMO系统中混合预编码设计复杂度高且可达速率性能不佳的问题，且对信道环境具有较强的鲁棒性。

基于六轴机械臂的化学实验自动化系统 1118     

 0

本发明公开一种基于六轴机械臂的化学实验自动化系统，包括中央控制系统，所述中央控制系统包括工作站系统控制模块和3D仿真场景控制模块；所述工作站系统控制模块，用于工作站系统各机器人运行轨迹的控制及位置参数的显示；本发明公开的化学实验自动化操作系统，将六轴机械臂与可移动装置相结合，极大提高了六轴机械臂的工作范围，工作能力也更加灵活，与3D场景仿真验证相结合，完全能够胜任化学实验操作任务。通过本发明提出的化学实验自动化操作系统，能够帮助化学实验人员完成测试性化学实验的初步筛选，节约大量时间。

基于自适应权重强化学习的六足机器人避障方法 1139     

 0

本发明公开了一种基于自适应权重强化学习的六足机器人避障方法，步骤包括：由六足机器人通过测距传感器测量机器人与附近各个障碍物的距离，并通过模糊隶属度函数将测量的障碍物距离转化为有限的状态集合；根据有限的状态集合建立六足机器人避障模型，再利用自适应权重强化学习算法学习出最优网络模型参数θ*；根据上述训练好的最优网络模型参数θ*得到六足机器人避障的最优目标策略，由最优目标策略获得六足机器人在t时刻避障所要采取的动作a_t。该避障方法能够在障碍物数量较多的位置环境中实现较好的避障效果，具有良好的市场应用前景。

基于深度强化学习更新卡尔曼滤波器的目标追踪方法 867     

 0

本发明涉及一种基于深度强化学习更新卡尔曼滤波器的目标追踪方法。该方法包括以下步骤：利用传感器进行数据采集，获得原始追踪场景数据；对原始追踪场景数据进行分类，获得不同目标追踪场景下的数据；针对不同目标追踪场景下的数据，分别利用深度强化学习的方法进行多次训练直到收敛，获得最优策略，最优策略是一个神经网路，输入为卡尔曼滤波器的预测值与传感器的测量值，输出的动作为卡尔曼滤波器的更新方法；将最优策略进行线下部署，应用到实际的追踪场景进行目标追踪。本发明适用于实际传感器网络中的目标追踪，有效提高了追踪的精度。

基于强化学习的无人机传感器故障时容错控制方法 1150     

 0

本发明公开一种基于强化学习的无人机传感器故障时容错控制方法，测定无人机各项物理常数，搭建无人机环境模拟器，在训练时随机设置传感器故障干扰无人机控制并使用DDPG算法训练无人机控制策略模型，逐步增加无人机故障种类并将稳定表现的策略收集到容错控制策略候选池中，在仿真环境随机故障测试后，得到最优的容错控制策略；在推理阶段，对于训练好的策略模型，基于策略网络输出交给无人机执行。本发明在仿真环境中模拟无人机不同的传感器故障组合，在策略与环境交互时，保证固定比例的无故障样本数据的存在，使得强化学习可以同时学习到传感器故障时和非故障时的飞行策略，使得无人机传感器故障时的容错控制更加鲁棒，高效。

基于强化学习和视线法的无人艇路径跟踪方法 679     

 0

本发明公开了一种基于强化学习和视线法的无人艇路径跟踪方法，拟采用DDPG对可视距离进行合理的预测，让无人艇“学会”根据当前状态动态地调整可视距离。包括如下步骤：S1.搭建无人艇仿真模型，定义无人艇运动参数；S2.设计基于强化学习基本框架对可视距离进行预测，拟采用双层全连接神经网络作为DDPG四个子网络的基本结构，激活函数采用Leaky‑ReLU；S3.设计强化学习和视线法结合的PID控制框架；S4.对步骤S3中设计好的模型进行训练并保存训练参数。S5.对于同样的初始状态做对比仿真实验、实艇实验。本发明的方法使得船舶在航行过程中获得更高精度、更快速的航迹跟踪。

温控式微波化学反应系统 1187     

 0

本实用新型温控式微波化学反应系统涉及的是一种以微波作为催化手段,应用于实验室规模的化学反应设备。系统由微波源及波导部分、反应腔、反应腔控制器三部分组成;微波源及波导部分包括微波源操作面板、控制电源、磁控管、环行器、水负载、双定向耦合器、晶体检波器、三螺钉调配器,反应腔具有腔体、腔盖,在腔体内装置有玻璃反应器,腔底装置有调速磁力搅拌器,在腔体壁上设置有视窗、照明窗、微波窗、压缩空气进口,在腔盖上安装有可插入玻璃接管的截止波导,截止波导上装置有屏蔽接头、温度传感器,微波窗与三螺钉调配器相连接;反应腔控制器具有控制器外壳,控制器外壳内上部装置有调速磁搅拌器,调速磁搅拌器输出轴上装置有调速电动机。

化学仪表安全稳保装置 1211     

 0

化学仪表安全稳保装置，在化学仪表的供电回路设备输出端接电压采样装置，供电回路通过可控硅电路接化学仪表，接比较器，比较器的两输入端为采样装置的实时电压和额定电压，比较器输出连接微处理器，由微处理器输出连接供电回路的可控硅电路的输入端。在化学仪表的交流电源输入端串入干扰控制器。本实用新型钶在根本上解决了化学仪表由于受到外界（电压、干扰源）等因素而产生测量不稳定的现象。

基于深度强化学习的城市轨道交通列车时刻表优化方法 906     

 0

本发明公开了一种基于深度强化学习的城市轨道交通列车时刻表优化方法，具体为：建立基本数据模块；建立列车牵引能耗计算模块，包括神经网络能耗拟合模块与时间‑能耗曲线拟合模块；神经网络能耗拟合模块使用线路数据和列车速度数据作为输入量，使用实测的能耗数据作为期望输出量，经过学习训练，确定与最小误差相对应的网络参数；时间‑能耗曲线拟合模块使用实测速度曲线和训练后的网络，对能耗进行拟合获得时间与能耗的关系曲线；列车区间运行时间优化模块采用深度强化学习算法，综合考虑列车全线能耗、乘客旅行体验和运营管理要求，设计目标函数，通过调整各个区间的运行时间，最大化该目标函数的值。本发明方法具有科学、精确、可靠的优点。

小分子化学趋向行为的微流控光学观察系统及观察方法 1109     

 0

本发明公开了一种小分子化学趋向行为的微流控光学观察系统及观察方法。所述的微流控光学观察系统包括光学平台和微流控芯片，以光致化学发光物质为研究对象，通过在低雷诺数流体中构建受体‑配体对的仿真化学梯度场，利用光致化学发光物质的发光特性进行图像采集，观测不同尺度分子和其有序集合的自发定向迁移性能，将受体的运动相态参数与配体的可逆缔合反应信息相关联，结合数理统计，观察分子结合诱导趋化现象。

岩土温度‑渗透‑应力‑化学耦合多功能试验系统 1138     

 0

本实用新型公开了一种岩土温度‑渗透‑应力‑化学耦合多功能试验系统，它包括竖向加载装置(1)、化学溶液隔离装置、压力控制装置、压力室(4)、体积变化测定装置(5)、温度控制装置(6)和计算机(7)，通过计算机(7)对竖向加载装置(1)、化学溶液隔离装置、压力控制装置、压力室(4)、体积变化测定装置(5)和温度控制装置(6)的控制，完成多种土工试验操作。本实用新型结构设计合理，操作简单，应用范围广，自动化程度高，可实现多种土工试验的全过程自动化控制，稳定性能高，使用寿命长。

岩溶隧道排水系统结晶堵塞的化学溶解与清洗疏通方法 1060     

 0

本发明是一种岩溶隧道排水系统结晶堵塞的化学溶解与清洗疏通方法，岩溶地区隧道工程普遍存在着岩溶结晶阻塞排水系统的问题，给隧道工程的结构安全及其长期运营带来了严重威胁。本发明涉及岩溶隧道排水系统结晶堵塞的化学溶解与清洗疏通方法。本发明采用浓度为2000～2200ppm、重铬酸盐指数为17.71～20％的聚合羧酸类有机酸试剂作为溶解清洗溶剂。其施工步骤分为：堵点电磁探测、溶解清洗管道布置、化学溶解阶段、辅助疏通措施、循环清洗阶段、封堵溶解清洗管道孔。上述溶解清洗溶剂具有绿色环保、且不与水泥基、PVC塑料材料发生化学反应，可有效清除排水系统岩溶结晶物。本发明的施工方法可以有效解决岩溶地区隧道工程普遍存在岩溶结晶堵塞排水系统的问题。

利用转基因斑马鱼模型的化学物神经毒性快速筛选方法 834     

 0

本申请公开了一种利用转基因斑马鱼模型的化学物神经毒性快速筛选方法，包括：(1)本发明选择试验模型为转基因斑马鱼Tg(HuC‑GFP)；(2)将所述斑马鱼胚胎在化学物溶液中暴露，在荧光显微镜下观察，所述转基因斑马鱼的胚胎或刚孵化的幼鱼在荧光显微镜下表现为神经元绿色荧光信号减弱，即可判定该化学物溶液具有神经毒性。其优点在于，采用本发明的筛选方法，可以简便、快速地、清晰地观察到模型斑马鱼神经元荧光信号，以此来判断待测化学物溶液，是否具有神经毒性，结果准确、可靠，为后续深入探索化学物神经毒性提供良好的基础。

化学电渗法联合桩基加固边坡模型试验装置 932     

 0

本实用新型公开了一种基于透明岩体材料的可视化化学电渗法联合桩基加固边坡模型试验装置，其包括透明岩体、试验支架、化学电渗单元和混凝土砂浆，其中，透明岩体用于模拟岩石边坡其中预设1～3条裂缝；试验支架用于支撑透明岩体和架设数码相机；化学电渗单元包括电极和化学溶液，电极包括若干阳电极和阴电极；化学溶液为氯化钙溶液和硅酸钠溶液；混凝土砂浆用于制备模拟模型试验装置中的混凝土桩。该试验装置可以可视化模拟整个化学电渗法联桩基加固边坡施工过程，并且可以观测钻孔、注浆化学反应及灌注混凝土过程与岩体之间的相互作用；且试验装置操作简单，易于实现。

原位紫外薄层电化学池装置 1030     

 0

本实用新型涉及一种原位紫外薄层电化学池装置，其目的在于解决现有技术中薄层电化学池对三电极体系中电极的限制，利用一般的薄层电极即可完成原位光谱测试。其结构包括：石英比色皿、贮液玻璃瓶、电极组件；石英比色皿位于贮液玻璃瓶下端，电极组件安装在贮液玻璃瓶瓶塞上。石英比色皿底部设有通孔，通孔连接橡胶软管。使用时于上端圆柱石英池中加入电解液，同时用针孔注射器连接下端软管，当抽动活塞时，将电解液引入下方比色皿中，在瓶盖上插入三电极并连接相应工作站，同时将下端比色皿插入紫外卡槽中即可开始测量。将光谱测量池与电化学池分开，解决了维护困难的问题；利用针孔注射器将电解液引入比色皿中，解决电解液流动困难的问题。