基于深度强化学习的大型充电场站电动汽车有序充电策略

安科瑞鲁一扬15821697760

摘要：本研究聚焦大型充电场站内规模化电动汽车的有序充电问题，提出一种基于双深度 Q 网络深度强化学习方法的充电安排策略。该策略可有效考量电动汽车出行模式与充电需求的不确定性，达成充电场站充电成本最小化的目标。通过提取电动汽车泊车时间和充电需求特征，旨在降低充电成本、增强电网稳定性并提升供电服务质量。深度强化学习于成本优化与负荷优化成效显著，结合负荷预测构建智能充电站优化选择系统极具应用潜力。未来可在算法优化、融合多元数据与技术、拓展应用场景以及政策标准制定等方面深入探索。

关键词：电动汽车；充电场站；深度强化学习；有序充电

1. 引言

伴随新能源汽车销量迅猛增长，大规模充电场站的建设需求愈发迫切。乘联会销量数据表明，2017 年中国新能源乘用车销量达 57.6 万台，位居全球首位且保持高增长率。中国汽车工业协会预估，2018 年新能源汽车销量将超 100 万辆。然而，大规模充电场站面临诸多挑战。

其一，整体电网用电峰值负荷上升。尤其在电动汽车充电行为中，傍晚充电峰值负荷显著增加。相关报告显示，至 2020 年与 2030 年，无序充电情形下，国家电网公司经营区域峰值负荷将分别增加 1361 万千瓦与 1.53 亿千瓦。其二，配电网增容改造需求增大、安全管理难度加剧。部分地区因电动汽车数量增多，充电需求攀升，推动充电设施建设发展。同时，电动汽车对大电流供电稳定性要求提高，不合理接线可能加大各级配电网保护动作跳闸风险。其三，供电服务质量与效率要求提升。居民区充电桩多采用单个用户小容量 “零散报装” 模式，相较于 “整体报装” 模式，对工作量、服务效率和服务质量要求更高。

在此背景下，深度强化学习于大规模充电场站的应用至关重要。其能够有效应对电动汽车出行模式与充电需求的不确定性，实现充电场站充电成本的优化。借助对电动汽车泊车时间和充电需求特征的提取，构建适用于大规模电动汽车有序充电的马尔可夫决策过程模型，并运用强化学习算法求解有序充电策略，可有效削减充电场站充电成本，且模型训练难度不受电动汽车规模影响。

2. 研究目的

本研究致力于解决大规模充电场站面临的诸多难题，运用深度强化学习技术达成电动汽车的有序充电，进而实现降低充电场站充电成本、提升电网稳定性以及供电服务质量的目标。

随着新能源汽车市场的持续扩张，大规模充电场站的建设与运营遭遇巨大挑战。深度强化学习作为一种具备强大学习与决策能力的人工智能技术，为应对这些挑战开辟了新路径。

通过提取电动汽车泊车时间和充电需求特征，建立马尔可夫决策过程模型，能够更好地把握电动汽车的充电行为与需求不确定性。应用双深度 Q 网络（DDQN）等深度强化学习算法求解电动汽车有序充电策略，可在考虑电动汽车出行模式和充电需求不确定性的基础上，实现充电场站充电成本最小化。

具体而言，本研究的目标涵盖以下几方面：一是削减充电场站的充电成本，通过优化充电策略降低电力消耗与运营成本；二是增强电网稳定性，避免充电高峰对电网造成过大压力，减少变压器过载等风险；三是提升供电服务质量，满足用户充电需求，提高服务效率与用户满意度。

深度强化学习在大规模充电场站中的应用具有重要现实意义与广阔发展前景。期望本研究能为大规模充电场站的建设与运营提供有力的技术支撑与决策依据。

3. 应用优势

于大规模充电场站而言，深度强化学习具备众多优势。首先，其能够妥善处理电动汽车出行模式和充电需求的不确定性。鉴于电动汽车使用行为的随机性以及充电需求难以精准预测，深度强化学习可通过与环境持续交互，学习并适应这种不确定性，从而制定更为合理的充电策略。例如，借助对历史充电数据的学习，深度强化学习算法可预测不同时段的充电需求概率分布，进而优化充电安排，降低充电成本。

其次，深度强化学习可实现全局最优解。在大规模充电场站中，充电策略的制定需综合考量电网负荷、充电成本、用户需求等多因素。传统优化方法往往难以兼顾，而深度强化学习可通过不断试错与学习，逐步逼近全局最优解。例如，通过对不同充电策略的模拟与评估，深度强化学习算法可在满足电网稳定性和用户需求的前提下，探寻充电成本最低的策略。

此外，深度强化学习具有自适应性与可扩展性。随着电动汽车市场的不断演进以及充电场站规模的持续扩大，充电需求与环境亦会发生变化。深度强化学习算法可自动适应这些变化，无需人工重新设计优化规则。同时，该算法易于拓展至更大规模的充电场站与更多的电动汽车，具有良好的可扩展性。

4. 有序充电需求

有序充电对充电场站运营和电网意义重大。对于充电场站运营，有序充电可提升充电桩利用率，减少车辆排队时间，提高运营效益。例如，在车多桩少的状况下，通过合理安排充电次序与设定中止充电 SOC 值，可提升充电站服务效率。同时，有序充电可降低充电成本。依据弹性电价机制，将充电时间安排在电价较低的谷时段，可有效削减充电费用。对于电网，有序充电可实现削峰填谷，减小电网负荷波动，提升电网稳定性与供电质量。数据显示，至 2020 年与 2030 年，无序充电情形下，国家电网公司经营区域峰值负荷将分别增加 1361 万千瓦与 1.53 亿千瓦。而有序充电可有效缓解充电高峰对电网的压力，减少配电网增容改造需求，降低安全管理难度。

5. 安科瑞充电桩收费运营云平台助力有序充电开展

5.1 概述

AcrelCloud - 9000 安科瑞充电桩收费运营云平台系统借助物联网技术，对接入系统的电动自行车充电站及各个充电桩进行持续的数据采集与监控，实时监测充电桩运行状态，开展充电服务、支付管理、交易结算、资产管理、电能管理、明细查询等工作。同时，对充电机过温保护、漏电、充电机输入 / 输出过压、欠压、绝缘低等各类故障予以预警。充电桩支持以太网、4G 或 WIFI 等方式接入互联网，用户可通过微信、支付宝、云闪付扫码充电。

5.2 应用场所

适用于民用建筑、一般工业建筑、居住小区、事业单位、商业综合体、学校、园区等充电桩模式的充电基础设施设计。

5.3系统结构

系统分为四层：

数据采集层：包含电瓶车智能充电桩，其通讯协议为标准 modbus - rtu，用于采集充电回路的电力参数，并进行电能计量与保护。

网络传输层：通过 4G 网络将数据上传至搭建好的数据库服务器。

数据层：由应用服务器和数据服务器构成，应用服务器部署数据采集服务、WEB 网站，数据服务器部署实时数据库、历史数据库、基础数据库。

客户端层：系统管理员可在浏览器中访问电瓶车充电桩收费平台。终端充电用户通过刷卡扫码的方式启动充电。

小区充电平台功能主要涵盖充电设施智能化大屏、实时监控、交易管理、故障管理、统计分析、基础数据管理等功能，同时为运维人员提供运维 APP，为充电用户提供充电小程序。

5.4 安科瑞充电桩云平台系统功能

5.4.1 智能化大屏

智能化大屏展示站点分布状况，对设备状态、设备使用率、充电次数、充电时长、充电金额、充电度数、充电桩故障等进行统计显示，还可查看每个站点的站点信息、充电桩列表、充电记录、收益、能耗、故障记录等，便于统一管理小区充电桩，查看设备使用率，合理分配资源。

5.4.2 实时监控

实时监视充电设施运行情形，主要包括充电桩运行状态、回路状态、充电过程中的充电电量、充电电压电流、充电桩告警信息等。

5.4.3 交易管理

平台管理人员可管理充电用户账户，对其进行充值、退款、冻结、注销等操作，可查看小区用户每日的充电交易详细信息。

5.4.4 故障管理

设备自动上报故障信息，平台管理人员可通过平台查看故障信息并进行派发处理，同时运维人员可通过运维 APP 接收故障推送，运维工作完成后将结果上报。充电用户也可通过充电小程序反馈现场问题。

5.4.5 统计分析

通过系统平台，从充电站点、充电设施、充电时间、充电方式等不同视角，查询充电交易统计信息、能耗统计信息等。

5.4.6 基础数据管理

在系统平台建立运营商户，运营商可建立和管理其运营所需站点和充电设施，维护充电设施信息、价格策略、折扣、优惠活动，同时可管理在线卡用户充值、冻结和解绑。

5.4.7 运维 APP

面向运维人员使用，可对站点和充电桩进行管理、实现故障闭环处理、查询流量卡使用情况、查询充电 充值情况、进行远程参数设置，同时可接收故障推送。

 

5.4.8 充电小程序

面向充电用户使用，可查看附近空闲设备，主要包含扫码充电、账户充值、充电卡绑定、交易查询、故障申诉等功能。

 

5.5 系统硬件配置

 

类型	型号	图片	功能
安科瑞充电桩收费运营云平台	AcrelCloud-9000

	安科瑞响应节能环保、绿色出行的号召，为广大用户提供慢充和快充两种充电方式壁挂式、落地式等多种类型的充电桩，包含智能7kW交流充电桩，30kW壁挂式直流充电桩，智能60kW/120kW直流一体式充电桩等来满足新能源汽车行业快速、经济、智能运营管理的市场需求，提供电动汽车充电软件解决方案，可以随时随地享受便捷安全的充电服务，微信扫一扫、微信公众号、支付宝扫一扫、支付宝服务窗，充电方式多样化，为车主用户提供便捷、安全的充电服务。实现对动力电池快速、安全、合理的电量补给，能计时，计电度、计金额作为市民购电终端，同时为提高公共充电桩的效率和实用性。
互联网版智能交流桩	AEV-AC007D

	额定功率7kW，单相三线制，防护等级IP65，具备防雷 保护、过载保护、短路保护、漏电保护、智能监测、智能计量、远程升级，支持刷卡、扫码、即插即用。 通讯方：4G/wifi/蓝牙支持刷卡，扫码、免费充电可选配显示屏
互联网版智能直流桩	AEV-DC030D

	额定功率30kW，三相五线制，防护等级IP54，具备防雷保护、过载保护、短路保护、漏电保护、智能监测、智能计量、恒流恒压、电池保护、远 程升级，支持刷卡、扫码、即插即用 通讯方式：4G/以太网 支持刷卡，扫码、免费充电
互联网版智能直流桩	AEV-DC060S

	额定功率60kW，三相五线制，防护等级IP54，具备防雷保护、过载保护、短路保护、漏电保护、智能监测、智能计量、恒流恒压、电池保护、远程升级，支持刷卡、扫码、即插即用 通讯方式：4G/以太网 支持刷卡，扫码、免费充电
互联网版智能直流桩	AEV-DC120S

	额定功率120kW，三相五线制，防护等级IP54，具备防雷保护、过载保护、短路保护、漏电保护、智能监测、智能计量、恒流恒压、电池保护、远程升级，支持刷卡、扫码、即插即用 通讯方式：4G/以太网 支持刷卡，扫码、免费充电
10路电瓶车智能充电桩	ACX10A系列		10路承载电流25A，单路输出电流3A，单回路功率1000W，总功率5500W。充满自停、断电记忆、短路保护、过载保护、空载保护、故障回路识别、远程升级、功率识别、独立计量、告警上报。 ACX10A-TYHN：防护等级IP21，支持投币、刷卡，扫码、免费充电 ACX10A-TYN：防护等级IP21，支持投币、刷卡，免费充电 ACX10A-YHW：防护等级IP65，支持刷卡，扫码，免费充电 ACX10A-YHN：防护等级IP21，支持刷卡，扫码，免费充电 ACX10A-YW：防护等级IP65，支持刷卡、免费充电 ACX10A-MW：防护等级IP65，仅支持免费充电
2路智能插座	ACX2A系列		2路承载电流20A，单路输出电流10A，单回路功率2200W，总功率4400W。充满自停、断电记忆、短路保护、过载保护、空载保护、故障回路识别、远程升级、功率识别，报警上报。 ACX2A-YHN：防护等级IP21，支持刷卡、扫码充电 ACX2A-HN：防护等级IP21，支持扫码充电 ACX2A-YN：防护等级IP21，支持刷卡充电
20路电瓶车智能充电桩	ACX20A系列		20路承载电流50A，单路输出电流3A，单回路功率1000W，总功率11kW。充满自停、断电记忆、短路保护、过载保护、空载保护、故障回路识别、远程升级、功率识别，报警上报。 ACX20A-YHN：防护等级IP21，支持刷卡，扫码，免费充电 ACX20A-YN：防护等级IP21，支持刷卡，免费充电
落地式电瓶车智能充电桩	ACX10B系列		10路承载电流25A，单路输出电流3A，单回路功率1000W，总功率5500W。充满自停、断电记忆、短路保护、过载保护、空载保护、故障回路识别、远程升级、功率识别、独立计量、告警上报。 ACX10B-YHW：户外使用，落地式安装，包含1台主机及5根立柱，支持刷卡、扫码充电,不带广告屏 ACX10B-YHW-LL：户外使用，落地式安装，包含1台主机及5根立柱，支持刷卡、扫码充电。液晶屏支持U盘本地投放图片及视频广告
绝缘监测仪	AIM-D100-ES

	AIM-D100-ES系列直流绝缘监测仪可以应用在15~1500V的直流系统中，用于在线监测直流不接地系统正负极对地绝缘电阻，当绝缘电阻低于设定值时，发出预警或报警信号。
绝缘监测仪	AIM-D100-T

	AIM-D100-T系列直流绝缘监测仪可以应用在10~1000V的直流系统中，用于在线监测直流不接地系统正负极对地绝缘电阻，当绝缘电阻低于设定值时，发出预警或报警信号。
智能边缘计算网关	ANet-2E4SM

	4路RS485串口，光耦隔离，2路以太网接口，支持ModbusRtu、ModbusTCP、DL/T645-1997、DL/T645-2007、CJT188-2004、OPCUA、ModbusTCP（主、从）、104（主、从）、建筑能耗、SNMP、MQTT；（主模块）输入电源：DC12V～36V。支持4G扩展模块，485扩展模块。
扩展模块ANet-485	M485模块：4路光耦隔离RS485
扩展模块ANet-M4G	M4G模块：支持4G全网通
导轨式单相电表	ADL200

	单相电参量U、I、P、Q、S、PF、F测量，输入电流：10（80）A； 电能精度：1级 支持Modbus和645协议 证书：MID/CE认证
导轨式电能计量表	ADL400

	三相电参量U、I、P、Q、S、PF、F测量，分相总有功电能，总正反向有功电能统计，总正反向无功电能统计；红外通讯；电流规格：经互感器接入3×1（6）A，直接接入3×10（80）A，有功电能精度0.5S级，无功电能精度2级 证书：MID/CE认证
无线计量仪表	ADW300

	三相电参量U、I、P、Q、S、PF、F测量，有功电能计量（正、反向）、四象限无功电能、总谐波含量、分次谐波含量（2～31次）；A、B、C、N四路测温；1路剩余电流测量；支持RS485/LoRa/2G/4G/NB；LCD显示；有功电能精度：0.5S级（改造项目） 证书：CPA/CE认证
导轨式直流电表	DJSF1352-RN

	直流电压、电流、功率测量，正反向电能计量，复费率电能统计，SOE事件记录:8位LCD显示:红外通讯:电压输入*大1000V，电流外接分流器接入(75mV)或霍尔元件接入(0-5V);电能精度1级，1路485通讯，1路直流电能计量AC/DC85-265V供电 证书：MID/CE认证
面板直流电表	PZ72L-DE

	直流电压、电流、功率测量，正反向电能计量:红外通讯:电压输入*大1000V，电流外接分流器接入·(75mV)或霍尔元件接入(0-20mA0-5V);电能精度1级 证书：CE认证
电气防火限流式保护器	ASCP200-63D

	导轨式安装，可实现短路限流灭弧保护、过载限流保护、内部超温限流保护、过欠压保护、漏电监测、线缆温度监测等功能;1路RS485通讯，1路NB或4G无线通讯(选配);额定电流为0~63A，额定电流菜单可设。
开口式电流互感器	AKH-0.66/K

	AKH-0.66K系列开口式电流互感器安装方便，无须拆一次母线，亦可带电操作，不影响客户正常用电，可与继电器保护、测量以及计量装置配套使用。
霍尔传感器	AHKC

	霍尔电流传感器主要适用于交流、直流、脉冲等复杂信号的隔离转换，通过霍尔效应原理使变换后的信号能够直接被AD、DSP、PLC、二次仪表等各种采集装置直接采集和接受，响应时间快，电流测量范围宽精度高，过载能力强，线性好，抗干扰能力强。
智能剩余电流继电器	ASJ

该系列继电器可与低压断路器或低压接触器等组成组合式的剩余电流动作保护器，主要适用于交流50Hz，额定电压为400V及以下的TT或TN系统配电线路，防止接地故障电流引起的设备和电气火灾事故，也可用于对人身触电危险提供间接接触保护。

 

6. 总结

深度强化学习在大规模充电场站应对电动汽车充电相关问题时展现出卓越效能。其可精准提取电动汽车泊车时间与充电需求特征，有效攻克出行模式及充电需求的不确定性难题，达成充电场站充电成本最优化的目标，并且在模型训练进程中，不会因电动汽车规模的扩张而致使训练难度剧增。

于大规模充电场站的复杂情境下，深度强化学习的优势极为显著。它不仅能够巧妙化解不确定性因素，还可凭借其强大的算法能力实现全局最优策略的探寻。同时，该技术具备良好的自适应性与可扩展性，在与环境持续交互的过程中，深度强化学习算法能够动态感知并适应充电需求的复杂变化以及电网环境的波动状况，进而规划出更贴合实际、更具合理性的充电策略。

综上所述，深度强化学习于大规模充电场站的应用意义深远。它为充电场站运营中所面临的诸如成本控制、电网稳定性保障、服务质量提升等诸多关键问题提供了切实可行的技术支撑与科学精准的决策参考，在当下及未来的新能源汽车充电基础设施领域，拥有极为重要的现实价值与极为广阔的发展空间，有望成为推动行业持续进步与创新的关键力量。

参考文献：

[1]陈果.适用于大规模充电场站的深度强化学习有序充电策略

[2]陈吕鹏，潘振宁，余涛，等.基于动态非合作博奔的大规模电动汽车实时优化调度

[3]安科瑞企业微电网设计与应用手册.2022.05版

审核编辑 黄宇