2024元强化学习驱动的高比例分布式光伏智能配电网自适应调压技术报告-天津大学（葛磊蛟）.docx

元强化学习驱动的高比例分布式光伏智能配电网自适应调压技术

目录

一、元强化学习

二、传统智能配电网调压技术

三、基于强化学习的电压自适应控制

四、元强化学习驱动的自适应电压控制

1.元强化学习

1.1元强化学习定义

元学习，也称为“学习如何学习”,是一种机器学习方法，旨在通过

学习多个任务的经验，提高在新任务上的学习效率。元学习的核心思想是从一组任务中提取通用的经验和知识，从而在遇到新任务时能够快速适应和学习。

Multi-tasklearning

learntasksperformtasks

Episode1Episode2

Trial1Trial2

Meta-learning图1强化学习环境中循环元学习器的工作流程

learntolearntasks

元强化学习的目标是学习一个元策略(Meta-

Policy),该策略能够在不同任务上快速适应和优化。

1.元强化学习

1.2

1.2元强化学习原理

元强化学习(Meta-ReinforcementLearning,Meta-RL)是结合元学习(Meta-Learning)和强化学习(ReinforcementLearning,

RL)的一种新兴方法。它旨在通过学习如何学习，提高智能体在新任务

上的适应能力和学习效率。

φθ?=φSamplestep1:θ?θ?

φθ?=φ

Sample

step1:

θ?

θ?ls;θ?)

?

θ?;)

l?(θ?)

AcrossTaskstrainingIinSupportset

step2

00

step5:Updateφ

φ=φ-p.

φ=φ-p.0

step3:inQuerysetl?(θi)=L

step3:

inQueryset

step4:AggregateLoss(4)=Z?(0)

step4:

AggregateLoss

step1:采样阶段

step2:训练阶段

step3:测试阶段

step

step4:聚合阶段

step

step5:更新阶段

目录

一、元强化学习

二、传统智能配电网调压技术

三、基于强化学习的自适应电压控制

四、元强化学习驱动的自适应电压控制

2.传统智能配电网调压技术

2.1

2.1国家重大需求：高质量发展智能配电网

技术路径

技术路径

成本高、精度差、调控

成本高、精度差、调控难

实际困境

集中控制风/光/氢等多类型

集中控制

风/光/氢等多类型能源分散无序接入

分散控制多拓扑的配电网

分散控制

多拓扑的配电网运行方式

日益增强的用户

日益增强的用户高品质供电需求

按照“集中式-分散式-分布式”的发展路径

按照“集中式-分散式-分布式”的发展路径

2.传统智能配电网调压技术

2.2

2.2智能配电网调压困境

新特点新挑战电压越限问题严重多设备协调控制困难

新特点

新挑战

电压越限问题严重多设备协调控制困难

线路电压，特别是末端节点电压波动严重

分布式光伏点多面广、分散无序接入

分布式光伏受光照日周期变化、云层变化、

阴影效应等影响

高比例分布式光伏等分布式资源海量接入导致配电网调

高比例分布式光伏等分布式资源海量接入导致配电网调压更加难

2.传统智能配电网调压技术

2.2智能配电网调压困境

电压机理复杂：呈现高维非线性、分布分散、时变性强等特征；电压波动传到特性加剧，需要统筹优化

2控制对象复杂：调节资源种类多，时序配合难；无功资源可调能力随机变化，有功无功耦合、精确控制难

2

3控制场景复杂：配电网架复杂，容易变化；跨多个电压等级，多个控制系统，信息交互慢；量测覆盖不全，配网模型获取困难

3

投资成本敏感：调压设备种类多样，调压的效果差异较大等

2.传统智能配电网调压技术

2.3传统调压手段：分层分区方式

配网级调压：多层级、全过程

电压无功优化调度主站

馈线层级：实现区域、区段协同电压控制

台区层级：有限量测条件下，提升台区自治电压控制能力

设备层级：加强