11.1.2 强化学习
另一种近年来受到高度关注的决策过程是强化学习，它属于机器学习的一种。如图11.3所示，强化学习采用一个代理，该代理以先前动作的奖励和关联状态作为输入，进而确定新的动作。
该动作可以是任意操作，但在构建认知无线电引擎时，动作主要为特定无线电配置，以确保通信系统在如色散性无线信道等现有运行条件下表现良好。接收机根据动作计算得到的最终奖励，用以评估该动作的优劣。通过开销信道将其返回给代理，以闭合反馈环，使代理能够调整后续动作（参见图11.2中认知无线电引擎的反馈环）。
虽然图11.3所示结构较为直观，但唯一的顾虑在于闭合环路所需的开销信道。若能在该框架中尽量减少开销信道的影响，则此强化学习方法将更加稳健。因此，一种在保持良好性能的同时最小化开销信道影响的方法是采用神经网络。神经网络本质上是一个黑箱，能够通过大量数据训练，构建复杂的输入输出关系，替代封闭形式的数学表达式。参见图11.4，可以看到神经网络的一个示例。
可在强化学习框架内应用，以辅助代理根据过去的奖励和状态做出行动决策。事实证明，若神经网络经过充分训练，能够在数学上准确建模通信信道的相关奖励，则可用于运行强化学习代理，直到信道条件发生显著变化，需要重新训练神经网络。
车载网络
在掌握认知无线电的相关知识后，我们接下来探讨一个将认知无线电与软件定义无线电技术结合，真正能够引发变革的应用领域：车载网络。
过去数十年中，车载网络已被广泛研究[12]，尤其是车辆到车辆（V2V）和车辆到基础设施（V2I）通信方面[13–16]。 鉴于其复杂的操作环境，包括快速变化的网络拓扑[17]、传播媒介的时变物理特性[18,19]，以及对稳健介质访问控制（MAC）协议的需求[20]，车载网络是学术界和工业界共同关注的挑战性研究领域。
IEEE 802.11p（专用短程通信或 DSRC）和IEEE 1609（车载环境无线接入或 WAVE）是用于实现V2V和V2I网络架构的权威标准[13, 16, 20–23]。鉴于这些标准是广泛应用的IEEE 802.11 无线网络架构族的简单扩展，部署符合标准的无线设备相对成本较低。然而，与采用Wi-Fi 的室内环境不同，车载网络环境更加复杂，带来了Wi-Fi社区之前未曾遇到的挑战。
VANET是一种移动自组织网络（MANETs），专门面向地面移动车辆的应用场景。VANET的三类典型应用包括[16]：
•道路安全应用：预警系统及紧急车辆警告应用。此类应用的信息享有最高优先级。
•交通管理应用：本地及地图信息。
•信息娱乐：基于传统IPv6互联网的多媒体内容。
在VANET架构中，V2V和V2I链路可能同时存在，以支持网络中的通信。在V2V中，每辆车都配备有一个车载单元（OBU），V2V通信主要在各车辆的OBU之间进行，主要用于道路安全和交通管理应用[24]。 有关V2V DSRC的测量数据详见文献[15]。 在V2I应用中，道路基础设施可能配备路侧单元（RSU）。 为了支持VANET中的V2V和V2I通信，存在两个针对VANET的标准化协议：IEEE 802.11p和IEEE 1609。图11.5呈现了采用IEEE 802.11p和IEEE 1609的车载无线单元协议栈的图示。
参见图11.5，IEEE 802.11p [13]规定了PHY层和MAC层，而高层由IEEE 1609.x协议定义。IEEE 802.11p与IEEE 802.11-2012标准[23]具有许多相似特性。然而，为了降低高度动态车载通信环境中的通信延迟，MAC层必须以支持网络拓扑快速变化及低延迟通信需求的方式加以定义。因此，IEEE 802.11p和IEEE 1609.4对MAC层定义了新的特性。例如，在IEEE 802.11中，无线节点可形成一个服务集（SS），节点共享相同的服务ID（SSID）并实现通信。该网络具备一个接入点（AP）称为基础服务集合（BSS），而无AP的网络（即临时网络）称为独立BSS（IBSS）。
多个BSS可连接形成扩展服务集合（ESS），且同一ESS中的所有BSS可共享相同的扩展SSID（ESSID）。 针对车载自组网（VANET）的问题在于，在任何通信开始之前组建独立基础服务集（SS）可能耗时较长，这不适合快速变化的车载网络环境。为解决该问题，IEEE 802.11p标准提出了上下文无关BSS（OCB）模式，该模式适用于单一无线链路覆盖范围内的多个设备。
在OCB模式下，车辆可随时发送或接收数据，无需组建或成为SS成员。此外，IEEE 802.11p标准将认证、关联及数据机密性机制从MAC层剥离，转移至IEEE 1609.2[21]定义的独立高层。相反，IEEE 802.11p仍保留BSS模式，主要用于通过车联网（V2I）通信的娱乐信息应用。
在MAC层，传统IEEE 802.11采用载波监听多路访问（CSMA）/冲突避免（CA）机制。IEEE 802.11p仍然采用CSMA 机制，但也采用了一种混合协调功能(HCF)，该功能通过IEEE 802.11e中定义的增强分布式协调接入(EDCA)确保服务质量(QoS)。不同服务的数据根据其重要性具有不同优先级。例如，CSMA/CA与所提出的自组织时分多址(STDMA)机制的性能表明，STDMA相较CSMA/CA丢包发生率更低[25]。
然而，本文并未完整考虑HCF机制（即未评估基于QoS的EDCA及基于竞争自由周期 (CPF) 的HCCA）。 为了降低传输中的数据包丢失率，WAVE还提出了一种基于优先级的TDMA MAC机制[26]。
基于IEEE 802.11p的车辆自组网 (VANET)物理层源自IEEE 802.11a标准，提供5 MHz、10 MHz和20 MHz三种不同信道带宽选项，推荐使用10 MHz。IEEE 802.11a类似，IEEE 802.11p采用了包含52个载波的正交频分复用（OFDM），其中包括48个数据载波和4个导频，以及8-μs符号间隔。物理信道支持二进制相移键控（BPSK）、相位键控（SPSK）、16-QAM和64-QAM。 除IEEE 802.11p外，IEEE 1609.4还定义了MAC层中的多信道行为[20]。 鉴于物理层由七个信道组成，IEEE 1609.4定义了中央控制信道（CCH）与服务信道（SCHs）之间的信道切换机制。IEEE 1609.3定义了车载自组网（VANET）中的两类消息：
WAVE简短消息协议（WSMP）和IPv6协议栈[22]。 IPv6通常用于信息娱乐应用，而安全应用通过WAVE简短消息（WSM）进行传输。此外，SAE J2945规范了SAE J2735专用短程通信（DSRC）消息集及其相关数据帧和数据元素的最低通信性能要求。为确保车辆间的互操作性，SAE J2945进一步规定了BSM发送频率、发射功率控制及自适应消息速率控制。
SAE标准已被汽车工业广泛应用于安全消息的实现。尤其是，SAE J2735定义了15种安全消息类型，如基础安全消息（BSM）、信号相位时间（SPT）消息和MAP消息[16]。
BSM以10赫兹的频率周期性广播至周围车辆，发布车辆的状态信息，如位置、速度、加速度及航向[27]。 采用选择性广播，处于DSRC传输范围边缘的车辆会转发其他车辆发送的消息。当原消息发送者收到转发的消息时，将取消自身广播。BSM消息特性为DSRC的强制要求。
需注意，选择性广播已在车载自组网（VANETs）的NS-3仿真平台中实现[28]。在SAE J2735标准中，BSM报文由两个部分组成：基本部分和可选部分[29]。 基本部分包括车辆的位置信息、运动信息、时间信息及车辆一般状态信息，这些信息始终采用DER编码与某些八位字节二进制大对象编码的组合方式发送[27]。 可选部分仅在必要时发送。该部分提供辅助接收设备进行进一步处理的信息。
DSRC通信范围内的车辆能够通过BSM相互共享环境感知信息，涵盖以下场景：
•变道预警：车辆通过V2V通信在DSRC范围内周期性地共享包括位置、航向、方向和速度在内的环境信息。当驾驶员发出变道意图信号时，车载单元能够判断其他车辆是否位于盲区。若确实存在盲区内的其他车辆，驾驶员将收到警告；这被称为盲区预警。 另一方面，如果盲区内不存在车辆，车载单元（OBU）将基于通过基本安全消息（BSMs）获取的交通信息，预测临近车道是否存在足够的间隙以实现安全换道。如果相邻车道的间隙不足，将向驾驶员发出换道警告。
•碰撞警告：车辆动态接收来自基本安全消息（BSMs）的交通信息，并将该信息与自身的位置、速度、航向及道路信息进行比较。基于比较算法的结果，车辆将判断是否存在潜在碰撞的可能，并向驾驶员发出碰撞警告。
•紧急车辆警告：紧急车辆发送信号，以通知附近车辆紧急车辆正在接近。
除了常规安全消息，基本安全消息（BSM）还可用于传输控制消息。此功能可应用于协同碰撞警告环境[30]、安全消息路由应用[17]，以及提升功率控制性能[31]。 对于紧急信道（即信道172和信道184），BSM可以传递功率控制信息，以协调每个信道上的传输功率。相反，BSM也可用作车辆控制算法的输入。控制消息在范围内的车辆之间传输。
鉴于关于VANET通信的这些规范和标准，个人可以实现支持V2V和V2I通信的无线电设备。尽管无线电设计较为复杂，因为整个协议栈庞大，但这些信息足以构建符合IEEE 802.11p和IEEE 1609标准的无线电。在软件定义无线电平台上实现IEEE 802.11p和IEEE 1609时需考虑的主要问题包括无线电本身的计算性能、以实现吞吐量为限的带宽限制，以及协议栈中各个功能的实时性。尽管面临诸多挑战，但仍有可能构建能够在行驶过程中实时联网的车载通信软件定义无线电系统。
章节总结
在本章节中，我们简要介绍了两种能够广泛应用软件定义无线电技术的实际案例：认知无线电和车载网络。关于认知无线电，我们探讨了如何在软件定义无线电平台上构建认知无线电引擎，并介绍了至少两种基于大黄蜂行为模型或强化学习方法的决策过程构建方案。关于车载网络，我们简要介绍了IEEE 802.11p和IEEE1609标准，这些标准使我们能够利用软件定义无线电技术从零开始构建车载网络。
文章来源：威视锐科技