设计了一种可用于中红外波段探测的双层花瓣结构光学天线，利用有限时域差分方法，分析了结构参数、入射光偏振方向对单层天线共振波长及尖端电场强度的影响。在优化单层结构的基础上，计算了双层天线层间距（h）介于0.1~0.8 μm时，不同入射波长下上层天线尖端电场强度与入射光电场强度比值。为研究下层天线对于上层天线电场的增强机理，固定入射光波长，扩大天线层间距h（0.1~3.6 μm），对有无上层天线两种结构，分析相同探测点电场强度比随h的变化。结果表明，h<1 μm时，上层天线尖端电场增强主要来自于双层天线耦合增强，其中h<0.2 μm时，上层天线尖端场强随着距离h的减小而降低，主要因为近场耦合导致上层天线尖端能量转移到层间；h>1 μm时，上层天线尖端电场增强主要来自于下层天线反射光的干涉增强。

光学天线在自由空间光通信系统中发送或者接收光信号, 天线结构决定系统的检测性能。详细介绍了光学天线基本结构、卡塞格伦光学天线的研究进展、无独立信标瞄准、捕获和跟踪(PAT)系统和一点对多点通信光学天线, 展望了光学天线未来的研究方向。

为了提高光纤脉冲相干激光测风雷达性能, 采用数学建模的方法来分析光学天线特性。利用后向传播本振原理, 讨论光学天线口径对系统载噪比的影响, 以及光瞳截断比对天线效率的影响;提出光学接收耦合效率的定义, 研究不同大气折射率结构常数条件对耦合效率和测程的影响; 通过搭建实验平台, 测量不同距离门内的载噪比和频谱强度等参数, 验证了仿真结果。结果表明, 当远场探测距离在7km~10km范围内变化时, 天线最优口径为100mm, 光瞳截断比最优值为0.8;相较弱湍流情况, 强湍流会使同一系统测程下降近30%。此研究为光学天线的优化设计提供了理论依据。

针对水下无线光通信系统对准困难以及光斑均匀性较差的问题，基于自由曲面设计理论设计了一种能产生矩形光斑的光学天线。仿真结果表明，当透镜与目标面的距离为10 m时，该自由曲面透镜能产生均匀度达到87.3%的矩形光斑，光能利用率为93.4%。将该自由曲面透镜应用于水下发射天线，当接收机灵敏度为-30 dBm、接收孔径为50 mm时，浑浊海水的最大通信距离为2.3 m，纯水、清澈海水的最大通信距离大于10 m。用三组自由曲面透镜组成的360°全覆盖全向光学发射天线产生的光斑边缘均匀度相比单一发射天线由17.4%提高到35.2%，提高了水下光通信链路的稳定性，为解决水下无线光通信中的对准问题提供了新思路。

目前研究人员提出了各种光学天线以线性方式控制辐射图，而较大的非线性效应可以引起天线的折射率的变化，从而改变辐射方向图。通过修正电子的有效质量进而完善Drude模型，可得到氧化铟锡(ITO)的非线性折射率与频率和强度的函数关系，进而可知由ITO制成的纳米天线会表现出极大的光学Kerr效应。本文研究了ITO天线的线性和非线性响应。利用ITO的Kerr效应控制天线的辐射方向图。基于该模型，设计了一种非线性光学天线，实现了覆盖近红外波段（1 000~1 650 nm）的可调谐辐射方向图。进一步，基于ITO和介电材料硅(Si)设计了一种杂化的非线性光学天线。该杂化天线可以更好地利用ITO的强Kerr效应，可以较大程度上对光场辐射进行调控。该工作突破了新型非线性材料的强Kerr效应仅局限于特定共振频率点或者零折射率点这一特点。本研究提供一种用于超快动态控制超材料的新颖方法，可应用于光束转向和光学调制等。

表面等离激元是一种存在于金属(或掺杂半导体)-介质界面的电磁极化和振荡现象，可以显著增强纳米尺度光与物质的相互作用，在波导、生化传感、超快调制、探测以及非线性光学等领域具有重要应用前景。表面等离激元的激发主要采用受衍射极限限制的光学激发方式，通常需要棱镜、光栅等大尺寸光学元件的辅助，这极大限制了等离激元器件的小型化和片上高密度集成。通过将等离激元纳米结构和隧道结集成起来，低能量的隧穿电子可以直接激发该结构的等离激元模式，具有超小尺寸、超快调制速度等优点。本文将回顾基于电子隧穿效应的表面等离激元激发的研究历史，并着重介绍该领域的最新研究进展。

针对共口径偏振复用空间激光通信光学天线采用双色分光片分光而浪费高效率波段的问题, 利用偏振分光棱镜、法拉第旋光器等器件设计了一种分光束结构。根据现有空间激光通信器件参数, 分析了空间激光通信系统对分光束结构的隔离度的需求, 计算了该结构的隔离度与光学损耗, 并分析了其适用范围。计算结果表明该结构可以应用于共口径偏振复用空间激光通信光学系统。

传统离轴反射光学天线的出瞳距较短,需要中继光学系统将出瞳成像于快反镜附近,这会增加后续光路和结构的复杂度,且中继光学系统的后向散射光会对激光通信终端产生严重的影响。针对上述缺陷,设计了长出瞳距离轴四反光学天线,该光学天线的出瞳被直接设计在快反镜上,省去了中继光学系统。首先,从同轴三反像差理论出发,推导了像差表达式和初始结构方程。然后,基于像差理论和出瞳位置要求,计算了离轴四反光学天线的初始结构参数,并采用Zemax软件对初始结构进行光线追迹和性能优化。最后采用Zemax对离轴四反光学天线进行了公差分析。结果表明:所提系统性能优异,结构紧凑,加工和装调公差合理,满足激光通信终端性能要求。