针对模分复用系统中由于模式耦合引入的信道串扰（XT）的问题，提出一种基于信号相关峰提取的XT相关比测量方法，并将XT相关系数应用于多进多出恒模盲均衡算法（CPR-MIMO-CMA）中以提升信道均衡效果。搭建了少模光纤传输的实验平台，利用CPR-MIMO-CMA对接收端数据进行处理，研究结果表明，在满足前向纠错（FEC）为3.8×10^-3的门限下，所提出的CPR-MIMO-CMA在LP01、LP11、LP21三模信道中比传统CMA分别具有1.3 dB、0.9 dB、1.0 dB的性能增益，并且3个模式下的平均收敛时间减少约50%。

提出了一种基于级联非对称Y分支的紧凑、宽带、高效的LP₀₁-LP_11a模式转换器。制作的聚合物波导模式转换器具有1.5 mm×14.0 μm的紧凑尺寸，对于C+L波段的x偏振和y偏振光，其模式转换效率大于98%，串扰小于-17.5 dB，插入损耗低于5.8 dB。所提出的模式转换器可以应用在宽带模分复用传输系统中。

为了利用模分复用（MDM）和超奈奎斯特（FTN）传输技术提高无源光网络（PON）的传输容量和频谱效率，同时也为了保证系统具有良好的误码率性能，本文提出了基于矩阵分解预编码和MIMO预均衡器的联合损伤补偿方法，用于消除超奈奎斯特模分复用无源光网络（FTN-MDM-PON）中存在的MDM信道损伤和FTN传输损伤。对于矩阵分解预编码技术，本文采用奇异值分解（SVD）预编码、带功率预分配的奇异值分解（SVD PA）预编码和Cholesky分解（Chol）预编码方式，分别将它们与MIMO预均衡器结合后对比三种联合方案降低FTN-MDM-PON系统误码率的效果。仿真实验结果表明：采用SVD PA预编码、Chol预编码与MIMO预均衡器结合的联合损伤补偿方法时，FTN-MDM-PON系统中的4个线偏振（LP）模式的FTN信号经过5 km少模光纤（FMF）传输后，接收端误码率能够低于7%硬判决-前向纠错（HD-FEC）门限3.8×10^-3。其中，Chol预编码与MIMO预均衡器结合的联合补偿方案降低误码率的效果最优，相比于表现较优的SVD PA预编码结合MIMO预均衡器方案，接收光灵敏度提升了1 dB~3 dB。

提出了一种基于神经网络的多输入多输出（MIMO）均衡器，并在大容量模分-波分复用通信系统中进行了实验验证。该系统基于6模掺铒光纤放大器实现了16通道波分复用双极化48 Gbaud 16阶正交振幅调制（16QAM），在LP01、LP02、LP11a、LP11b、LP21a、LP21b六种模式上传输了100 km少模光纤（FMF）。为降低非线性的影响，在接收端数字信号处理中，采用基于多标签技术的MIMO神经网络均衡器，能够显著提升系统性能。实验结果表明，经100 km的FMF传输，MIMO神经网络均衡器的强大性能使得系统的比特误码率能满足15% 软判决前项纠错阈值要求。

太赫兹通信兼具微波通信和光波通信的优势, 是解决通信容量紧缺难题的最有效技术手段之一。针对太赫兹波段吸收损耗严重及抗外在扰动差, 难以支持长距传输问题, 设计了一种基于环形光子晶体光纤(PCF)结构的新型太赫兹光纤。以现有常见材料作为光纤基底材质, 通过创新光纤结构中空气孔排布方式, 抵消材料高吸收损耗, 以支持高性能轨道角动量(OAM)模式传输。选择最优参数, 实现 6个 OAM模式群的高模式质量、低限制损耗和宽带宽的稳定传输。在 0.2~0.9 THz宽波段内, 实现模式纯度超过 88.9%, 限制损耗小于 10-7 dB/m。通过软件仿真实验设计, 解决了太赫兹与 OAM技术相结合的关键问题, 为模分复用(MDM)技术在太赫兹通信系统的应用奠定了理论研究基础。

基于少模光纤的空分复用（SDM）技术是一种能将现有单模光纤通信系统的容量提高数十倍的关键技术，作为一种克服传统单模光纤通信系统容量瓶颈的有效手段，值得深入研究。本综述介绍了基于强耦合的少模光纤模分复用中的复用/解复用器、光纤放大器、少模光纤、光传输系统集成器件的关键技术及研究进展，介绍了部分较为经典的或是最新的强耦合少模光纤复用光传输系统的实验，并探讨了模分复用光传输系统的未来研究方向。

为了解决急剧提升的通信系统容量需求与长距离传输等问题，通过实验验证了超大容量的少模光纤传输。在超大容量需求的背景下，同时使用波分复用、模分复用、偏振复用三种复用技术进行信号传输，凭借自研的低损耗六模渐变型光纤（各模式衰减约为0.2 dB/km），实现了覆盖C波段共80个通道，每个通道双模双偏振信号的1000 km传输。考虑到超长距离传输带来的色散和双模双偏振带来的串扰，在进行接收端离线数字信号处理（DSP）时首先使用频域色散补偿算法进行色散补偿，并在下采样和时钟恢复后联合利用多输入多输出-频域最小均方算法（MIMO-FDLMS）和多输入多输出-时域最小均方算法（MIMO-TDLMS）进行信道均衡和色散补偿。在28%冗余的低密度奇偶校验（LDPC）信道编码软判决前向纠错（SD-FEC）阈值5.2×10^-2条件下，实现了总的线传输速率40.96 Tbit/s，净速率高达32 Tbit/s。

为了解决通信容量不足以及非线性损伤问题，基于正交相位（IQ）调制外差相干探测，利用极化复用技术、模分复用技术以及先进的数字处理算法，搭建了单通道模分复用少模光纤传输系统，并成功实现了波特率为32 Gbaud的16正交振幅调制（QAM）信号在两个兼并模LP11a和LP11b模式下的1000 km传输。使用时域和频域多输入多输出最小均方（MIMO-LMS）算法进行均衡处理后，误码率（BER）低于软判决前向纠错（SD-FEC）的阈值（5.2×10^-2）。

采用少模光纤强耦合模分复用技术是大容量光纤通信系统的一种主要方案，而数字信号处理能在数字域补偿信道中带来的损伤，为信号恢复提供了灵活性并进一步提升传输容量。介绍了少模光纤强耦合通信系统中相比单模光纤系统所受到的额外损伤，并介绍了补偿损伤所使用的多输入多输出（MIMO）均衡算法、空时编码（STC）算法、干扰消除算法和最大似然估计算法的工作原理和主要研究进展，同时阐述了当前这些算法在复杂度、传输时延、光传输速率等方面仍存在局限性。结果表明，MIMO均衡算法结合STC有明显优势，在未来大容量长距离少模光纤强耦合通信系统中具有重要的应用意义。

模式转换器是实现模分复用技术（MDM）的关键部件。基于伴随法对器件边缘进行智能优化，从而在绝缘体上硅（SOI）平台上设计了高性能TE₀-TE₁模式转换器。经仿真验证，在中心波长1550 nm处，模式转换效率达99.6%，消光比达31.2 dB，而损耗仅为0.01 dB。在1500~1600 nm带宽范围内，TE₀-TE₁的转换效率保持在96.6%以上，消光比保持在15.7 dB以上，而损耗保持在0.14 dB以下。当器件尺寸变化在±20 nm以内时，器件在1550 nm处的转换效率保持在97.2%以上，消光比保持在16.5 dB以上，插入损耗维持在0.12 dB以下。在片上设计了TE₁模式的测试装置，并利用商业流片对转换器进行制备。实验结果表明，在60 nm的带宽范围内，TE₀-TE₁转换器的转换效率保持在90%以上，插入损耗维持在0.4 dB以下。因此，所提出的转换器具有高转换效率、宽带宽、低插入损耗和高制作容差等特点，为高性能片上模式转换器的高效设计提供了新思路。