原子玻色-爱因斯坦凝聚体的调制稳定性决定了凝聚体的超流属性，是超冷原子物理研究的重要内容。在由拉曼光形成的自旋轨道耦合的玻色-爱因斯坦凝聚体中，存在4种不同的零动量本征态，由于自旋轨道耦合的存在，其中两种态载有流，另两种态不载流。通过对它们进行调制稳定性分析，发现无论在什么参数空间，这4种态都是调制不稳定的，即自旋轨道耦合总是能够诱导出调制不稳定性。这些态的动力学演化揭示调制不稳定性能够产生复杂的图案。

随着远程光纤水听器系统传输距离的不断扩展, 各类光学非线性效应的影响日益凸显, 并已成为制约远程光纤水听器系统性能的瓶颈。回顾了远程光纤水听器系统中光学非线性效应研究进展, 对系统中存在的光学非线性效应进行分析, 并重点介绍了系统中受激布里渊散射与调制不稳定性的产生机理及其对系统相位噪声的影响, 并介绍相应的抑制方法。

借助线性稳定性分析方法,推导出包含非线性耦合作用的锯齿型光波导阵列中平面波的离散调制稳定性增长率的解析表达式,并针对不同次近邻耦合系数分析了非线性耦合作用对调制不稳定性区域的影响.结果表明,改变非线性耦合系数的值会明显影响调制不稳定区域的形状.根据调制稳定性分析结果,预测了亮离散孤子可能存在的参数区域.然后,利用一种准离散的多重尺度方法得到了此锯齿型光波导阵列中亮离散孤子的解析解,并分析了它们的存在条件,结果与离散调制不稳定性分析预测的存在条件基本一致.

在色散振荡光纤中,研究平均色散、色散振荡周期和色散振荡振幅对准连续泵浦波输出调制不稳定性增益边带的影响。结果表明:随着平均色散和色散振荡周期的增加,各阶边带中心向频谱的中心频率移动,并且相对应的增益值逐渐减小。特别地,当色散振荡周期以整数增加时,在一定频谱范围内,会出现对称不等增益边带组。然而,增强色散振荡振幅,各阶边带中心频率并不发生改变,此时各阶边带增益出现振荡周期性的减小,边带出现分裂和消失的现象。同时,利用解析公式对离散增益边带进行理论预测,讨论解析公式的适用性。

在非线性自散焦LiNbO3∶Fe晶体中, 实验观察了用激光作光源和用白光作光源两种情况下所产生的调制不稳定性, 并从三个方面对这两种情况进行了比较。实验结果表明: 在两种情况下, 达到稳定状态前, MI现象都会随辐照时间的增加而变得越来越清晰, 并且MI图样都会随着入射光束形状的变化而变化。不同的是, 用白光作光源时, 灯丝长度方向与晶体c轴方向的夹角大于等于45°时出现MI, 而用激光作光源时, 入射光束方向与c轴方向的夹角不大于45°才出现MI。

采用在谐振腔内加入非线性介质的方法，制作了由谐振腔直接产生超连续谱输出的全光纤结构激光器。解决了传统超连续谱激光器光源需要高功率和多级放大结构的问题。利用声光调制器作为调Q 介质，在调制不稳定性效应的影响下使脉冲分裂，利用谐振腔直接输出的结构获得了平均功率为102 mW 的超连续谱输出，光谱范围为440~1700 nm，10 dB带宽为500 nm，光-光转换效率为5%。

在LiNbO3∶Fe晶体中实验观察了由内在噪音引起的调制不稳定性和加入振幅掩模后产生的调制不稳定性,并对二者进行了比较。在使用振幅掩模时,根据晶体c轴方向与振幅掩模所带周期格子暗斑主轴方向的关系,分两种配置进行了观察比较,第一种配置是二者平行,第二种配置是二者成45°夹角。实验结果表明,掩模的加入加快了调制不稳定性的出现,但在第二种配置下产生的调制不稳定性对晶体内已形成的光子晶格的影响较小,并且这些周期性的光子晶格反过来对调制不稳定性的进一步发展有很好地抑制作用。由于光孤子有很高的应用价值,而调制不稳定性被看作是光孤子形成的预兆,所以研究它具有广泛的应用前景。

应用Compton散射模型和非线性Schrdinger方程,研究了Compton散射对等离子体零色散附近调制不稳定性的影响,提出了将Compton散射作为形成调制不稳定性的新机制,给出了等离子体修正色散方程,并进行了数值计算.结果表明：二阶色散较大时,远离零色散附近调制不稳定性增益谱由入射和散射光产生的二阶色散决定,随二阶色散增大,四阶色散作用迅速减小,这是因散射效应有效削弱了四阶效应的缘故.零色散附近调制不稳定性增益谱由入射和散射光产生的四阶色散决定,二阶色散被湮灭,微扰频率最大值向临界微扰频率较快靠近,这是因散射效应有效增强了四阶效应的缘故.增益谱宽随等离子体损耗增大而迅速增大,这是因功率增大使散射效应增强,导致带电粒子辐射阻尼增强的缘故.

在考虑线性损耗的情况下,对硅基纳米波导中皮秒脉冲传输交叉相位调制不稳定性进行了仿真研究。采用微扰和线性稳定性分析方法,理论推导了调制不稳定性产生所满足的色散关系和调制不稳定性增益谱表达式。分析了脉冲光功率、线性损耗和群速度色散系数等参量对交叉相位调制不稳定性的影响,并进行了仿真分析。结果表明,即使在微弱的入射光功率下,仍然存在强烈的交叉相位调制不稳定性现象;交叉相位调制不稳定性不仅可以在反常色散区出现,而且在正常色散区也会发生。波导的线性损耗对交叉相位调制不稳定性增益谱有明显影响。

基于异向介质中包一到三阶非线性色散的非归一化扩展非线性传输方程，利用德鲁德电磁模型和线性稳定性分析法，导出了调制不稳定的色散关系和增益谱.以实际单位形式计算和讨论了传输方程系数、正负折射区及自聚焦和自散焦情况下调制不稳定增益谱随归一化角频率的变化关系.结果表明：随归一化频率增加，负折射区在自聚焦时的增益谱谱宽和谱峰都先增加再减为零；负折射区在自散焦时调制不稳定只出现在禁带附近，且谱宽和谱峰都单调减小.正折射区调制不稳定只出现在自聚焦情形，且谱宽一直增加，而谱峰先减小后增加.总体而言，三阶非线性色散的存在不利于调制不稳定的产生.