互联网原始设计主要用于可信环境,侧重于网络的互连,而缺少对网络安全的考虑。伴随着互联网逐渐走向商用,其面临着严重的安全威胁,而“外挂式”安全机制虽能解决特定安全问题,但却使得网络协议越发臃肿,由此产生了内生安全网络研究。其中,网络流量安全是内生安全的一个重要方向,如何在高效、精确、低成本又兼顾用户隐私的情况下,识别出网络流中的恶意流量显得尤其关键。本文针对内生安全需求,分析了现阶段网络中恶意流量识别的问题与难点,提出了相应解决方案。本文的工作主要包括:（1）针对数据集获取困难问题,本文提出了小样本迁移学习算法EGF（EfficientNet Global Finetune）,利用EfficientNet作为骨干模型并结合全局Finetune的迁移学习方法,对比了不同源域数据集预训练的模型权重,随机采样了多种比例的原始数据集中的训练集样本,在同一测试集下进行评测。在USTC-2016流量数据集下,EGF算法利用不同的源域数据进行对比实验分析,结合多种比例的目标域数据采样训练,结果显示EGF在2%目标域数据下能达到91.11%的性能。（2）针对流量数据与模型更新频繁问题,本文提出“蒸馏学习+偏差校正”的增量学习算法 DLDC（Distillation Learning and Deviation Correction）,在尽量减少已知类别错误率的情况下,准确率识别出新类别,并随着数据的变化而动态更新模型,缓解了“灾难性遗忘”的影响。实验表明该DLDC算法能够在模型性能下降3%左右的情况下完成模型的更新。（3）针对用户隐私与数据隔离问题,本文提出基于PySyft框架的联邦学习算法Federal-EfficientNet,保护用户隐私和数据安全,在不分享原始数据集的情况下,每个子模型都单独训练独立的数据集最终合并更新模型的参数。本文将Federal-EfficientNet应用到恶意流量检测中,最终实验模拟的50个参与者的联邦学习的结果,比参与者用同样数据集单独训练效果提升13%。本文的这三个研究点解决了如今网络现状下恶意流量识别任务的痛点,为内生安全研究提供了支撑。