二项目实训—场景划分

LGSS框架代码结构分析 1、数据说明 data （1）aud_feat 音频特征文件：shot-level 的音频特征，格式为 npy，用于场景分割训练；
? （2） place_feat 地点特征文件：shot-level 粒度的地点图像特征，格式为 npy，用于场景分割训练；
（3）meta 文件夹：对训练集做验证、测试的的划分；
?（4）shot_stats, shot_txt 等文件：镜头切分结果相关文件，比如：视频镜头文件（shot_txt）等；
（5）label318 标签文件，是每个镜头的场景过渡 ( 1 ) 或非 ( 0 ) 标签：生成镜头切分的 Groundtruth 用于做场景分割训练，注意如果视频只生成一个镜头则无法生成相应的label标签（单个镜头无法做场景聚合）。
（6）shot_movie318：镜头和帧的对应关系，以恢复每个场景的时间。它们将由处理代码自动处理，例如 src/data/all.py 中的 data_pre 方法
2、数据预处理 pre 数据预处理模块主要分为音频特征提取（audio）、地点特征提取（place）以及镜头切割（ShotDetect）

（1）音频特征提取：使用在AVA-ActiveSpeaker数据集训练的NaverNet模型分离演讲以及背景音，再使用stft模型分别获得镜头特征并结合得到音频特征；
（2）地点特征提取：使用ResNet50，Faster-RCNN等预训练模型获得地点等特征；
（3）镜头切割：通过设定阈值，计算图像hsv相似度得到。
3、模型训练测试代码 lgss 【二项目实训—场景划分】
（1）run.py 代码入口
（2） config 配置文件目录
（3）utilis 其他被调用的函数
（4）src 网络结构等代码
4、模型结果的保存文件夹 run

二 项目实训—场景划分

二项目实训—场景划分