2021-03-05
小样本动作分类是小样本问题中一个基本和关键的问题，旨在利用仅有少量标注样本的视频数据，训练出一个模型将视频数据中的动作进行有效分类。现有的研究工作多数集中于小样本图片分类，小样本动作分类仍具有很大的研究空间且充满挑战。与图片仅有空间维度信息不同，视频包含时间维度信息，有效利用视频的时间维度信息可以更多地揭示视频的潜在特征，从而提升动作分类的准确率。本文针对小样本动作分类问题，提出一个基于深度学习的小样本动作分类算法TBSN。该算法首先使用预训练模型Resnet-18提取视频的空间特征;然后，使用基于稀疏注意力机制和相对位置编码的Transformer提取视频的时序特征，从而获得视频帧级特征；最后，使用基于注意力机制和神经网络构成的关系模块计算样本间的距离。实验结果表明，本文提出的小样本动作分类算法有效利用视频的时序信息，与现有工作相比取得了更好的分类结果。
北京邮电大学网络与交换技术国家重点实验室，北京 100876,北京邮电大学网络与交换技术国家重点实验室，北京 100876
#计算机科学技术#
2013-03-11
提出一种基于主题模型的人体动作识别方法。该方法首先提取时空兴趣点(STIP，space-time interest point)来描述人体运动，然后提出一种时间-梯度直方图(简称T-HOG)算法，该算法对空间梯度直方图(HOG，Histogram of oriented Gradients)仅能描述STIP 3D区域立方体空间信息的不足进行了弥补，实现对STIP 3D区域立方体时间方向变化信息的量化表示，最后使用概率潜在语义分析 (pLSA, probabilistic Latent Semantic Analysis) 模型识别人体动作。同时，针对pLSA隐性主题正确性无法保证的缺点，算法将主题与动作标签"一对一"相关，通过监督方式得到主题，保证了训练中主题的正确性。该算法在KTH人体运动数据库和Weizmann人体动作数据库进行了训练与测试，动作识别结果正确率在91.50%以上。
国家教育部博士点基金项目（20090162110057）
中南大学 信息科学与工程学院，湖南长沙 410075,中南大学 信息科学与工程学院，湖南长沙 410075,中南大学 信息科学与工程学院，湖南长沙 410075
#计算机科学技术#
2015-11-23
目的：与乒乓球新手相比，乒乓球专家在动作识别时展现了高超的识别能力，但我们对于乒乓球专家产生这种识别差异的神经心理机制了解甚少。15名乒乓球专家和乒乓球新手参加了乒乓球发球动作的识别任务。利用功能性磁共振成像对大脑活动进行记录。我们发现乒乓球运动员在动作识别时左侧中央前回、左侧额上回，双侧额中回，左侧中央后回，左侧舌回和双侧海马旁回的激活大约乒乓球新手，而乒乓球新手在左侧颞上回、双侧颞中回和左侧颞下回，左侧梭状回和左侧的缘上回的激活大于乒乓球运动员。因此我们认为动作识别过程中专家与新手的差异是由于这种不同的脑区激活特征导致。
教育部博士基金（20113156110002）
沈阳体育学院体育社会科学研究中心，沈阳 110102,上海体育学院运动科学学院，上海 200438,沈阳体育学院体育社会科学研究中心，沈阳 110102
#心理学#
2018-12-26
本文从视频行为识别模型实用性和识别性能综合考虑，研究设计了一种端到端的深度行为识别模型，能够实现在原始视频上进行为识别，不需要预先对视频进行手工特征的提取。本文利用预先训练好的二维卷积核延拓生成三维卷积核并在此基础上设计了基于三维卷积的提取网络实现局部时空特征提取。在此基础上，本文创新性的将自注意力机制与时空特征提取网络相结合，使得仅具有局部感知能力的特征序列在进行自注意力机制处理后能够自动将相关特征关联起来，从而获得更好的视频全局表征来进行后续的行为识别。同时，本文使用的模型不依赖任何循环神经网络，通过在公开数据集上的实验验证，本文所提出的深度视频行为识别模型具有很好的识别性能和处理速度。?????
Institute of Network Technology,Beijing University of Posts and Telecommunications,BeiJing,100876,Institute of Network Technology,Beijing University of Posts and Telecommunications,BeiJing,100876
#计算机科学技术#
Skeleton-based human action recognition has a broad range of applications in human-computer
2019-04-24
College of Information Science and Engineering, Hunan University, Changsha 410000 , College of Information Science and Engineering, Hunan University, Changsha 410000
2022-05-23
视频动作分类，又名行为识别、动作识别，是视频理解领域一个基础的研究任务。其目的是对给定的剪辑好的视频片段进行视频动作的分类，与图像领域的图像识别任务类似。作为视频理解方向的基础任务，行为识别任务已经拥有比较长久的研究历史，包括早期基于传统方法的研究以及随着深度学习发展后基于深度学习模型的研究。基于深度学习的研究工作有很多，较为经典的方法有：双流网络和三维卷积神经网络。其中，双流网络的时间分支需要光流图作为输入，而传统光流的提取需要在输入模型前独立进行并且相当耗时。本文提出使用卷积神经网络来自动从视频图像中提取光流信息，并且将提取的光流图输入光流特征提取网络。同时，为了从光流中提取有效的动作信息特征，提出将光流导向特征子网络嵌入光流特征提取网络以获取有效的动作信息特征。改进的方法在公开数据集UCF-101和HMDB-51上取得良好的效率和准确率。
北京邮电大学计算机学院，北京 100876,中国电子科技集团信息科学研究院，北京 100043
#计算机科学技术#
2014-06-23
本文在传统的词袋模型基础上,综合考虑姿态之间的时序约束关系，提出了一类基于局部匹配窗口的动作识别方法。本文参考背景相减技术，用人体的姿态差别特征作为人体运动特征描述。本文所提的方法在传统的词袋模型基础上对模型学习、特征量化、对象描述等多方面进行了改进。在模型学习阶段，本文用局部训练法取代了传统的整体训练法，提高了特征词汇的表征性。在特征量化阶段，本文用自适应的局部线性重构取代了传统的直接量化。在对象描述阶段，本文分别采用了时间金字塔、滑动窗口两种片段划分策略，将整个动作序列划分成多个动作片段，并在相应的局部窗口内计算对应的特征表达。通过连接各个局部特征表达组成整个动作序列的描述。最后在动作匹配过程中，本文采用直方图相交操作衡量两个动作序列的相似度。本文在MSR Action3D数据库上测试了所提算法的性能并对比了目前已有的动作识别方法，结果表明本文的识别效果优于以往方法。
国家自然科学基金（61303142，61173096，61103140）
浙江省自然科学基金项目（Y1110882，Y1110688，R1110679）
教育部高等学校博士学科点专项科研基金（20113317110001）
浙江工业大学计算机科学与技术学院 杭州 310023 ；浙江省可视媒体智能处理技术研究重点实验室 杭州 310023,浙江工业大学计算机科学与技术学院 杭州 310023；浙江省可视媒体智能处理技术研究重点实验室 杭州 310023,浙江工业大学计算机科学与技术学院 杭州 310023；浙江省可视媒体智能处理技术研究重点实验室 杭州 310023,浙江工业大学计算机科学与技术学院 杭州 310023；浙江省可视媒体智能处理技术研究重点实验室 杭州 310023,浙江工业大学计算机科学与技术学院 杭州 310023；浙江省可视媒体智能处理技术研究重点实验室 杭州 310023
#计算机科学技术#
2023-03-09
神经网络剪枝算法可以帮助大模型以更少的参数量和计算复杂度在资源受限设备上进行高效推理。然而现有的剪枝算法往往是基于2D卷积网络进行的设计，同时其所使用的迭代剪枝方法应用在3D卷积网络上会花费巨大的时间成本。针对这些问题，本文基于动作识别3D卷积网络的特点，提出了基于RoI（Region of Interest）区域平均激活值的剪枝算法。算法通过一次性剪枝的方法极大缩短了剪枝所消耗的时间，同时通过使用特征图中部分RoI区域的平均激活值作为衡量滤波器重要性的标准，获得了高于其他常见通道剪枝算法的剪枝效果。除此之外，本文还针对在动作识别任务中性能优异的SlowFast算法进行了剪枝优化，提出了混合剪枝策略，通过对不同分支使用不同的剪枝算法获得了更好的剪枝效果。
北京邮电大学人工智能学院,北京 100876,北京邮电大学人工智能学院,北京 100876
#计算机科学技术#
2022-03-16
血管类疾病是一种具有极高致死率的疾病，严重威胁患者的生命健康。介入治疗是一种微创性高科技治疗技术，具有创伤小、术后恢复快、适应症多、并发症少等特点。介入医生的动作识别是手术阶段分析、术中风险预警与手术操作评判系统的基础。目前在手术动作识别方面，大多数研究都需要医生佩戴传感器。本文使用计算机视觉技术，无需佩戴任何传感器，通过卷积神经网络对输入视频进行分析处理来实现介入手术动作的识别。本文提出了一种双级网络识别架构以提高手术动作识别的鲁棒性及效率，轻量级的3D CNN用于手术动作检测，深度3D CNN用于手术动作分类。当检测器网络检测到动作时，分类器网络才开始工作，降低了系统的功耗。检测网络和分类网络均有良好的性能，适合临床部署。
国家重点研发计划（2018AAA0102600）
School of Artificial Intelligence, Beijing University of Posts and Telecommunications,School of Artificial Intelligence, Beijing University of Posts and Telecommunications
#计算机科学技术#
2012-06-21
人体动作序列的变化性特别强，难以找到普适的特征进行描述。本文以人体动作剪影图像序列作为输入，运用主成分分析（PCA）对数据进行预处理，并采用局部保持投影（LPP）方法从高维动作序列数据中获取动作的低维流形嵌入；然后为了充分利用动作姿态之间的时序关系，采用几种隐马尔科夫模型（HMM）实现动作识别；最后讨论了几种模型对动作识别结果的影响。实验结果表明，本文采取的方法取得了较好的识别结果，验证了本方法对动作识别的有效性。
教育部高等学校博士学科点专项科研基金（20100185120021）
电子科技大学中央高校基本科研业务费项目（No.ZYGX2009X003)）
电子科技大学青年科技基金重点项目（JX0804)）
电子科技大学电子工程学院，四川 成都 611731,电子科技大学电子工程学院，四川 成都 611731,电子科技大学电子工程学院，四川 成都 611731
#计算机科学技术#
提示
