人体行为识别和视频分类算法介绍

link之家

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

1人体行为识别介绍

在我们讨论视频分类之前，让我们先了解一下什么是人体行为识别。

简单地说，对某人正在执行的活动/动作进行分类或预测的任务称为活动识别。我们可能会有一个问题:这与普通的分类任务有什么不同?这里的问题是， 在人体行为识别中，你实际上需要一系列的数据来预测正确执行的动作 。

看看这个人做的这个后空翻动作，我们只有看完整的视频才能判断这是一个后空翻。

如果我们提供的模型只是来自视频片段的随机快照(如下图)，那么它可能会错误地预测动作。

如果一个模型只看到上面的图像，那么它看起来有点像这个人正在下降，所以它预测会下降。
因此，人体行为是一种时间序列分类问题，您需要来自一系列时间序列的数据来正确地对正在执行的行为进行分类。

那么行为识别传统上是如何解决的呢?
最常见和最有效的技术是将可穿戴传感器(例如智能手机)连接到一个人身上，然后在传感器数据的输出上训练一个类似LSTM的时间模型。

可以在这里下载数据集这种活动识别方法非常有效。这个视频实际上是名为“基于智能手机的行为识别”数据集的一部分。它是由意大利热那亚大学的Davide Anguita等人准备和提供的。详情可以在他们2013年的论文《基于智能手机的人体行为识别公开数据集》中找到。

但在本文中，我们不会根据传感器数据训练模型，原因有二:：

在大多数实际场景中，您无法访问传感器数据。例如，如果你想检测一个地方的非法活动，那么你可能只能依靠闭路电视摄像头的视频馈送。

我最感兴趣的是用计算机视觉来解决这个问题，所以我们将使用视频分类的方法来实现活动识别。

2. 视频分类与人体行为识别介绍

既然我们已经建立了视频分类模型来解决人体行为识别问题，让我们来讨论视频分类最基本和最简单的方法。

这里有一个好消息，如果你有一些建立基本图像分类模型的经验，那么你已经可以创建一个视频分类系统。

考虑一下这个演示，我们正在使用一个正常的分类模型来预测视频的每一帧，结果令人惊讶地好。

这怎么可能?
但就在前面展示了后空翻的例子对于行为识别，不能依赖于单一的帧，那么为什么一个简单的分类模型表现得这么好呢?

事情是这样的: 模型也在学习环境背景 。考虑下面的例子。
通常情况下，以下两幅图像都将被图像分类器分类为 跑步 。
在这里插入图片描述
但是如果有足够的样本。

该模型学习通过使用环境上下文来区分两个相似的动作。

有了足够多的样本，这个模型就知道一个人在足球场上摆着跑步的姿势很可能是在踢足球，如果这个人在跑道上或公路上，那么他很可能是在跑步。

这种方法有一个缺点 。
问题是，该模型并不总是对每个视频帧的预测完全有信心，因此 预测会迅速变化和波动 。

这是因为该模型并不是着眼于整个视频序列，而是对每一帧进行独立分类。
这个问题的一个简单的解决方案是，与其对单个帧的结果进行分类和显示，为什么不平均5帧、10帧或n帧的结果呢?这样可以有效地消除闪烁。

一旦我们确定了 n 的值，我们就可以使用简单的移动平均/滚动平均技术来实现这一目标。
假设:

$n $=平均帧数

P_f

=当前帧的预测概率

P_{-1}

P_{-2}

动作 行为识别 是预测目标在当前时刻或一段时间内的状态。该技术广泛应用至动作识别、流程规范化识别以及视频分类等场景。如校园打架暴力检测、工厂工人操作流程规范性检测、摔倒行为检测等。此外还可用于视频分类。例如，抖 音视频 、快手视频、百度视频每天上传数以万计的长短视频，这些视频需要进行分类并赋予泛标签，从而进行视频推荐、广告推荐。因此，高效准确的视频理解至关重要。人体行为检测与识别是当前研究的重点，具有很高的研究价值和广阔的应用前景。主要应用在型人机交互、运动分析、智能监控和虚拟现实也称灵境技术（VR)领域，对于研究人体检测和识别有着重要的意义。因为人的运动的复杂性和对外部环境的多变性，使得人们 行为识别 和检测具有一些挑战。对人类行为和检测的研究目前处于初级阶段，有待进一步研究和开发。本文基于matlab 人体 行为识别 和检测的研究，本文主要研究的是从图像中判断出目标处于何种行为，例如常见的走、坐、躺、跑、跳等行为的识别。从现有的很多主近期由于需要做一些关于人体 行为识别 及摔倒检测的研究，故进行调研如下，如有错误请指正，欢迎交流。一、 行为识别 在场景识别中，有很大一部分研究是针对于人体 行为识别 的，主要进行识别的也是一些家庭内的危险行为，如小孩、老人摔倒检测，外来人员闯入等，这些都可归为人体 行为识别 的范畴之内。 行为识别 （action recognition），即根据视频图像完成对于人体动作的区分，这其中包括但不作者|Ismiracle 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/353327313点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【规划控制】技术交流群后台回复【规划控制综述】获取自动驾驶、智能机器人规划控制最新综述论文！看前须知先前投稿了一篇自动驾驶决策控制的泛化综述(ISmiracle：自动驾驶决策控制... 多人检测又可以分为top-down和bottom-up两种形式的解决方法，也就决定了关键点生成部分存在思路差异很大的两种方案总之要分清这三个层级，在相同的层级之间进行对比才有意义。另外找到一篇很优秀的综述：https://zhuanlan.zhihu.com/p/69042249 视频帧分类和依据人体关键点判定视频帧分类的方法以TSM为主：T 参考文献：https://arxiv.org/abs/2004.07485v1 代码实现：https://github.com/MVIG-SJTU/AlphAction Asynchronous Interaction Aggregation for Action Detection 理解交互是视频动作检测的重要组成部分。我们提出了异步交互聚合网络（AIA），它利用不同的交互促进动作检测。其中有两个关键设计：一是交互聚合结构（IA），采用统一的范式对多种交互类型进行建模和集成；另一种是异步内存更新算法转自http://geek.csdn.net/news/detail/138011在 人工智能 研究领域，这一技能叫人体 行为识别 ，是智能监控、人机交互、机器人等诸多应用的一项基础技术。以电影提到的老人智能看护场景为例，智能系统通过实时检测和分析老人的行动，判断老人是否正常吃饭、服药、是否保持最低的运动量、是否有异常行动出现(例如摔倒), 从而及时给予提醒，确保老人的生活质量不会由于独自居住而有所降低... 视频行为数据集传统的通用的数据集： 1、KTH数据集：2004年发布，包含 6 类人体行为：行走、慢跑、奔跑、拳击、挥手和鼓掌，每类行为由 25 个人在四种不同的场景（室外、伴有尺度变化的室外、伴有衣着变化的室外、室内）执行多次，相机固定。该数据库总共有 2391个视频样本。视频帧率为 25 fps，分辨率为 160×120，平均长度为 4 秒。 2、The Weizmann Datase... 人体 行为识别 。可以判断人体的动作，适合于机器人交互。python。实验室同学做的效果，非常好.支持60种人体行为动作标注解释： person_1:%0.88 人体编号:置信度0.88 stand:0.950 战立状态:置信度0.950 talk to(eg.self):0.700 自我对话状态：置信度0.700 watch(a person):0.272 注视一个人的状态：置信度0.272 人类的动作是一种非常重要的信息来源，它能传达出人们的意图、情感和行为。计算机视觉领域中的人体动作识别（Human Action Recognition）旨在从图像或视频中自动识别和解释人体的运动模式和行为。人体动作识别是计算机视觉领域中的一个重要研究方向，具有广泛的应用价值。未来，随着技术的发展，我们可以期待更准确、高效的人体动作识别算法，为人们提供更好的服务和体验。此外，在虚拟现实领域，人体动作识别可以用于实时追踪用户的动作，实现更真实的交互体验。它可以通过关节点的检测和跟踪来提取人体的姿势信息。大家好，欢迎来到我们的星球知识小卡片专栏，本期给大家分享视频分类的核心技术点。作者&编辑 | 言有三 1 3D卷积视频相对于图像多出了一个维度，而3D卷积正好可以用于处理这个维度，因此也非常适合视频分类任务，不过缺点是计算量比较大，下图展示了一个简单的3D模型。 2 RNN与LSTM 视频和语音信号都是时序信号，而RNN和LSTM正是处理时序信号的模型，也是早期用于视频分类的重... 识别处理图像中人脸，人体是图像识别的一个重要分支，在很多场合都需要对人进行查找和处理，在拍照，自动驾驶，机器人，医学，安防等上都有广泛的用途。opencv 有众多的级联分类器，可以进行简单的人脸，眼，鼻子，嘴，上体，全身，腿的分类。这些分类器还可以通过训练或者组合进一步强化识别能力，从而把弱分类器变成一个强分类器使用。 人工智能 模型可以识别未来何时不确定，并能够“对冲赌注”，就像一个人会做的那样。例如，当模型发现无法预测两个人是要拥抱还是握手时，它会预测他们会互相问候。《苹果酒屋规则》（上）和芒福德（下）的剧照纽约州纽约市- 2021 年 6 月 28 日 - 根据某人的肢体语言预测某人接下来将要做什么对人类来说是很自然的，但对计算机而言则不然。当我们遇到另一个人时，他们可能会向.