本文涉及事件数据处理技术,尤指一种语音关键事件检测检测方法和装置。背景技术:互联网上每天都会产生大量的新闻数据,描述许多已经发生的事件。但由于事件种类繁多,无法快速而且准确地分辨事件的类型以及事件中的主体。对发生的公共事件或者特定行业内所发生的事件进行区分和主体识别,不仅有助于实时把握事件的发展趋势以及整个行业的发展方向,也可辅助高层决策,降低风险,具有重要的实际应用价值和研究意义。现有进行语音关键事件检测的方法大都辅助使用已有的自然语言处理工具,但是在实际应用中并不能通过这些工具预先处理好。事件的类型往往可以从一些关键词中获取,比如”杀”,“袭击”等,这类词就被称为触发词。因此快速准确地识别出这些触发词就极其重要。现有的语音关键事件检测识别方法:基于图神经网络的模型;[2]基于深度学习、注意力机制、序列标注的模型等。现有方法存在以下缺点:1、现有方法只进行事件类型检测即事件触发词,并没有进行事件主体抽取,任务单一,不具备较强的实际应用价值。2、现有方法大都使用特定的自然语言处理工具,如jieba,ltp,standfordnlp等首先对句子进行分词,建立依存树,然后再将这些特征输入模型。通过分析语音信号的频率、幅度和持续时间等特征,语音关键事件检测系统能够识别出不同的声音事件。湖南数字语音关键事件检测供应
每种类型与某一数字对应,以便于计算机的处理,则可以分别标记为[0,1,2,3,4,...,29,30]。在本申请的示例性实施例中,因计算机无法直接处理中文,因此可以将句子(语句)中每一个单词转化为数字的映射。即,获得语句的向量化语义表示w1。在本申请的示例性实施例中,所述获得语句的向量化语义表示w1可以包括:通过双向lstm网络模型或bert模型获得语句的向量化语义表示w1。在本申请的示例性实施例中,在通过双向lstm网络获得语句的向量化语义表示w1之前,所述方法还可以包括:将语句中的m个字符随机初始化为一个维度为[m,n]的n维向量d,其中,对于从0到m-1的索引id,每个id对应一个不同的字符;对于长度为s的语句,该语句中每一个字符能够在向量d中找到对应的id,从而获得维度为[s,d]的向量。在本申请的示例性实施例中,通过双向lstm网络获得语句的向量化语义表示w1可以包括:将维度为[s,d]的向量输入预设的双向lstm神经网络,将所述双向lstm神经网络的输出作为语句的向量化语义表示w1。在本申请的示例性实施例中,假设语料中一共有20000个不同的字符(汉字和/或单词,可以包括其他常用符号),每个字符可以随机初始化为一个300维的向量,则可以得到一个维度为[20000。安徽自主可控语音关键事件检测标准利用语音关键事件检测技术,我们可以实现音频数据的自动分类和标签化,方便后续的检索和分析。
基于光流图检测模型输出的检测结果,确定关于目标防护舱的事件检测结果,可以包括以下步骤g21-g23:步骤g21:将至少包含当前帧图像的类图像确定为辅助图像;步骤g22:将辅助图像输入到预设的场景检测模型中,得到场景检测模型输出的检测结果;步骤g23:将场景图像检测模型输出的检测结果和光流图检测模型输出的检测结果进行融合计算,基于融合计算的结果,确定当前时刻,关于目标防护舱的事件检测结果。其中,关于类图像的相关描述内容、场景检测模型的相关描述内容、场景图像检测模型输出的检测结果和光流图检测模型输出的检测结果进行融合的融合过程等,可以参见上述的以第二类图像作为辅助图像时的相关描述内容。相对应上述本发明实施例提供的一种事件检测方法,本发明实施例还提供了一种事件检测装置。图6为本发明实施例提供的一种事件检测装置的结构示意图,如图6所示,该装置可以包括如下模块:图像获取模块610,用于实时获取关于目标防护舱的图像,并将当前时刻所采集到的图像作为当前帧图像;图像检测模块620,用于检测当前帧图像是否包含目标对象,其中,目标对象为:能够表征用户进入目标防护舱的用户身体部位;如果是,触发图像确定模块;图像确定模块630。
光流图检测模型为:采用各个第二样本图像组和每个第二样本图像组的事件检测结果所训练得到的模型,且每一第二样本图像组中包括n+1帧光流图。第二种情况:待分析图像为:当前帧图像和当前帧图像之前的连续m帧图像的多张图像;场景图像检测模型为:采用各个样本图像组和每个样本图像组的事件检测结果所训练得到的模型,且每一样本图像组中包括m+1帧场景图像;辅助图像为:光流图;光流图检测模型为:采用各个第二样本图像和每个第二样本图像的事件检测结果所训练得到的模型,且每个第二样本图像为一帧光流图。第三种情况:待分析图像为:当前帧图像;场景图像检测模型为:采用各个样本图像和每个样本图像的事件检测结果所训练得到的模型,且每个样本图像为一帧场景图像;辅助图像为:包括光流图和光流图之前的连续n帧光流图的多张图像;光流图检测模型为:采用各个第二样本图像组和每个第二样本图像组的事件检测结果所训练得到的模型,且每一第二样本图像组中包括n+1帧光流图。第四种情况:待分析图像为:当前帧图像;场景图像检测模型为:采用各个样本图像和每个样本图像的事件检测结果所训练得到的模型,且每个样本图像为一帧场景图像;辅助图像为:光流图。语音关键事件检测的意义是什么?欢迎咨询!
本发明实施例提供的一种事件检测方法,包括如下步骤:s300:实时获取关于目标防护舱的图像,并将当前时刻所采集到的图像作为当前帧图像;其中,目标防护舱指代的是需要进行事件检测的防护舱,并不具有任何其他限定意义。目标防护舱所对应的目标图像采集设备,实时对目标防护舱的内部空间进行图像采集,并将得到的关于目标防护舱的图像实时传输给的目标防护舱所对应的电子设备。这样,电子设备便可以实时获取关于目标防护舱的图像。其中,可以理解的,关于目标防护舱的图像可以为目标防护舱内部空间的图像。也就是说,上述目标图像采集设备可以在每个时刻采集关于目标防护舱的图像,进而,电子设备可以在每个时刻获得在该时刻时,关于目标防护舱的图像,该图像显示了每个时刻目标防护舱的内容空间的情况。则在当前时刻,电子设备所获得的关于目标防护舱的图像即为在当前时刻,目标图像采集设备所采集的关于目标防护舱的图像,这样,电子设备可以将该图像作为当前帧图像。显然,电子设备可以基于当前帧时刻,确定当前时刻,关于目标防护舱的事件检测结果。s301:检测当前帧图像是否包含目标对象,如果是,执行步骤s303;其中。智能语音质检都有什么功能?广西自主可控语音关键事件检测供应
在安全监控领域,语音关键事件检测可以用于检测和识别异常声音事件,如求救声等。湖南数字语音关键事件检测供应
可以获取概率大值的索引所对应的类型即可。本申请实施例通过双向lstm网络或者bert得到句子的向量化语义表示,然后进行span的划分从而得到多个语义片段,然后对每个语义片段进行平均池化得到每个span的表示,使用自注意力机制获取不同span之间的关系从而得到深层的语义表示,后使用两层全连接网络进行分类操作从而确定每个span是否为某一事件的触发词或者是事件主体。本申请实施例公开了一种采用span划分方式,同时抽取事件触发词和事件主体的事件检测方法,至少具有以下优势:1、同时抽取事件触发词和事件的主体,可获取更加有用的信息,具有较强的实际应用价值。2、在数据处理和建模的过程中不使用现有的自然语言处理工具,使得操作简单,也避免了因使用自然语言处理工具而导致的误差累积的问题,同时也更加符合真实应用场景。3、通过划分span的方式,完美解决了序列标注存在的问题,效率更高,适用性更强。本申请还提供了一种事件检测装置1,如图2所示,可以包括处理器11和计算机可读存储介质12,所述计算机可读存储介质12中存储有指令,当所述指令被所述处理器11执行时,实现上述任意一项所述的事件检测方法。本领域普通技术人员可以理解。湖南数字语音关键事件检测供应