亚洲城ca88唯一官方网站SDK对YUV摄像系列举行编码

时间:2019-11-28 05:41来源:亚洲城ca88唯一官方网站
HTML5:使用Canvas实时管理Video 2015/09/11 · HTML5 ·Canvas 本文由 伯乐在线 -cucr翻译,唐尤华校稿。未经许可,禁绝转发! 乌克兰语出处:mozilla。应接到场翻译组。 结合HTML5下的 video 和 canva

HTML5:使用Canvas实时管理Video

2015/09/11 · HTML5 · Canvas

本文由 伯乐在线 - cucr 翻译,唐尤华 校稿。未经许可,禁绝转发!
乌克兰语出处:mozilla。应接到场翻译组。

结合HTML5下的videocanvas的效率,你能够实时管理录制数据,为正值播放的录像加多五颜六色的视觉效果。本学科演示怎样利用JavaScript代码完结chroma-keying特效(也被称作“米黄显示屏效应”卡塔尔国。

请看这么些实例.

来探视机智的前端童鞋怎么防盗

2016/07/12 · JavaScript · 4 评论 · HTML5

原版的书文出处: VaJoy   

超多付出的童鞋都以一身混江湖、夜宿城中村,即便居住之处安全保卫欠缺,那么身在异乡难免忧郁屋里的财产安全。

骨子里世面上有非常多大侠上的防盗设施,但对中国“氢弹之父”感的前端童鞋来讲,只要有后生可畏台附带摄像头的微Computer,就足以回顾地贯彻七个防盗监控系统~

纯 JS 的“防盗”技能非常的大程度依靠于 H5 canvas 的力量,且十一分有意思。要是你对 canvas 还不熟悉,能够先点这里翻阅小编的多种教程。

step1. 调用摄像头

大家须求先在浏览器上访谈和调用录像头,用来监督房屋里的举措。分裂浏览器中调用摄像头的 API 都略有出入,在此我们以 chrome 做示范:

JavaScript

<video width="640" height="480" autoplay></video> <script> var video = document.querySelector('video'); navigator.webkitGetUserMedia({ video: true }, success, error); function success(stream) { video.src = window.webkitURL.createObjectURL(stream); video.play(); } function error(err) { alert('video error: ' err) } </script>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<video width="640" height="480" autoplay></video>
 
<script>
    var video = document.querySelector('video');
 
    navigator.webkitGetUserMedia({
                video: true
            }, success, error);
 
    function success(stream) {
        video.src = window.webkitURL.createObjectURL(stream);
        video.play();
    }
 
    function error(err) {
        alert('video error: ' err)
    }
</script>

运营页面后,浏览器出于安全性思考,会掌握是或不是同意当前页面访谈你的录制头设备,点击“允许”后便能一贯在 <video> 上见到拍片头捕获到的镜头了:

亚洲城ca88唯一官方网站 1

step2. 捕获 video 帧画面

只可是开着摄像头监视房间可不曾经担任何意义,浏览器不会帮你对监察和控制画面举行剖判。所以那边我们胜利动用脚本捕获 video 上的帧画面,用于在世襲开展数据分析。

从那边早先大家就要依赖 canvas 力量了。在 Canvas入门(五)一文大家介绍过 ctx.drawImage() 方法,通过它可以捕获 video 帧画面并渲染到画布上。

作者们供给创建多个画布,然后这么写:

JavaScript

<video width="640" height="480" autoplay></video> <canvas width="640" height="480"></canvas> <script> var video = document.querySelector('video'); var canvas = document.querySelector('canvas'); // video捕获摄像头画面 navigator.webkitGetUserMedia({ video: true }, success, error); function success(stream) { video.src = window.webkitU奥迪Q7L.createObjectU本田UR-VL(stream); video.play(); } function error(err) { alert('video error: ' err) } //canvas var context = canvas.getContext('2d'); setTimeout(function(){ //把当前摄像帧内容渲染到画布上 context.drawImage(video, 0, 0, 640, 480); }, 5000); </script>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
<video width="640" height="480" autoplay></video>
<canvas width="640" height="480"></canvas>
 
<script>
    var video = document.querySelector('video');
    var canvas = document.querySelector('canvas');
 
    // video捕获摄像头画面
    navigator.webkitGetUserMedia({
                video: true
            }, success, error);
 
    function success(stream) {
        video.src = window.webkitURL.createObjectURL(stream);
        video.play();
    }
 
    function error(err) {
        alert('video error: ' err)
    }
 
    //canvas
    var context = canvas.getContext('2d');
 
    setTimeout(function(){
        //把当前视频帧内容渲染到画布上
        context.drawImage(video, 0, 0, 640, 480);
    }, 5000);
 
</script>

如上代码所示,5秒后把录制帧内容渲染到画布上(下方右图卡塔 尔(阿拉伯语:قطر‎

亚洲城ca88唯一官方网站 2

step3. 对抓获的多少个帧画面实行差异混合

在地点大家关系过,要实用地辨识某些场景,供给对录像镜头实行多少剖判。

那么要怎么分辨我们的屋企是或不是有人猛然闯入了吧?答案很简短 —— 定期地捕获 video 画面,然后比较前后两帧内容是或不是存在非常大变化。

大家先轻易地写二个准时捕获的方法,并将捕获到的帧数据存起来:

JavaScript

//canvas var context = canvas.getContext('2d'); var preFrame, //前大器晚成帧 curFrame; //当前帧 //捕获并保存帧内容 function captureAndSaveFrame(){ console.log(context); preFrame = curFrame; context.drawImage(video, 0, 0, 640, 480); curFrame = canvas.toDataU福睿斯L; //转为base64并保存 } //依期捕获 function timer(delta){ set提姆eout(function(){ captureAndSaveFrame(); timer(delta) }, delta || 500); } timer();

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
    //canvas
    var context = canvas.getContext('2d');
    var preFrame,   //前一帧
        curFrame;   //当前帧
 
    //捕获并保存帧内容
    function captureAndSaveFrame(){ console.log(context);
        preFrame = curFrame;
        context.drawImage(video, 0, 0, 640, 480);
        curFrame = canvas.toDataURL;  //转为base64并保存
    }
 
    //定时捕获
    function timer(delta){
        setTimeout(function(){
            captureAndSaveFrame();
            timer(delta)
        }, delta || 500);
    }
 
    timer();

如上代码所示,画布会每间距500皮秒捕获并渲染一遍 video 的帧内容(夭寿哇,做完那一个动作比很大心把饼干洒了生龙活虎地。。。(“▔□▔)/)

亚洲城ca88唯一官方网站 3

注意这里我们采纳了 canvas.toDataURL 方法来保存帧画面。

接着就是数据解析管理了,我们得以因而对照前后捕获的帧画面来决断录制头是或不是监察和控制到变化,那么怎么办呢?

精通设计的同窗肯定平常使用八个图层功效 —— 混合情势:

亚洲城ca88唯一官方网站 4

当有三个图层时,对顶层图层设置“差值/Difference”的犬牙交错格局,能够洞察地看到五个图层的反差:

亚洲城ca88唯一官方网站 5

“图A”是本身二零一八年在铺子楼下拍的肖像,然后笔者把它有个别调亮了一小点,并在上边画了叁个X 和 O 得到“图B”。接着笔者把它们以“差值”格局混合在一起,得到了最右的那张图。

JavaScript

“差值”情势原理:要掺杂图层两方的纳瓦拉GB值中每一个值分别张开相比,用高值减去低值作为合成后的颜料,经常用青黑图层合成风流倜傥图像时,能够拿走负片效果的反相图像。用古铜黑的话不发出别的改变(暗黄亮度最低,下层颜色减去最小颜色值0,结果和原本相通卡塔尔,而用棕色类十字会获得反相效果(下层颜色被减去,得到补值卡塔 尔(阿拉伯语:قطر‎,此外颜色则依据它们的亮度水平

1
“差值”模式原理:要混合图层双方的RGB值中每个值分别进行比较,用高值减去低值作为合成后的颜色,通常用白色图层合成一图像时,可以得到负片效果的反相图像。用黑色的话不发生任何变化(黑色亮度最低,下层颜色减去最小颜色值0,结果和原来一样),而用白色会得到反相效果(下层颜色被减去,得到补值),其它颜色则基于它们的亮度水平

在CSS3中,已经有 blend-mode 特性来协助那个有趣的滥竽充数方式,可是大家开掘,在主流浏览器上,canvas 的 globalCompositeOperation 接口也早已完美援救了图像混合情势:

于是乎大家再建多壹个画布来显示前后两帧差别:

JavaScript

<video width="640" height="480" autoplay></video> <canvas width="640" height="480"></canvas> <canvas width="640" height="480"></canvas> <script> var video = document.querySelector('video'); var canvas = document.querySelectorAll('canvas')[0]; var canvasForDiff = document.querySelectorAll('canvas')[1]; // video捕获录制头画面 navigator.webkitGetUserMedia({ video: true }, success, error); function success(stream) { video.src = window.ULacrosseL.createObjectU猎豹CS6L(stream); video.play(); } function error(err) { alert('video error: ' err) } //canvas var context = canvas.getContext('2d'), diffCtx = canvasForDiff.getContext('2d'); //将第叁个画布混合模式设为“差距” diffCtx.globalCompositeOperation = 'difference'; var preFrame, //前风流倜傥帧 curFrame; //当前帧 //捕获并保存帧内容 function captureAndSaveFrame(){ preFrame = curFrame; context.drawImage(video, 0, 0, 640, 480); curFrame = canvas.toDataUTucsonL(); //转为base64并保存 } //绘制base64图像到画布上 function drawImg(src, ctx){ ctx = ctx || diffCtx; var img = new Image(); img.src = src; ctx.drawImage(img, 0, 0, 640, 480); } //渲染前后两帧差别function renderDiff(){ if(!preFrame || !curFrame) return; diffCtx.clearRect(0, 0, 640, 480); drawImg(preFrame); drawImg(curFrame); } //依期捕获 function timer(delta){ setTimeout(function(){ captureAndSaveFrame(); renderDiff(); timer(delta) }, delta || 500); } timer(); </script>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
<video width="640" height="480" autoplay></video>
<canvas width="640" height="480"></canvas>
<canvas width="640" height="480"></canvas>
 
<script>
    var video = document.querySelector('video');
    var canvas = document.querySelectorAll('canvas')[0];
    var canvasForDiff = document.querySelectorAll('canvas')[1];
 
    // video捕获摄像头画面
    navigator.webkitGetUserMedia({
                video: true
            }, success, error);
 
    function success(stream) {
        video.src = window.URL.createObjectURL(stream);
        video.play();
    }
 
    function error(err) {
        alert('video error: ' err)
    }
 
    //canvas
    var context = canvas.getContext('2d'),
        diffCtx = canvasForDiff.getContext('2d');
    //将第二个画布混合模式设为“差异”
    diffCtx.globalCompositeOperation = 'difference';
 
    var preFrame,   //前一帧
        curFrame;   //当前帧
 
    //捕获并保存帧内容
    function captureAndSaveFrame(){
        preFrame = curFrame;
        context.drawImage(video, 0, 0, 640, 480);
        curFrame = canvas.toDataURL();  //转为base64并保存
    }
 
    //绘制base64图像到画布上
    function drawImg(src, ctx){
        ctx = ctx || diffCtx;
        var img = new Image();
        img.src = src;
        ctx.drawImage(img, 0, 0, 640, 480);
    }
 
    //渲染前后两帧差异
    function renderDiff(){
        if(!preFrame || !curFrame) return;
        diffCtx.clearRect(0, 0, 640, 480);
        drawImg(preFrame);
        drawImg(curFrame);
    }
 
    //定时捕获
    function timer(delta){
        setTimeout(function(){
            captureAndSaveFrame();
            renderDiff();
            timer(delta)
        }, delta || 500);
    }
 
    timer();
 
</script>

职能如下(夭寿啊,做完这一个动作笔者又把百事可乐洒在键盘上了。。。(#--)/ 卡塔 尔(英语:State of Qatar)

亚洲城ca88唯一官方网站 6

可以见到,当前后两帧差别相当小时,第七个画布大约是盲目标一片,独有当拍录头捕获到动作了,第八个画布才有水落石出的高亮内容出现。

故而,大家只要求对第四个画布渲染后的图像举办像素解析——判断其高亮阈值是不是达到规定的标准有些钦定预期:

JavaScript

var context = canvas.getContext('2d'), diffCtx = canvasForDiff.getContext('2d'); //将第一个画布混合情势设为“差距” diffCtx.globalCompositeOperation = 'difference'; var preFrame, //前生龙活虎帧 curFrame; //当前帧 var diffFrame; //存放差距帧的imageData //捕获并保存帧内容 function captureAndSaveFrame(){ preFrame = curFrame; context.drawImage(video, 0, 0, 640, 480); curFrame = canvas.toDataU福特ExplorerL(); //转为base64并保存 } //绘制base64图像到画布上 function drawImg(src, ctx){ ctx = ctx || diffCtx; var img = new Image(); img.src = src; ctx.drawImage(img, 0, 0, 640, 480); } //渲染前后两帧差距 function renderDiff(){ if(!preFrame || !curFrame) return; diffCtx.clearRect(0, 0, 640, 480); drawImg(preFrame); drawImg(curFrame); diffFrame = diffCtx.getImageData( 0, 0, 640, 480 ); //捕获差距帧的imageData对象 } //总结差距 function calcDiff(){ if(!diffFrame) return 0; var cache = arguments.callee, count = 0; cache.total = cache.total || 0; //整个画布都是反动时持有像素的值的总量 for (var i = 0, l = diffFrame.width * diffFrame.height * 4; i < l; i = 4) { count = diffFrame.data[i] diffFrame.data[i 1] diffFrame.data[i 2]; if(!cache.isLoop伊芙r){ //只需在第二回循环里推行 cache.total = 255 * 3; //单个反革命像素值 } } cache.isLoopEver = true; count *= 3; //亮度放大 //重返“差距画布高亮部分像素总值”占“画布全亮情状像素总值”的比例 return Number(count/cache.total).toFixed(2); } //准期捕获 function timer(delta){ setTimeout(function(){ captureAndSaveFrame(); renderDiff(); setTimeout(function(){ console.log(calcDiff()); }, 10); timer(delta) }, delta || 500); } timer();

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
    var context = canvas.getContext('2d'),
        diffCtx = canvasForDiff.getContext('2d');
    //将第二个画布混合模式设为“差异”
    diffCtx.globalCompositeOperation = 'difference';
 
    var preFrame,   //前一帧
        curFrame;   //当前帧
 
    var diffFrame;  //存放差异帧的imageData
 
    //捕获并保存帧内容
    function captureAndSaveFrame(){
        preFrame = curFrame;
        context.drawImage(video, 0, 0, 640, 480);
        curFrame = canvas.toDataURL();  //转为base64并保存
    }
 
    //绘制base64图像到画布上
    function drawImg(src, ctx){
        ctx = ctx || diffCtx;
        var img = new Image();
        img.src = src;
        ctx.drawImage(img, 0, 0, 640, 480);
    }
 
    //渲染前后两帧差异
    function renderDiff(){
        if(!preFrame || !curFrame) return;
        diffCtx.clearRect(0, 0, 640, 480);
        drawImg(preFrame);
        drawImg(curFrame);
        diffFrame = diffCtx.getImageData( 0, 0, 640, 480 );  //捕获差异帧的imageData对象
    }
 
    //计算差异
    function calcDiff(){
        if(!diffFrame) return 0;
        var cache = arguments.callee,
            count = 0;
        cache.total = cache.total || 0; //整个画布都是白色时所有像素的值的总和
        for (var i = 0, l = diffFrame.width * diffFrame.height * 4; i < l; i = 4) {
            count = diffFrame.data[i] diffFrame.data[i 1] diffFrame.data[i 2];
            if(!cache.isLoopEver){  //只需在第一次循环里执行
                cache.total = 255 * 3;   //单个白色像素值
            }
        }
        cache.isLoopEver = true;
        count *= 3;  //亮度放大
        //返回“差异画布高亮部分像素总值”占“画布全亮情况像素总值”的比例
        return Number(count/cache.total).toFixed(2);
    }
 
    //定时捕获
    function timer(delta){
        setTimeout(function(){
            captureAndSaveFrame();
            renderDiff();
            setTimeout(function(){
                console.log(calcDiff());
            }, 10);
 
            timer(delta)
        }, delta || 500);
    }
 
    timer();

专一这里我们运用了 count *= 3 来加大差别高亮像素的亮度值,否则得出的数值实在太小了。大家运营下页面(图片相当大加载会有一些慢卡塔尔国

亚洲城ca88唯一官方网站 7

经过试(xia)验(bai卡塔 尔(英语:State of Qatar),个人以为如若 calcDiff() 重临的比值假设过量 0.20,那么就可以定性为“后生可畏间空房屋,倏然有人闯进来”的意况了。

step4. 上报十分图片

当上述的测算开采成场景时,须求有某种路子通告大家。有钱有活力的话可以安插个邮件服务器,直接发邮件以致短信通告到协调,but 本文走的吃吐少年路径,就不搞的那么高档了。

那么要怎么轻易地完结丰富图片的上报呢?笔者暂时想到的是 —— 直接把标题图片发送到某些站点中去。

这里我们接受和讯的“日记”成效,它能够私自上传相关内容。

JavaScript

p.s.,其实这里原来是想一贯把图片传遍天涯论坛相册上的,缺憾POST须求的图样实体需要走 file 格式,即不或然透过脚本校勘文件的 input[type=file],转 Blob 再上传也没用,只能作罢。

1
p.s.,其实这里原本是想直接把图片传到博客园相册上的,可惜POST请求的图片实体要求走 file 格式,即无法通过脚本更改文件的 input[type=file],转 Blob 再上传也没用,只好作罢。

大家在保管后台创制日记时,通过 Fiddler 抓包能够看到其哀告参数特别轻松:

亚洲城ca88唯一官方网站 8

因而得以一向协会二个需要:

JavaScript

//分外图片上传管理 function submit(){ //ajax 提交form $.ajax({ url : '', type : "POST", data : { '__VIEWSTATE': '', '__VIEWSTATEGENERATOR': '4773056F', 'Editor$Edit$txbTitle': '告警' Date.now(), 'Editor$Edit$EditorBody': '<img src="' curFrame '" />', 'Editor$Edit$lkbPost': '保存' }, success: function(){ console.log('submit done') } }); }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
    //异常图片上传处理
    function submit(){
 
        //ajax 提交form
        $.ajax({
            url : 'http://i.cnblogs.com/EditDiary.aspx?opt=1',
            type : "POST",
            data : {
                '__VIEWSTATE': '',
                '__VIEWSTATEGENERATOR': '4773056F',
                'Editor$Edit$txbTitle': '告警' Date.now(),
                'Editor$Edit$EditorBody': '<img src="' curFrame '" />',
                'Editor$Edit$lkbPost': '保存'
            },
            success: function(){
                console.log('submit done')
            }
        });
    }

当然固然诉求页面跟腾讯网域名不一样,是爱莫能助发送 cookie 招致央求跨域而失效,可是那些很好驱除,直接改造 host 就能够(怎么改良就不介绍了,自行百度呢卡塔尔

自个儿那边改完 host,通过  之处访问页面,开掘录像头竟然失效了~

通过Google的文档能够识破,那是为着安全性思量,非 HTTPS 的服务端须求都不可能联网录像头。可是消亡办法也是部分,以 window 系统为例,展开 cmd 命令行面板并牢固到 chrome 安装文件夹下,然后实行:

ZSH

chrome --unsafely-treat-insecure-origin-as-secure="" --user-data-dir=C:testprofile

1
chrome --unsafely-treat-insecure-origin-as-secure="http://i.cnblogs.com/h5monitor/final.html"  --user-data-dir=C:testprofile

行动将以沙箱形式张开三个独立的 chrome 进度,并对点名的站点去掉安全范围。注意大家在新开的 chrome 中得重新登陆新浪。

那个时候便能健康访谈录像头了,大家对代码做下拍卖,当差距检查测量试验开掘格外时,创造意气风发份日记,最小间隔时间为5秒(可是后来意识没须要,因为天涯论坛已经有做了时间范围,大概10秒后工夫宣布新的日记卡塔 尔(阿拉伯语:قطر‎

JavaScript

//定期捕获 function timer(delta){ set提姆eout(function(){ captureAndSaveFrame(); renderDiff(); if(calcDiff() > 0.2){ //监察和控制到那么些,发日志 submit() } timer(delta) }, delta || 500); } setTimeout(timer, 60000 * 10); //设定打开页面十秒钟后才以前监控//非常图片上传处理 function submit(){ var cache = arguments.callee, now = Date.now(); if(cache.reqTime && (now - cache.reqTime < 5000)) return; //日记成立最小间距为5秒 cache.reqTime = now; //ajax 提交form $.ajax({ url : '', type : "POST", timeout : 5000, data : { '__VIEWSTATE': '', '__VIEWSTATEGENERATOR': '4773056F', 'Editor$Edit$txbTitle': '告警' Date.now(), 'Editor$Edit$EditorBody': '<img src="' curFrame '" />', 'Editor$Edit$lkbPost': '保存' }, success: function(){ console.log('submit done') }, error: function(err){ cache.reqTime = 0; console.log('error: ' err) } }); }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
    //定时捕获
    function timer(delta){
        setTimeout(function(){
            captureAndSaveFrame();
            renderDiff();
            if(calcDiff() > 0.2){  //监控到异常,发日志
                submit()
            }
 
            timer(delta)
        }, delta || 500);
    }
 
    setTimeout(timer, 60000 * 10);  //设定打开页面十分钟后才开始监控
 
 
    //异常图片上传处理
    function submit(){
        var cache = arguments.callee,
            now = Date.now();
        if(cache.reqTime && (now - cache.reqTime < 5000)) return;  //日记创建最小间隔为5秒
 
        cache.reqTime = now;
 
        //ajax 提交form
        $.ajax({
            url : 'http://i.cnblogs.com/EditDiary.aspx?opt=1',
            type : "POST",
            timeout : 5000,
            data : {
                '__VIEWSTATE': '',
                '__VIEWSTATEGENERATOR': '4773056F',
                'Editor$Edit$txbTitle': '告警' Date.now(),
                'Editor$Edit$EditorBody': '<img src="' curFrame '" />',
                'Editor$Edit$lkbPost': '保存'
            },
            success: function(){
                console.log('submit done')
            },
            error: function(err){
                cache.reqTime = 0;
                console.log('error: ' err)
            }
        });
    }

实践效果:

亚洲城ca88唯一官方网站 9

日记也是妥妥的出来了:

亚洲城ca88唯一官方网站 10

点开就会观看那多少个的那张图纸了:

亚洲城ca88唯一官方网站 11

要留心的是,今日头条对日记公布数据是有做每天额度节制来防刷的,达到限额的话会形成当天的小说和作品也爱莫能助发表,所以得严厉运用:

亚洲城ca88唯一官方网站 12

不过这种格局仅能申报非常图片,暂且无法让大家当即收悉告警,风乐趣的童鞋能够试着再写个 chrome 插件,准期去拉取日记列表做判断,假如有新扩张日记则触发页面 alert。

此外大家自然期望能向来对闯入者进行警告,那块比较好办 —— 搞个警告的节拍,在这里么些的时候接触播放就可以:

JavaScript

//播放音频 function fireAlarm(){ audio.play() } //按时捕获 function timer(delta){ setTimeout(function(){ captureAndSaveFrame(); if(preFrame && curFrame){ renderDiff(); if(calcDiff() > 0.2){ //监察和控制到拾贰分//发日记 submit(); //播放音频告急 fireAlarm(); } } timer(delta) }, delta || 500); } setTimeout(timer, 60000 * 10); //设定打开页面十分钟后才发轫监察和控制

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
    //播放音频
    function fireAlarm(){
        audio.play()
    }
 
 
    //定时捕获
    function timer(delta){
        setTimeout(function(){
            captureAndSaveFrame();
            if(preFrame && curFrame){
                renderDiff();
                if(calcDiff() > 0.2){  //监控到异常
                    //发日记
                    submit();
                    //播放音频告警
                    fireAlarm();
                }
            }
            timer(delta)
        }, delta || 500);
    }
 
    setTimeout(timer, 60000 * 10);  //设定打开页面十分钟后才开始监控

提起底说一下,本文代码均挂在我的github上,风野趣的童鞋能够自助下载。共勉~

1 赞 4 收藏 4 评论

亚洲城ca88唯一官方网站 13

亚洲城ca88唯一官方网站,1、FFMpeg进行录制编码所急需的布局:

文书档案内容

正文使用的XHTML文档如下所示。

XHTML

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "; <html xmlns="; <head> <style> body { background: black; color:#CCCCCC; } #c2 { background-image: url(foo.png); background-repeat: no-repeat; } div { float: left; border :1px solid #444444; padding:10px; margin: 10px; background:#3B3B3B; } </style> <script type="text/javascript;version=1.8" src="main.js"></script> </head> <body onload="processor.doLoad()"> <div> <video id="video" src="video.ogv" controls="true"/> </div> <div> <canvas id="c1" width="160" height="96"/> <canvas id="c2" width="160" height="96"/> </div> </body> </html>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
        "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
  <head>
    <style>
      body {
        background: black;
        color:#CCCCCC;
      }
      #c2 {
        background-image: url(foo.png);
        background-repeat: no-repeat;
      }
      div {
        float: left;
        border :1px solid #444444;
        padding:10px;
        margin: 10px;
        background:#3B3B3B;
      }
    </style>
    <script type="text/javascript;version=1.8" src="main.js"></script>
  </head>
 
  <body onload="processor.doLoad()">
    <div>
      <video id="video" src="video.ogv" controls="true"/>
    </div>
    <div>
      <canvas id="c1" width="160" height="96"/>
      <canvas id="c2" width="160" height="96"/>
    </div>
  </body>
</html>

以上代码关键部分如下:

1.创制了多个canvas成分,ID分别为c1和c2。c1用于体现当前帧的固有录像,c2是用来体现试行chroma-keying特效后的摄像;c2预加载了一彭三源态图片,将用来代替录制中的背景观部分。
2.JavaScript代码从main.js文件导入;这段脚本使用JavaScript 1.8的表征,所以在导入脚本时,第22行中钦定了本子。
3.当网页加载时,main.js中的processor.doLoad()方法会运维。

为了促成调用FFMpeg的API实现录像的编码,以下布局是非常重要的:

JavaScript代码

main.js中的JS代码包涵八个点子。

AVCodec:AVCodec布局保留了一个编解码器的实例,实现实际的编码功用。平常我们在前后相继中定义多少个指向AVCodec布局的指针指向该实例。
AVCodecContext:AVCodecContext表示AVCodec所表示的上下文新闻,保存了AVCodec所供给的黄金年代部分参数。对于贯彻编码成效,咱们能够在这里个结构中设置我们钦赐的编码参数。常常也是概念一个指针指向AVCodecContext。
AVFrame:AVFrame构造保留编码以前的像素数量,并视作编码器的输入数据。其在程序中也是贰个指南针的方式。
AVPacket:AVPacket表示码流包结构,包涵编码之后的码流数据。该协会能够不定义指针,以叁个指标的花样定义。
在大家的程序中,我们将那么些社团构成在了三个构造体中:

初始化chroma-key

doLoad()方法在XHTML文书档案初步加载时调用。这几个艺术的功力是为chroma-key管理代码策画所需的变量,设置三个事件侦听器,当客户开首播报视频时大家能检查测验到。

JavaScript

doLoad: function() { this.video = document.getElementById("video"); this.c1 = document.getElementById("c1"); this.ctx1 = this.c1.getContext("2d"); this.c2 = document.getElementById("c2"); this.ctx2 = this.c2.getContext("2d"); let self = this; this.video.addEventListener("play", function() { self.width = self.video.videoWidth / 2; self.height = self.video.videoHeight / 2; self.timerCallback(); }, false); },

1
2
3
4
5
6
7
8
9
10
11
12
13
doLoad: function() {
    this.video = document.getElementById("video");
    this.c1 = document.getElementById("c1");
    this.ctx1 = this.c1.getContext("2d");
    this.c2 = document.getElementById("c2");
    this.ctx2 = this.c2.getContext("2d");
    let self = this;
    this.video.addEventListener("play", function() {
        self.width = self.video.videoWidth / 2;
        self.height = self.video.videoHeight / 2;
        self.timerCallback();
      }, false);
  },

这段代码获取XHTML文书档案中video成分和八个canvas成分的援用,还收获了四个canvas的图纸上下文的引用。那么些就要大家实现chroma-keying特效时利用。

addEventListener()监听video成分,当客户按下录制上的播放开关时被调用。为了酬答客商重放,这段代码获取录制的小幅和中度,并且减半(我们就要实行chroma-keying效果时将摄像的尺寸减半卡塔尔,然后调用timerCallback()方法来运转录制捕捉和视觉效果总结。

/*****************************************
Struct: CodecCtx
Description: FFMpeg编解码器上下文
*****************************************/
typedef struct
{
AVCodec *codec; //指向编解码器实例
AVFrame *frame; //保存解码之后/编码以前的像素数量
AVCodecContext *c; //编解码器上下文,保存编解码器的生龙活虎对参数设置
AVPacket pkt; //码流包结构,满含编码码流数据
} CodecCtx;
2、FFMpeg编码的要紧步骤:

电磁打点计时器回调

沙漏回调函数在摄像起始广播时被调用(当“播放”事件发生时卡塔 尔(英语:State of Qatar),然后担任自身周期调用,为每风姿洒脱帧摄像完成keying特效。

JavaScript

timerCallback: function() { if (this.video.paused || this.video.ended) { return; } this.computeFrame(); let self = this; setTimeout(function () { self.timerCallback(); }, 0); },

1
2
3
4
5
6
7
8
9
10
timerCallback: function() {
    if (this.video.paused || this.video.ended) {
      return;
    }
    this.computeFrame();
    let self = this;
    setTimeout(function () {
        self.timerCallback();
      }, 0);
  },

回调函数首先检查录制是还是不是正在播放;若无,回调函数不做其余交事务并立刻回去。

然后调用computeFrame()方法,该办法对当下摄像帧施行chroma-keying特效。

回调函数做的末梢风流倜傥件事正是调用setTimeout(),来让它自个儿尽快地被重新调用。在安分守己情况中,你也许会依附摄像的帧率来安装调用频率。

(1)、输入编码参数

拍卖摄像帧数据

computeFrame()方法,如下所示,实际上担任抓取每意气风发帧的数目和执行chroma-keying特效。

JavaScript

computeFrame: function() { this.ctx1.drawImage(this.video, 0, 0, this.width, this.height); let frame = this.ctx1.getImageData(0, 0, this.width, this.height); let l = frame.data.length / 4; for (let i = 0; i < l; i ) { let r = frame.data[i * 4 0]; let g = frame.data[i * 4 1]; let b = frame.data[i * 4 2]; if (g > 100 && r > 100 && b < 43) frame.data[i * 4 3] = 0; } this.ctx2.putImageData(frame, 0, 0); return; }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
computeFrame: function() {
    this.ctx1.drawImage(this.video, 0, 0, this.width, this.height);
    let frame = this.ctx1.getImageData(0, 0, this.width, this.height);
    let l = frame.data.length / 4;
 
    for (let i = 0; i < l; i ) {
      let r = frame.data[i * 4 0];
      let g = frame.data[i * 4 1];
      let b = frame.data[i * 4 2];
      if (g > 100 && r > 100 && b < 43)
        frame.data[i * 4 3] = 0;
    }
    this.ctx2.putImageData(frame, 0, 0);
    return;
  }

当它被调用后,video成分将展现近些日子的录像帧数据,如下所示:

亚洲城ca88唯一官方网站 14

在第2行,录制帧被复制到第一个canvas ctx1的图形上下文中,中度和宽度值内定为我们从前封存的帧大小的一半。注意,您能够透过传递video成分到绘图上下文的drawImage()方法来绘制当前摄像帧。其结果是:

亚洲城ca88唯一官方网站 15

第3行代码通过调用第3个canvas上下文的getImageData()方法,来获得原始图像数据当前录制帧的多个别本。它提供了原有的三12位像素图像数据,这样大家就可以进行操作。第4行代码通过将帧图像数据的路程度除以4,来计量图像的总像素数。

第6行代码循环扫描全体像素,获取每一个像素的红、绿、蓝值,同期和预订义的背景象进行相比较,那么些背景观将用foo.png中程导弹入的背景图像替换。

被检查评定成背景的每一个像素,将它的阿尔法值替换为零,声明该像素是完全透明的。结果,最后的图像背景有个别是百分之百晶莹剔透的,那样在第13行代码,把它被绘制到对象的左右文中时,效果是内容叠合到静态背景上。

由此爆发的图像看起来像那样:

亚洲城ca88唯一官方网站 16

在摄像播放时多次那样做,那样一帧接豆蔻梢头帧管理,显示出chroma-key的特效。

请看那些实例。

1 赞 1 收藏 评论

这一步大家能够安装叁个特意的配备文件,并将参数依据有些事写入那一个布局文件中,再在程序中分析那几个构造文件获得编码的参数。假如参数相当少的话,大家可以直接接纳命令行将编码参数字传送入就能够。

关于小编:cucr

亚洲城ca88唯一官方网站 17

微博天涯论坛:@hop_ping 个人主页 · 小编的小说 · 17

亚洲城ca88唯一官方网站 18

(2)、依照必要伊始化须求的FFMpeg布局

首先,全体涉及到编解码的的成效,都一定要要注册音摄像编解码器之后工夫使用。注册编解码调用下边包车型地铁函数:

avcodec_register_all();
编解码器注册成功之后,依照钦命的CODEC_ID查找内定的codec实例。CODEC_ID常常钦点了编解码器的格式,在这里地我们使用当前利用最为遍布的H.264格式为例。查找codec调用的函数为avcodec_find_encoder,其宣称格式为:

AVCodec *avcodec_find_encoder(enum AVCodecID id);
该函数的输入参数为一个AVCodecID的枚举类型,重临值为一个指向AVCodec布局的指针,用于收纳找到的编解码器实例。若无找到,那么该函数会回到叁个空指针。调用方法如下:

/* find the mpeg1 video encoder */
ctx.codec = avcodec_find_encoder(AV_CODEC_ID_H264); //根据CODEC_ID查找编解码器对象实例的指针
if (!ctx.codec)
{
fprintf(stderr, “Codec not foundn”);
return false;
}
AVCodec查找成功后,下一步是分配AVCodecContext实例。分配AVCodecContext实例供给大家前边查找到的AVCodec作为参数,调用的是avcodec_alloc_context3函数。其注解形式为:

AVCodecContext *avcodec_alloc_context3(const AVCodec *codec);
其天性同avcodec_find_encoder相同,再次来到多个指向AVCodecContext实例的指针。假设分配失利,会回来二个空指针。调用格局为:

ctx.c = avcodec_alloc_context3(ctx.codec); //分配AVCodecContext实例
if (!ctx.c)
{
fprintf(stderr, “Could not allocate video codec contextn”);
return false;
}
需注意,在分配成功之后,应将编码的参数设置赋值给AVCodecContext的分子。

近期,AVCodec、AVCodecContext的指针都早就分配好,然后以这七个指标的指针作为参数打开编码器对象。调用的函数为avcodec_open2,申明方式为:

int avcodec_open2(AVCodecContext *avctx, const AVCodec *codec, AVDictionary **options);
该函数的前三个参数是大家赶巧建构的五个指标,第多少个参数为一个字典类型对象,用于保存函数实施进度总无法识其余AVCodecContext和其余一些民用设置选项。函数的重回值表示编码器是或不是展开成功,若成功重返0,战败重回一个负数。调用格局为:

if (avcodec_open2(ctx.c, ctx.codec, NULL) < 0) //根据编码器上下文展开编码器
{
fprintf(stderr, “Could not open codecn”);
exit(1);
}
下一场,大家必要管理AVFrame对象。AVFrame表示录制原始像素数据的七个容器,管理该品种数据要求八个步骤,其一是分配AVFrame对象,其二是分配实际的像素数量的积累空间。分匹配成对象空间相似于new操作符同样,只是需求调用函数av_frame_alloc。固然退步,那么函数重回三个空指针。AVFrame对象分配成功后,需求设置图像的分辨率和像素格式等。实际调用进度如下:

ctx.frame = av_frame_alloc(); //分配AVFrame对象
if (!ctx.frame)
{
fprintf(stderr, “Could not allocate video framen”);
return false;
}
ctx.frame->format = ctx.c->pix_fmt;
ctx.frame->width = ctx.c->width;
ctx.frame->height = ctx.c->height;
分配像素的蕴藏空间须要调用av_image_alloc函数,其宣称方式为:

int av_image_alloc(uint8_t *pointers[4], int linesizes[4], int w, int h, enum AVPixelFormat pix_fmt, int align);
该函数的八个参数分别表示AVFrame构造中的缓存指针、各样颜色分量的大幅、图像分辨率(宽、高卡塔 尔(英语:State of Qatar)、像素格式和内部存款和储蓄器对其的大小。该函数会重回分配的内部存款和储蓄器的朗朗上口,假设失利则赶回七个负值。具体调用格局如:

ret = av_image_alloc(ctx.frame->data, ctx.frame->linesize, ctx.c->width, ctx.c->height, ctx.c->pix_fmt, 32);
if (ret < 0)
{
fprintf(stderr, “Could not allocate raw picture buffern”);
return false;
}
(3)、编码循环体

到此截至,大家的备选职业早已大概变成,下边开端施行实际编码的巡回进度。用伪代码大致表示编码的流水生产线为:

while (numCoded < maxNumToCode)
{
read_yuv_data();
encode_video_frame();
write_out_h264();
}
其中,read_yuv_data部分直接接受fread语句读取即可,只供给知道的是,多个颜色分量Y/U/V的地址分别为AVframe::data[0]、AVframe::data[1]和AVframe::data[2],图像的宽窄分别为AVframe::linesize[0]、AVframe::linesize[1]和AVframe::linesize[2]。须求在意的是,linesize中的值日常指的是stride而不是width,也正是说,像素保存区或然是含有一定幅度的失效边区的,在读取数据时需注意。

编码前其它部须要要实现的操作时早先化AVPacket对象。该目标保存了编码之后的码流数据。对其开展早先化的操作特别轻便,只需求调用av_init_packet并传播AVPacket对象的指针。随后将AVPacket::data设为NULL,AVPacket::size赋值0.

中标将原有的YUV像素值保存到了AVframe布局中之后,便能够调用avcodec_encode_video2函数实行实际的编码操作。该函数可谓是全部育工作程的主干所在,其评释方式为:

int avcodec_encode_video2(AVCodecContext *avctx, AVPacket *avpkt, const AVFrame *frame, int *got_packet_ptr);
其参数和再次回到值的含义:

avctx: AVCodecContext布局,钦点了编码的局地参数;
avpkt: AVPacket对象的指针,用于保存输出码流;
frame:AVframe布局,用于传入原始的像素数量;
got_packet_ptr:输出参数,用于标记AVPacket中是或不是曾经有了整机的意气风发帧;
再次回到值:编码是或不是中标。成功再次回到0,失利则赶回负的错误码
由此输出参数*got_packet_ptr,大家能够肯定是或不是应该一帧完整的码流数据包输出,假使是,那么能够将AVpacket中的码流数据输出出来,其地点为AVPacket::data,大小为AVPacket::size。具体调用方式如下:

/* encode the image */
ret = avcodec_encode_video2(ctx.c, &(ctx.pkt), ctx.frame, &got_output); //将AVFrame中的像素新闻编码为AVPacket中的码流
if (ret < 0)
{
fprintf(stderr, “Error encoding framen”);
exit(1);
}

if (got_output)
{
//拿到二个完完全全的编码帧
printf(“Write frame = (size=])n”, frameIdx, ctx.pkt.size);
fwrite(ctx.pkt.data, 1, ctx.pkt.size, io_param.pFout);
av_packet_unref(&(ctx.pkt));
}
进而,八个完全的编码循环提就足以接收下边包车型地铁代码完成:

/* encode 1 second of video */
for (frameIdx = 0; frameIdx < io_param.nTotalFrames; frameIdx )
{
av_init_packet(&(ctx.pkt)); //初始化AVPacket实例
ctx.pkt.data = NULL; // packet data will be allocated by the encoder
ctx.pkt.size = 0;

fflush(stdout);

Read_yuv_data(ctx, io_param, 0);        //Y分量
Read_yuv_data(ctx, io_param, 1);        //U分量
Read_yuv_data(ctx, io_param, 2);        //V分量

ctx.frame->pts = frameIdx;

/* encode the image */
ret = avcodec_encode_video2(ctx.c, &(ctx.pkt), ctx.frame, &got_output); //将AVFrame中的像素信息编码为AVPacket中的码流
if (ret < 0) 
{
    fprintf(stderr, "Error encoding framen");
    exit(1);
}

if (got_output) 
{
    //获得一个完整的编码帧
    printf("Write frame = (size=])n", frameIdx, ctx.pkt.size);
    fwrite(ctx.pkt.data, 1, ctx.pkt.size, io_param.pFout);
    av_packet_unref(&(ctx.pkt));
}

} //for (frameIdx = 0; frameIdx < io_param.nTotalFrames; frameIdx )
(4)、收尾管理

借使大家就此停止编码器的全体运营进程,大家会发觉,编码完结之后的码流比较原来的多寡少了生龙活虎帧。那是因为大家是基于读取原始像素数据结束来推断循环截止的,那样结尾少年老成帧还保存在编码器中从不输出。所以在关门全部解码进程以前,大家必须要继续实行编码的操作,直到将最后意气风发帧输出结束。实践那项操作还是调用avcodec_encode_video2函数,只是表示AVFrame的参数设为NULL就能够:

/* get the delayed frames */
for (got_output = 1; got_output; frameIdx )
{
fflush(stdout);

ret = avcodec_encode_video2(ctx.c, &(ctx.pkt), NULL, &got_output);      //输出编码器中剩余的码流
if (ret < 0)
{
    fprintf(stderr, "Error encoding framen");
    exit(1);
}

if (got_output) 
{
    printf("Write frame = (size=])n", frameIdx, ctx.pkt.size);
    fwrite(ctx.pkt.data, 1, ctx.pkt.size, io_param.pFout);
    av_packet_unref(&(ctx.pkt));
}

} //for (got_output = 1; got_output; frameIdx )
随后,大家就可以按安排关闭编码器的相继构件,截至全部编码的流水生产线。编码器组件的放出流程可类比创建流程,需求关闭AVCocec、释放AVCodecContext、释放AVFrame中的图像缓存和对象自笔者:

avcodec_close(ctx.c);
av_free(ctx.c);
av_freep(&(ctx.frame->data[0]));
av_frame_free(&(ctx.frame));
3、总结

利用FFMpeg进行摄像编码的首要流程如:

第一深入分析、管理输入参数,如编码器的参数、图像的参数、输入输出文件;
树立全方位FFMpeg编码器的各个构件工具,顺序依次为:avcodec_register_all -> avcodec_find_encoder -> avcodec_alloc_context3 -> avcodec_open2 -> av_frame_alloc -> av_image_alloc;
编码循环:av_init_packet -> avcodec_encode_video2(两次) -> av_packet_unref
闭馆编码器组件:avcodec_close,av_free,av_freep,av_frame_free

编辑:亚洲城ca88唯一官方网站 本文来源:亚洲城ca88唯一官方网站SDK对YUV摄像系列举行编码

关键词: 亚洲城ca88