您的位置首页百科知识

直播系统——直播系统开发技术要点

直播系统——直播系统开发技术要点

的有关信息介绍如下:

直播系统——直播系统开发技术要点

直播系统——直播系统开发技术要点

斗鱼的数亿融资、陌陌的巨额财报,让2017年的直播市场再次沸腾,直播系统开发作为直播平台必备的技术支持也开始升温,那么,作为直播技术后盾的直播系统开发技术都有哪些要点呢?

一、视频处理(美颜,水印)

视频处理原理:因为视频最终也是通过GPU,一帧一帧渲染到屏幕上的,所以我们可以利用OpenGL ES,对视频帧进行各种加工,从而视频各种不同的效果,就好像一个水龙头流出的水,经过若干节管道,然后流向不同的目标

现在的各种美颜和视频添加特效的app都是利用GPUImage这个框架实现的,.

经过处理后的视频效果图

二、视频处理框架

GPUImage: GPUImage是一个基于OpenGL ES的一个强大的图像/视频处理框架,封装好了各种滤镜同时也可以编写自定义的滤镜,其本身内置了多达120多种常见的滤镜效果。

OpenGL:OpenGL(全写Open Graphics Library)是个定义了一个跨编程语言、跨平台的编程接口的规格,它用于三维图象(二维的亦可)。OpenGL是个专业的图形程序接口,是一个功能强大,调用方便的底层图形库。

OpenGL ES:OpenGL ES (OpenGL for Embedded Systems) 是 OpenGL三维图形 API 的子集,针对手机、PDA和游戏主机等嵌入式设备而设计。

三、视频编码解码

框架:

FFmpeg:是一个跨平台的开源视频框架,能实现如视频编码,解码,转码,串流,播放等丰富的功能。其支持的视频格式以及播放协议非常丰富,几乎包含了所有音视频编解码、封装格式以及播放协议。

-Libswresample:可以对音频进行重采样,rematrixing 以及转换采样格式等操 作。

-Libavcodec:提供了一个通用的编解码框架,包含了许多视频,音频,字幕流 等编码/解码器。

-Libavformat:用于对视频进行封装/解封装。

-Libavutil:包含一些共用的函数,如随机数生成,数据结构,数学运算等。

-Libpostproc:用于进行视频的一些后期处理。

-Libswscale:用于视频图像缩放,颜色空间转换等。

-Libavfilter:提供滤镜功能。

X264:把视频原数据YUV编码压缩成H.264格式

VideoToolbox:苹果自带的视频硬解码和硬编码API,但是在iOS8之后才开放。

AudioToolbox:苹果自带的音频硬解码和硬编码API