扣丁书屋

Android NDK Camera2 使用

1.概述

Android自带camera API有两种,Camera1和Camera2。其中,

Camera1始于Android最初版本,仅为java层实现。

Camera2则有两种实现。

Java层Camera2始于andorid 5.0。

Native Camera2则开始于android7.0(API level24)。

本文将对Native Camera2的使用(仅预览功能)进行总结。总结将针对于如何使用和逻辑流程,不纠结于代码,示例可参照google ndk samples(可从github查找)。

2.使用流程

通过Camera2实现预览,需要三步。

第一步,开启设备。

第二步,发送请求。

第三步,接收视频数据,并转换为图像格式显示。

本文的讲解基于UML Component图,描述Camera2核心对象及API的调用生成关系。受版面所限,拆为三图。如缩略图不清晰,可点击放大。

Component图中,模块为函数,节点为对象。横向(左或右)箭头为资源释放操作调用。调用过程与顺序/时机无关。

2.1开启设备

该阶段目的,在于获取设备指针,以及获取设备相应的信息,例如分别率,旋转角度等。

通过系统所提供的ACameraManager_create方法,可获得ACameraManager指针。

进而通过ACameraManager_getCameraIdList方法,可从ACameraManager中获取所有Camera的ID。

获取ID后,辅助以属性TAG,可以通过ACameraMetadata_getConstEntry方法获取对应Camera的属性。

例如,传入ACAMERA_SENSOR_ORIENTATION的TAG,可以获取Camera的旋转角度;ACAMERA_LENS_FACING,可以判断是前置(ACAMERA_LENS_FACING_FRONT)或后置(ACAMERA_LENS_FACING_BACK)摄像头;而ACAMERA_SCALER_AVAILABLE_STREAM_CONFIGURATIONS,可以获得摄像头的分辨率。

其它TAG,可参照NdkCameraMetadataTags.h。

此处需要注意的是,

(1)ACameraMetadata_getConstEntry方法返回的是一个ACameraMetadata_const_entry结构体,需根据type的值读取data。

typedef struct ACameraMetadata_const_entry {
    /**
     * The tag identifying the entry.
     * See {@link NdkCameraMetadataTags.h} for more details. </p>
     */
    uint32_t tag;

    /**
     * The data type of this metadata entry.
     */
    uint8_t  type;

    /**
     * Count of elements (NOT count of bytes) in this metadata entry.
     */
    uint32_t count;

    /**
     * Pointer to the data held in this metadata entry.
     */
    union {
        const uint8_t *u8;
        const int32_t *i32;
        const float   *f;
        const int64_t *i64;
        const double  *d;
        const ACameraMetadata_rational* r;
    } data;
} ACameraMetadata_const_entry;

(2)不是所有API LEVEL>=24的android os都支持Camera2,所以有时通过ACameraManager_getCameraIdList方法获取都ID数量可能为0。

在获取到Camera ID之后,通过ACameraManager_openCamera方法,可以开启Camera,获得一个ACameraDevice对象指针。

该指针将在发送请求阶段使用。在调用ACameraManager_openCamera方法时,ACameraDevice_StateCallbacks可以为null。

2.2发送请求

在获取设备(指针)后,需要通过不断的发送请求(ACaptureRequest),以得到图像信息。没有请求,便没有数据。没有数据,便无法生成之后的预览图像。因此,该步骤是最关键的一步,也是最为复杂的一步。

对于整个发送请求(ACaptureRequest)过程,可以理解为,

(1)生成一个向ACameraDevice发送的,类型为ACameraDevice_request_template的ACaptureRequest。

(2)该ACaptureRequest被不断重复发送。

(3)ACaptureRequest所返回的响应数据,由ACaptureSessionOutputContainer中的ACaptureSessionOutput接收。

(4)ACaptureRequest通过ACameraOutputTarget,将ACaptureSessionOutput与AImageReader绑定。

在预览阶段,AImageReader将用于数据的读取。

不断的发送请求,是如何完成的?

只需要调用ACameraCaptureSession_setRepeatingRequest方法即可。

camera_status_t ACameraCaptureSession_setRepeatingRequest(
        ACameraCaptureSession* session,
        /*optional*/ACameraCaptureSession_captureCallbacks* callbacks,
        int numRequests, ACaptureRequest** requests,
        /*optional*/int* captureSequenceId);

而当需要停止发送请求时,调用ACameraCaptureSession_stopRepeating方法即可。

camera_status_t ACameraCaptureSession_stopRepeating(ACameraCaptureSession* session);

题外话:预览需要不断的发送请求,获取实时画面。而拍照就不同了,仅需要发送单个(一次)请求即可。

ACameraCaptureSession_setRepeatingRequest方法中核心的传参有三个,ACameraCaptureSession,ACaptureRequest和numRequests。接下来,开始详细讲述发送请求的过程。

2.2.1创建请求

requests,是一个ACaptureRequest列表,numRequests当然指的是ACaptureRequest的数量了。可见,可以同时发送多个请求。但对于单一的预览,一个请求足已。

那么,ACaptureRequest是向谁发出的请求?

camera_status_t ACameraDevice_createCaptureRequest(
        const ACameraDevice* device, ACameraDevice_request_template templateId,
        /*out*/ACaptureRequest** request);

ACaptureRequest由ACameraDevice生成,因此,是向ACameraDevice发送的请求。ACameraDevice在开启设备阶段已被获取。

请求的类型,由枚举ACameraDevice_request_template决定。参见NdkCameraDevice.h。对于预览,需选择TEMPLATE_PREVIEW。

因此,创建请求的过程,可以理解为:

生成一个向ACameraDevice发送的,类型为ACameraDevice_request_template的请求。

2.2.2建立会话

ACameraCaptureSession是一个会话。它也是由ACameraDevice生成,同时还绑定来一个ACaptureSessionOutputContainer。

camera_status_t ACameraDevice_createCaptureSession(
        ACameraDevice* device,
        const ACaptureSessionOutputContainer*       outputs,
        const ACameraCaptureSession_stateCallbacks* callbacks,
        /*out*/ACameraCaptureSession** session);

ACaptureSessionOutputContainer,通过ACaptureSessionOutputContainer_create方法创建。

camera_status_t ACaptureSessionOutputContainer_create(
        /*out*/ACaptureSessionOutputContainer** container);

ACaptureSessionOutputContainer是一个可以容纳多个ACaptureSessionOutput的集合。

ACaptureSessionOutput是一个输出流,用于接收预览所用的图像数据。该对象由AImageReader间接创建。关于AImageReader,见图片读取章节。间接创建步骤如下

(1)AImageReader通过AImageReader_getWindow方法,获得一个ANativeWindow对象(注意,该ANativeWindow对象与此后预览图像章节所述的ANativeWindow对象,并非同一对象)。

(2)ANativeWindow对象通过ACaptureSessionOutput_create方法,获得一个ACaptureSessionOutput对象。

因此,一个ACameraCaptureSession包含了以下信息:

(1)与哪个ACameraDevice进行会话。

(2)用哪些ACaptureSessionOutput来接收数据。

而ACameraCaptureSession又通过ACameraCaptureSession_setRepeatingRequest方法,与ACaptureRequest建立关联。

因此,ACaptureRequest与ACaptureSessionOutput,ACameraDevice都是有关联的。

那么ACaptureRequest如何确定数据格式,大小?AImageReader即为关键。

ACaptureRequest需要与AImageReader建立关联。

2.2.3接收图片数据

在创建AImageReader时,需要提供四个参数:图像宽度,高度,图像格式,最大图片存储量。

media_status_t AImageReader_new(
        int32_t width, int32_t height, int32_t format, int32_t maxImages,
        /*out*/AImageReader** reader);

其中,图像宽度和高度的单位为像素。

图像格式,可参见枚举类型AIMAGE_FORMATS(NdkImage.h)。由于预览时,前端为视频格式,此处应使用AIMAGE_FORMAT_YUV_420_888。

最大图片存储量maxImages,需要特别注意。若数量少(例如1,2),则会在预览时,产生卡顿。而数量多,则会引起延时。例如 数量40,宽高为640*480时,将引起3至4秒的延时。

AImageReader如何与ACaptureRequest建立关联呢?也是通过间接的途径。

(1)AImageReader通过AImageReader_getWindow方法,获得一个ANativeWindow对象(注意,该ANativeWindow对象与此后预览图像章节所述的ANativeWindow对象,并非同一对象)。

(2)ANativeWindow对象通过ACameraOutputTarget_create方法,创建一个ACameraOutputTarget对象。

(3)通过ACaptureRequest_addTarget方法,将ACameraOutputTarget与AImageReader建立关联。

至此,ACaptureRequest可以通过AImageReader确定数据格式,高宽,及最大数量,并将图像数据写入AImageReader所对应的ACaptureSessionOutput中。

接下来,只剩下如何显示的问题了。

2.3预览图像

2.3.1关键因素

AImageReader,ANativeWindow和ANativeWindow_Buffer是预览阶段的关键因素。

其中AImageReader起到一个承上启下的作用。

在发送请求阶段,绑定请求(ACaptureRequest)和输出(ACaptureSessionOutput),以获取实时视频数据。

在预览阶段,作为数据源,用于数据转换(YUV数据转ARGB等图像数据类型)。

ANativeWindow做为画布(由外部传入,并非由AImageReader,与发送请求阶段的ANativeWindow对象不同),用于显示预览图像。

ANativeWindow_Buffer则可以看作是画布(ANativeWindow)的显存。当数据以某一图片格式写入ANativeWindow_Buffer时,图像便呈现在画布(ANativeWindow)上。

2.3.2获取图片

在ACaptureRequest被发出后,将会有AImage不断的存入AImageReader对应的缓冲区。缓冲区内存储的图片数量上限,在创建AImageReader时已被设定。

题外话:

对于性能较低的设备,当缓冲区内的图片上限过大,则会出现预览延时。因为有太多的旧图片在排队等待处理。

而缓冲区内图片上限过小,不论设备的性能好坏,则都会出现预览卡顿,因为没有连续的图片可以被连续的画到画布上。

AImageReader通过AImageReader_acquireNextImage方法,获得最早进入缓冲区的AImage。

在获取到AImage后,可以通过AImage_getPlaneRowStride和AImage_getPlaneData方法,获取YUV格式的视频数据。

关于YUV格式可参照之前的博文:YUV简介,这里不在详述。

2.3.3初始化ANativeWindow_Buffer

在获取ANativeWindow_Buffer前,需要通过ANativeWindow_setBuffersGeometry方法,对其属性进行初始化。

int32_t ANativeWindow_setBuffersGeometry(ANativeWindow* window,
        int32_t width, int32_t height, int32_t format);

其中,width和height为ANativeWindow_Buffer的宽高。

ANativeWindow_Buffer的宽高不同于画布View的宽高。例如画布View宽高为1080*2018,ANativeWindow_Buffer宽高为480*640,ANativeWindow_Buffer会自动被映射到画布View上,由硬件或底层完成,无需干预。

ANativeWindow_Buffer的宽高也不同于AImage的宽高。AImage带有ACameraDevice的偏转角度,需要调整为自然0度(会造成宽高的数值交换)后,再做格式转换。

format为YUV转换后的图片格式(例如WINDOW_FORMAT_RGBA_8888等,可参见Native_Window.h)。

2.3.4获取ANativeWindow_Buffer

获取过程相对程序化。需要依次调用ANativeWindow_acquire和ANativeWindow_lock方法。ANativeWindow_acquire及其对应的ANativeWindow_release方法,可以理解为安全策略,为技术层次,无业务逻辑解释。可参见其官方注解。

/**
 * Acquire a reference on the given {@link ANativeWindow} object. This prevents the object
 * from being deleted until the reference is removed.
 */
void ANativeWindow_acquire(ANativeWindow* window);
/**
 * Remove a reference that was previously acquired with {@link ANativeWindow_acquire()}.
 */
void ANativeWindow_release(ANativeWindow* window);

而ANativeWindow_lock方法将返回一个ANativeWindow_Buffer。

该ANativeWindow_Buffer,即为ANativeWindow需要显示的下一个画面所对应的显存。

2.3.5写入ANativeWindow_Buffer

通过实现自定义方法TODO_YUV_2_ImageFormat,将数据进行转换,并映射到上一步所获得的ANativeWindow_Buffer中。

TODO_YUV_2_ImageFormat方法,至少应包含三个功能,

(1)角度的修正。将图像由翻转角度,矫正为自然0度。

(2)格式转换。YUV转ImageFormat。其中ImageFormat为ANativeWindow_Buffer初始化时,所设置的格式。例如ARGB_8888。

(3)坐标映射。将宽高为A*B的AImage,映射到宽高为C*D的ANativeWindow_Buffer中。

2.3.6释放ANativeWindow_Buffer

在每次写入完成后,需要释放ANativeWindow_Buffer。步骤十分简单,与获取时相反,依次调用

(1)ANativeWindow_unlockAndPost

(2)ANativeWindow_release

在释放完ANativeWindow_Buffer后,一定要通过AImage_delete方法,将AImage移除缓冲区。

至此,整个预览完成。

2.4关闭Camera

关闭Camera,有一点需要强调。

ACameraDevice_close较为耗时,在MI 8和Samsung SM G9500上测试,需要约200ms左右。而Activity onPause/onStop/onDestory的单个超时上限为500ms。若有其它耗时操作与ACameraDevice_close一起进行,将有可能引起Timeout。

其它不再详细描述,只需要调用相关的free,delete,close方法即可。

3.结束语

相对于Camera1而言,NDK Camera2的逻辑较为复杂。但随着API Level的提升,Camera1终将被替换。Google最新提出的CameraX其实也是对Camera2的封装。因此,Camera2在未来还会存在一段很长的时间。


https://mp.weixin.qq.com/s/kc2uJw4bYgZGcxC9keoZNQ

最多阅读

简化Android的UI开发 2年以前  |  515387次阅读
Android 深色模式适配原理分析 1年以前  |  26822次阅读
Android 样式系统 | 主题背景覆盖 1年以前  |  8234次阅读
Android Studio 生成so文件 及调用 2年以前  |  6047次阅读
30分钟搭建一个android的私有Maven仓库 3年以前  |  5024次阅读
Android设计与开发工作流 2年以前  |  4713次阅读
Google Enjarify:可代替dex2jar的dex反编译 3年以前  |  4639次阅读
移动端常见崩溃指标 2年以前  |  4442次阅读
Android多渠道打包工具:apptools 3年以前  |  4247次阅读
Android内存异常机制(用户空间)_NE 2年以前  |  4191次阅读
Google Java编程风格规范(中文版) 3年以前  |  4169次阅读
Android-模块化-面向接口编程 2年以前  |  4153次阅读
Android死锁初探 2年以前  |  3997次阅读
Android UI基本技术点 3年以前  |  3976次阅读

手机扫码阅读