Как получить данные о глубине с камеры в iOS 11 и Swift 4?

Во-первых, вам нужно использовать двойную камеру, иначе вы не получите никаких данных о глубине.

let device = AVCaptureDevice.default(.builtInDualCamera, for: .video, position: .back)

И сохраните ссылку на свою очередь

let dataOutputQueue = DispatchQueue(label: "data queue", qos: .userInitiated, attributes: [], autoreleaseFrequency: .workItem)

Вы также, вероятно, захотите синхронизировать видео и данные о глубине.

var outputSynchronizer: AVCaptureDataOutputSynchronizer?

Затем вы можете синхронизировать два вывода в своем методе viewDidLoad() следующим образом.

if sessionOutput?.isDepthDataDeliverySupported {
    sessionOutput?.isDepthDataDeliveryEnabled = true
    depthDataOutput?.connection(with: .depthData)!.isEnabled = true
    depthDataOutput?.isFilteringEnabled = true
    outputSynchronizer = AVCaptureDataOutputSynchronizer(dataOutputs: [sessionOutput!, depthDataOutput!])
    outputSynchronizer!.setDelegate(self, queue: self.dataOutputQueue)
}

Я бы порекомендовал посмотреть сеанс 507 WWDC — они также предоставляют полный пример приложения, которое делает именно то, что вы хотите.

https://developer.apple.com/videos/play/wwdc2017/507/< /а>

Есть два способа сделать это, и вы пытаетесь сделать оба сразу:

1. Захватите данные о глубине вместе с изображением. Это делается с помощью объекта photo.depthData из photoOutput(_:didFinishProcessingPhoto:error:). Я объясню, почему это не сработало для вас ниже.
2. Используйте AVCaptureDepthDataOutput и реализуйте depthDataOutput(_:didOutput:timestamp:connection:). Я не уверен, почему это не сработало для вас, но реализация depthDataOutput(_:didOutput:timestamp:connection:) может помочь вам понять, почему.

Я думаю, что вариант №1 — лучший вариант, потому что он связывает данные о глубине с изображением. Вот как вы это сделаете:

@IBAction func capture(_ sender: Any) {

    let settings = AVCapturePhotoSettings(format: [AVVideoCodecKey: AVVideoCodecType.jpeg])
    settings.isDepthDataDeliveryEnabled = true
    self.sessionOutput?.capturePhoto(with: settings, delegate: self)

}

// ...

override func viewDidLoad() {
    // ...
    self.sessionOutput = AVCapturePhotoOutput()
    self.sessionOutput.isDepthDataDeliveryEnabled = true
    // ...
}

Тогда depth_map не должно быть nil. Обязательно прочтите это и это (отдельные, но похожие страницы) для получения дополнительной информации о получении данных о глубине.

Что касается № 2, я не совсем уверен, почему depthDataOutput(_:didOutput:timestamp:connection:) не вызывается, но вы должны реализовать depthDataOutput(_:didDrop:timestamp:connection:reason:), чтобы увидеть, не удаляются ли данные о глубине по какой-либо причине.

Чтобы дать более подробную информацию ответу @klinger, вот что вам нужно сделать, чтобы получить данные о глубине для каждого пикселя, я написал несколько комментариев, надеюсь, это поможет!

func photoOutput(_ output: AVCapturePhotoOutput, didFinishProcessingPhoto photo: AVCapturePhoto, error: Error?) {

    //## Convert Disparity to Depth ##

    let depthData = (photo.depthData as AVDepthData!).converting(toDepthDataType: kCVPixelFormatType_DepthFloat32)
    let depthDataMap = depthData.depthDataMap //AVDepthData -> CVPixelBuffer

    //## Data Analysis ##

    // Useful data
    let width = CVPixelBufferGetWidth(depthDataMap) //768 on an iPhone 7+
    let height = CVPixelBufferGetHeight(depthDataMap) //576 on an iPhone 7+
    CVPixelBufferLockBaseAddress(depthDataMap, CVPixelBufferLockFlags(rawValue: 0))

    // Convert the base address to a safe pointer of the appropriate type
    let floatBuffer = unsafeBitCast(CVPixelBufferGetBaseAddress(depthDataMap), to: UnsafeMutablePointer<Float32>.self)

    // Read the data (returns value of type Float)
    // Accessible values : (width-1) * (height-1) = 767 * 575

    let distanceAtXYPoint = floatBuffer[Int(x * y)]

}

То, как вы инициализируете свое устройство захвата, неверно.

Вы должны использовать режим двойной камеры.

что касается oc следующим образом:

AVCaptureDevice *device = [AVCaptureDevice defaultDeviceWithDeviceType:AVCaptureDeviceTypeBuiltInDualCamera mediaType:AVMediaTypeVideo position:AVCaptureDevicePositionBack];