Apple Vision Pro で「別の目で見る」体験アプリを作った話

空間写真（HEIC）
  ↓ PHAssetResourceManager で完全バイナリ取得
  ↓ CGImageSource で左目・右目の CGImage を分離
  ↓ Core Image でフィルター適用（症状ごと）
  ↓ TextureResource（左右別々）
  ↓ ShaderGraph StereoscopicMaterial（CameraIndexSwitch で左右を自動振り分け）
  ↓ ドームメッシュに投影

// ❌ これだと NSItemProvider 経由で単一フレームになる
var config = PHPickerConfiguration()

// ✅ これで assetIdentifier → PHAssetResourceManager が使える
var config = PHPickerConfiguration(photoLibrary: .shared())

// result.assetIdentifier → PHAsset.fetchAssets → PHAssetResource
// → PHAssetResourceManager.requestData で完全 HEIC バイナリ
let options = PHAssetResourceRequestOptions()
options.isNetworkAccessAllowed = true

PHAssetResourceManager.default().requestData(
    for: resource,
    options: options
) { data in
    // 完全な HEIC バイナリ（空間写真は2～6MB程度）
}

HEIC ファイル
├── compatible brands: MiHB  ← Apple 空間写真のマーカー
├── {Groups}
│   └── ster グループ
│       ├── GroupImageIndexLeft  = 0
│       └── GroupImageIndexRight = 1
├── index 0: 左目 2560x2560（25タイルの HEVC 合成）
└── index 1: 右目 2560x2560（25タイルの HEVC 合成）

// ❌ ここには kCGImagePropertyGroups が存在しない
let props = CGImageSourceCopyPropertiesAtIndex(imageSource, 0, nil)

// ✅ ソース全体のプロパティから取得する
guard let sourceProps = CGImageSourceCopyProperties(imageSource, nil) as? [CFString: Any],
      let groups = sourceProps[kCGImagePropertyGroups] as? [[CFString: Any]],
      let group = groups.first(where: {
          ($0[kCGImagePropertyGroupType] as? String)
              == (kCGImagePropertyGroupTypeStereoPair as String)
      }) else { /* フォールバック */ }

let leftIndex  = (group[kCGImagePropertyGroupImageIndexLeft]  as? Int) ?? 0
let rightIndex = (group[kCGImagePropertyGroupImageIndexRight] as? Int) ?? 1

let leftImage  = CGImageSourceCreateImageAtIndex(imageSource, leftIndex,  nil)
let rightImage = CGImageSourceCreateImageAtIndex(imageSource, rightIndex, nil)

// ❌ .main バンドルからロードしようとするとエラー
let material = try await ShaderGraphMaterial(
    named: "/Root/StereoscopicMaterial",
    from: "Materials/StereoscopicMaterial",
    in: .main  // → invalidTypeFound エラー
)

// ✅ RealityKitContent の Bundle を使う
let material = try await ShaderGraphMaterial(
    named: "/Root/StereoscopicMaterial",
    from: "Materials/StereoscopicMaterial",
    in: realityKitContentBundle
)

// ❌ このままだと上下逆になる
uvs.append(SIMD2<Float>(ht, vt))

// ✅ V 軸を反転する
uvs.append(SIMD2<Float>(ht, 1.0 - vt))

// ARKit WorldTrackingProvider でヘッドの向きを 60fps で取得
while !Task.isCancelled {
    if let anchor = worldTracking.queryDeviceAnchor(atTimestamp: CACurrentMediaTime()) {
        let matrix = anchor.originFromAnchorTransform

        // ヘッドの前方ベクトル（-Z 軸）
        let rawForward = SIMD3<Float>(
            -matrix.columns.2.x,
            -matrix.columns.2.y,
            -matrix.columns.2.z
        )

        // スムージング（α=0.15）で視線の微振動を吸収
        smoothedForward = smoothedForward + (rawForward - smoothedForward) * 0.15
        let len = simd_length(smoothedForward)
        if len > 0.001 { smoothedForward = smoothedForward / len }

        let headPos = SIMD3<Float>(matrix.columns.3.x, matrix.columns.3.y, matrix.columns.3.z)

        // Entity をヘッド前方 1.5m に配置
        let pos = headPos + smoothedForward * 1.5
        scotomaEntity.position = pos
        scotomaEntity.look(at: headPos, from: pos, relativeTo: nil)
    }
    try? await Task.sleep(for: .milliseconds(16))
}

LeftTexture  → LeftImageSampler  → CameraIndexSwitch.left
RightTexture → RightImageSampler → CameraIndexSwitch.right
                                       ↓ 左目には left、右目には right を自動選択
                                    UnlitSurface

try material.setParameter(
    name: "LeftTexture",
    value: .textureResource(leftTexture)
)
try material.setParameter(
    name: "RightTexture",
    value: .textureResource(rightTexture)
)
domeEntity.model?.materials = [material]

let filter = CIFilter.vignetteEffect()
filter.inputImage = image
filter.center = CIVector(x: width / 2, y: height / 2)
filter.radius = shortSide * mix(1.0, 0.12, t: intensity)
filter.intensity = mix(0.0, 2.5, t: intensity)
filter.falloff = mix(0.5, 0.15, t: intensity)

// Step 1: 霞み（彩度↓・コントラスト↓・輝度↑）
// Step 2: CIGaussianBlur でぼかす
// Step 3: 輝度マスクを使って明るい部分だけにぼかしを重ねる（Bloom）
// Step 4: わずかに黄みを加える（水晶体の黄変）

let luminanceMask = hazedImage.applyingFilter("CIColorControls", parameters: [
    kCIInputSaturationKey: 0.0,   // グレースケール化
    kCIInputContrastKey: 2.0,     // 明暗を二極化
    kCIInputBrightnessKey: -0.1
])

let bloomFilter = CIFilter(name: "CIBlendWithMask")!
bloomFilter.setValue(hazedImage,    forKey: kCIInputBackgroundImageKey)
bloomFilter.setValue(clampedBlur,   forKey: kCIInputImageKey)
bloomFilter.setValue(luminanceMask, forKey: kCIInputMaskImageKey)

// 第2型（緑が弱い）の例
let rVec = CIVector(x: 0.367, y: 0.861, z: -0.228, w: 0)
let gVec = CIVector(x: 0.280, y: 0.673, z:  0.047, w: 0)
let bVec = CIVector(x: -0.012, y: 0.043, z: 0.969, w: 0)