Enhanced visual search on iPhone upgrades the photo app and protects personal information.

iPhone의 사진 앱은 라이브러리에서 이미지를 찾고 해당 이미지에 표시된 내용을 더 알아보는 데 도움이 되는 여러 기능을 활용합니다. 그 중 하나가 강화된 시각적 검색이라고 하는 기능입니다. 이 기능이 어떻게 작동하고, 사용할 때 개인정보를 보호하는 방법은 다음과 같습니다.

비주얼 룩업과 업그레이드된 비주얼 검색

Enhanced Visual Search와 Apple의 Visual Look Up 기능이 어떻게 다른지 이해하는 것이 중요합니다. Visual Look Up은 iOS 15에 함께 출시되어 사용자가 사진 앱에서 물체, 명소, 식물 등 다양한 것들을 식별할 수 있게 했습니다.

예를 들어, 사진 앱에서 이미지를 위로 스와이프하면 그 이미지에 어떤 개의 종류가 나왔는지 배울 수 있습니다. 심지어 옷에 담배 관리 지침이나 자동차 대시보드에 있는 무작위 문자들이 무엇을 의미하는지 인식할 수도 있습니다.

보완된 비주얼 검색은 비주얼 룩업과는 별도로 존재합니다. 비주얼 룩업은 이미 보고 있는 사진의 세부 정보를 찾는데 도움이 되지만, 보완된 비주얼 검색은 명소나 장소를 검색할 때 라이브러리에 있는 모든 사진을 찾아줍니다.

아래는 업그레이드된 비주얼 검색 요청의 전체 파이프라인입니다.苹果의 머신러닝 웹사이트에서 설명하는 것처럼:

• 기기 내에서 실행되는 머신러닝 모델이 사진을 분석하여 "관심 지역," 또는 ROI가 명소를 포함할 수 있는지 확인합니다.
• 모델이 ROI를 감지하면 해당 영상의 일부에 대한 '백터 임베딩'을 계산합니다.
• 그 벡터 임베딩은 암호화되어 서버 데이터베이스에 전송됩니다. 사진과 픽셀은 애플에게 보내지 않고, 해당 "관심 지역"의 수학적 표현이 전송됩니다.
• 애플은 세력화된 개인 정보 보호와 외부 HTTP 릴레이를 결합하여 해당 요청이 애플의 서버에 도달하기 전에 기기의 IP 주소를 숨깁니다.
• 클라이언트는 '가짜 쿼리를 실제 쿼리와 함께 발송하여 서버가 진위를 구분할 수 없도록 합니다.' 또한, 쿼리는 익명화 네트워크를 통해 전달되어서 서버가 여러 요청을 동일한 클라이언트와 연결할 수 없도록 보장합니다.
• 서버는 임베딩의 관련 부분을 식별하고 결과를 반환한 후에는 데이터를 보유하지 않습니다.

Enhanced Visual Search를 비활성화하려면 설정 앱으로 이동한 후 '앱'을 선택하고 '사진'을 클릭하세요. 화면 하단까지 스크롤하여 Enhanced Visual Search 토글이 있습니다. Apple은 이 토글이 주로 데이터가 부족한 지역에서 사용되어야 한다고 말합니다.

증강된 시각적 검색에 대한 추가 정보:

• 애플의 생태계에서 머신 러닝과 폴리모픽 암호화를 결합하는 방법
• 사진 및 개인 정보 보호
• OHTTP 중개
• 차분 귀중성

팔로우 채인: 블루스카이, 인스타그램, 마스토돈과 함께.