AI 멀티모달 검색(AI Multimodal Search) 시대에 브랜드는 이미지를 어떻게 준비해야 할까?

AI 멀티모달 검색(AI Multimodal Search) 시대에 브랜드는 이미지를 어떻게 준비해야 할까?

AI 멀티모달 검색(AI Multimodal Search)은 텍스트, 이미지, 음성, 영상 등 여러 형태의 데이터를 함께 이해하고 결합해 정보를 찾는 검색 기술입니다. ChatGPT와 Gemini처럼 이미지와 텍스트를 함께 이해하는 AI 서비스가 대표적인 예입니다.

멀티모달 AI(Multimodal AI)는 텍스트뿐 아니라 이미지, 음성, 영상 등 다양한 형태의 정보를 함께 처리하고 서로 다른 정보 사이의 관계를 연결할 수 있습니다. 이에 따라  브랜드의 이미지 역시 단순히 사람에게 보여주기 위한 시각 콘텐츠를 넘어, AI가 해석하고 다른 정보와 연결할 수 있는 정보 자산이라는 관점에서 살펴볼 필요가 있습니다.

이 글에서는 텍스트, 이미지, 음성, 영상 중에서도 이미지에 초점을 맞춰, AI가 이미지를 어떻게 이해하고, 이미지의 정보가 다른 정보와 어떻게 연결되는지 알아봅니다.

AI는 이미지를 어떻게 이해하고 있을까요? 그리고 브랜드는 AI가 이미지에서 전달하고자 하는 정보를 보다 명확하게 이해할 수 있도록 이미지를 어떻게 준비해야 할까요?

1. AI는 이미지를 어떻게 이해하게 되었는가?

AI가 이미지를 이해하는 방식은 픽셀 값을 처리하는 단계에서 시작해, 멀티모달 추론까지 확장되어 왔습니다.

컴퓨터에게 이미지는 사람이 보는 사진이 아니라 색상과 밝기 값을 가진 숫자의 배열입니다. 따라서 AI가 이미지를 이해하기 위해서는 픽셀 데이터에서 중요한 정보를 추출하고, 이를 의미 있는 형태로 표현하는 과정이 필요합니다.

초기 컴퓨터 비전은 사람이 직접 이미지에서 중요한 특징을 정의하고 이를 추출하는 방식이었습니다. 이후 딥러닝의 발전으로 AI가 이미지 데이터에서 특징을 스스로 학습하게 되었고, 이미지와 텍스트를 함께 학습하는 멀티모달 모델을 통해 이미지의 의미와 맥락까지 이해하는 방향으로 확장되었습니다.

① 전통적인 컴퓨터 비전: 사람이 이미지의 특징을 설계하다

컴퓨터가 이미지나 영상을 분석하도록 만드는 연구 분야를 컴퓨터 비전(Computer Vision)이라고 합니다. 초기 컴퓨터 비전에서는 이미지에서 어떤 정보를 추출해야 하는지를 사람이 먼저 정의했습니다.

예를 들어 AI에게 운동화 이미지를 구분하도록 한다면, 연구자는 운동화를 구분하는 데  필요한 특징이 무엇인지 먼저 판단해야 했습니다. 사람이 사용할 특징을 결정하고, 해당 특징을 계산하는 알고리즘을 구현하는 방식입니다.

대표적으로 이미지의 경계선을 찾는 Edge Detection, 특징점을 추출하는 SIFT(Scale-Invariant-Feature Transform), 형태와 방향성을 분석하는 HOG(Histogram of Oriented Gradients)등이 있습니다. SIFT는 이미지에서 크기와 회전 변화에 비교적 강건한 특징점을 추출하고, HOG는 이미지의 국소 영역에서 방향성 정보를 이용해 시각적 특징을 표현합니다(Lowe, 2004; Dalal & Triggs, 2005)

하지만 이러한 전통적 특징 기반 방식은 사람이 설계한 특징과 표현 방식에 의존한다는 한계가 있었습니다.

② 딥러닝과 CNN: AI가 특징을 스스로 학습하다

CNN (Convolutional Neural Network, 합성곱 신경망)은 사람이 특징을 직접 설계하지 않아도 되도록 만든 딥러닝 기반의 컴퓨터 비전 기술입니다. CNN은 사람이 "운동화는 이런 모양이다"라는 규칙을 지정하지 않아도, 대량의 이미지 데이터를 학습하면서 분류에 유용한 시각적 패턴을 스스로 학습합니다. 이 방식은 이미지 인식 분야의 중요한 전환점이 되었습니다.

예를 들어 운동화 이미지를 학습하는 CNN은 처음부터 운동화의 규칙을 알고 있는 것이 아닙니다. 여러 층의 신경망을 거치면서 다양한 시각적 특징을 학습하고 이를 조합해 보다 복잡한 이미지 표현을 형성합니다. 2012년 ImageNet 이미지 인식 대회에서 AlexNet(합성곱 층 5개로 구성된 CNN모델)이 2위 모델의 오류율 26.2%를 크게 앞선 15.3%(top-5 기준)를 기록하면서 뛰어난 성능을 보이면서 딥러닝 기반 이미지 인식 방식이 주목받았고, 이후 ResNet(Residual Network, 잔차 신경망)과 같은 CNN 기반 모델들은 더 깊은 신경망 구조를 안정적으로 학습할 수 있는 방향으로 발전했습니다(Krizhevsky et al., 2012; He et al., 2016).

③ ViT: 이미지 내부의 관계를 학습하다

ViT(Vision Transformer, 비전 트랜스포머)는 자연어 처리 분야의 Transformer 구조를 이미지에 적용한 모델입니다.

CNN이 이미지의 작은 영역에서 특징을 추출하고 이를 단계적으로 학습하는 방식이라면, ViT는 이미지를 여러 개의 작은 패치(Patch)로 나누어 이를 토큰처럼 처리하고 Transformer의 Attention 메커니즘을 통해 패치 간 관계를 학습합니다(Dosovitskiy et al., 2020).

예를 들어 운동화 이미지가 입력되면 ViT는 신발 앞부분, 신발 끈, 밑창, 주변 배경 등 이미지의 여러 영역에 포함된 정보를 서로 연관된 표현으로 분석합니다. 이를 통해 개별 영역의 정보뿐 아니라 이미지 전체의 구조를 활용한 표현을 학습할 수 있습니다.

④ CLIP: 이미지와 언어의 의미를 연결하다

CLIP(Contrastive Language-Image Pre-training)은 이미지와 언어의 관계를 학습하는 OpenAI의 모델입니다. 이미지 이해 기술은 CLIP을 계기로 이미지 내부의 특징을 분석하는 것을 넘어, 이미지와 언어를 연결하는 방향으로 확장되었습니다.

CLIP은 수많은 이미지와 해당 이미지에 연결된 텍스트를 함께 학습하여 이미지와 텍스트를 서로 비교할 수 있는 공통의 표현 공간을 학습합니다. 학습 과정에서 같은 의미를 가진 이미지와 텍스트 표현은 가까운 공간에 위치하도록 조정하고, 서로 관련이 없는 이미지와 텍스트 표현은 멀어지도록 학습해 이미지 자체의 시각적 특징뿐 아니라 이미지가 어떤 언어적 개념과 연결되는지 알 수 있습니다(OpenAI, 2021).

CLIP의 학습 과정을 예로 들면, 운동화 이미지와 “잔디 위의 하얀색 러닝화”라는 텍스트가 함께 학습될 때 모델은 이미지와 텍스트를 동일한 의미 공간에서 연결할 수 있게 됩니다. CLIP과 같은 이미지-언어 학습은 이미지와 텍스트의 의미를 연결하는 기반을 만들었습니다.

⑤ VLM: 이미지와 언어를 함께 활용하다

이미지와 언어를 함께 처리하는 멀티모달 모델은 다양한 형태로 발전하고 있습니다. 그 중 VLM(Vision Language Model)은 이미지와 언어 정보를 함께 입력받아 이를 바탕으로 설명, 질의응답, 추론 등의 작업을 수행할 수 있는 모델을 의미합니다(Google AI for Developers).

VLM은 이미지의 시각적 표현을 언어 모델과 연결하여, 이미지 속 객체와 속성, 관계, 상황 등을 바탕으로 자연어 응답을 생성할 수 있습니다.

VLM과 기존 모델의 차이를 예로 들면, 운동화 이미지가 입력되었을 때, 기존의 이미지 분류 모델은 정해진 카테고리 중 하나를 선택하는 방식으로 결과를 출력합니다. 반면 VLM은 이미지의 내용을 자연어로 설명하거나 사용자의 질문에 답할 수 있습니다.

중요한 점은 CNN, ViT, CLIP, VLM이 이전 기술을 완전히 대체하는 관계는 아니라는 것입니다. 이미지를 더 정교하게 이해하기 위해 특징을 추출하는 기술, 이미지 내 관계를 표현하는 기술, 이미지와 언어를 연결하는 기술이 결합되어 확장된 결과입니다.

그렇다면 이러한 기술을 통해 AI는 실제로 이미지에서 어떤 정보를 읽어내고, 어떤 의미로 표현할까요?

2. AI는 이미지를 어떤 의미로 이해하는가?

이 글에서는 AI가 이미지에서 읽어내는 정보를 객체, 속성, 관계, 맥락, 의미의 다섯 층으로 정리했습니다.

예를들어 ‘잔디 위에 놓인 흰색 러닝화’라는 이미지를 생각해보겠습니다. 사람은 이 이미지를 보고 단순히 ‘신발’이라는 객체만 인식하지 않습니다. 신발의 색상과 형태, 주변의 잔디, 신발과 배경과의 관계, 그리고 전체적인 장면을 바탕으로 ‘야외에서 러닝에 사용하는 운동화’라는 의미까지 자연스럽게 연결합니다. AI 역시 이미지 안에 포함된 다양한 시각적 정보를 서로 연결해 이미지의 내용을 표현할 수 있습니다. 이를 이해하기 쉽게 정리하면 다음과 같습니다.

① 객체(Object): 이미지에 무엇이 있는가

가장 기본적인 정보는 이미지에 어떤 객체가 존재하는지를 파악하는 것입니다. 예를 들어 운동화 이미지에서는 ‘운동화’, ‘잔디’, ‘사람’ 등의 객체를 식별할 수 있습니다. 제품 이미지라면 제품 자체뿐 아니라 모델, 패키지, 로고, 배경에 등장하는 사물 등 다양한 객체가 함께 인식될 수 있습니다. 즉, AI가 이미지를 이해하는 첫 단계는 ‘무엇이 있는지’를 파악하는 것입니다(Krishna et al., 2017).

② 속성(Attribute): 각각의 객체는 어떤 특징을 가지고 있는가

객체를 식별 한 다음에는 객체의 시각적 특징을 표현할 수 있습니다. 운동화라면 ‘흰색’인지, ‘끈이 있는 형태’인지, ‘러닝화’와 같은 색상, 형태, 용도 등의 정보가 연결될 수 있습니다. 제품 이미지에서는 제품의 색상이나 형태뿐 아니라 로고, 패턴, 디자인 요소와 같이 제품을 구별하는 시각적 특징도 중요한 정보가 될 수 있습니다. 즉 AI는 ‘무엇이 있는지’에서 더 나아가 ‘어떤 특징을 가지고 있는지’를 파악합니다(Krishna et al., 2017).

③ 관계(Relationship): 객체들은 서로 어떤 관계에 있는가

이미지에는 여러 객체가 독립적으로 존재하는 것이 아니라 서로 특정한 관계를 맺고 있습니다. 예를 들면 ‘운동화가 잔디에 있다.’, ‘사람이 운동화를 신고 있다.’, ‘제품이 테이블 위에 놓여 있다.’와 같이 객체의 위치와 상호작용을 함께 이해할 수 있습니다. 이미지와 언어를 연결하는 대표적인 데이터셋인 Visual Genome은 이미지 한 장당 평균 21개의 객체와 18개의 객체 간 관계를 사람이 직접 주석해, 관계 정보를 이미지 이해의 핵심 요소로 다루었습니다(Krishna et al., 2017). 즉, AI는 ‘객체들이 서로 어떤 관계에 있는지’를 표현할 수 있습니다.

④ 맥락(Context): 이 이미지는 어떤 상황을 보여주는가

객체와 객체 사이의 관계를 넘어 이미지 전체가 보여주는 상황과 환경도 중요한 정보가 됩니다. 잔디, 운동화, 운동복을 입은 사람, 야외 공간 등이 함께 나타난다면, AI는 각각의 객체를 독립적으로 인식하는 것을 넘어 ‘야외 운동’, ‘러닝’, ‘스포츠 활동’과 같은 맥락으로 연결할 수 있습니다. 이처럼 이미지의 의미는 개별 객체만으로 결정되는 것이 아니라, 객체와 주변 환경, 행동, 장면이 함께 만들어내는 맥락을 통해 보다 구체적으로 표현될 수 있습니다(Krishna et al., 2017).

⑤ 의미(Concept): 이 이미지는 무엇을 의미하는가

이미지에 포함된 객체와 속성, 관계, 맥락이 서로 연결되면 이미지가 나타내는 더 추상적인 개념과 연결될 수 있습니다. 예를들어 ‘흰색 러닝화 + 잔디 + 야외 공간 + 달리는 사람’이라는 시각적인 정보가 결합되면 ‘러닝’, ‘스포츠’, ‘아웃도어 활동’과 같은 개념과 연결할 수 있습니다(OpenAI, 2021; Google AI for Developers).

제품 이미지 역시 마찬가지입니다. 제품의 형태와 색상, 로고 같은 시각적 특징뿐 아니라 어떤 공간에서 어떤 사람에게 어떤 상황으로 제시되는지가 함께 연결되면서 특정 제품이나 브랜드와 관련된 개념을 형성하는 데 활용될 수 있습니다.

결국 AI가 이미지를 이해한다는 것은 이미지 안에 있는 하나의 객체에 이름을 붙이는 것만을 의미하지 않습니다. 객체(Object), 속성(Attribute), 관계(Relationship), 맥락(Context), 의미(Concept)가 서로 연결되면서 하나의 이미지가 어떤 내용을 담고 있는지 표현하는 과정에 가깝습니다. 따라서 브랜드의 이미지 자산은 역시 단순히 ‘제품 사진을 많이 만드는 것’에서 그치지 않고, AI가 제품과 브랜드에 관한 다양한 정보를 이미지 안에서 발견하고 서로 연결할 수 있도록 구성하는 것이 중요해졌습니다.

브랜드가 이미지를 준비할 때, AI가 이러한 정보를 보다 명확하게 이해하도록 만들기 위해서는 어떤 조건이 필요할까요?

3. AI가 잘 이해하는 이미지의 조건은 무엇일까?

이 글에서는 AI가 잘 이해하는 이미지의 조건을 ①주요 객체의 명확성, ②이미지와 텍스트의 일치, ③맥락 전달, ④추가 정보 연결의 네 가지로 정리했습니다.

① 주요 객체가 명확하게 드러난다.

제품이나 브랜드의 핵심 객체가 가려지지 않고 식별 가능하도록 구성하는 것이 중요합니다. AI가 이미지에서 무엇을 보고 있는지 명확할수록 제품이나 주요 객체에 대한 정보를 분석하기 용이합니다. 따라서 제품 이미지에서는 핵심 제품이 배경이나 다른 객체에 묻히지 않도록 하고, 제품 주요 특징이 충분히 드러나도록 구성할 필요가 있습니다.

해상도와 조명 역시 객체 식별에 영향을 줍니다. 흐릿하거나 어둡게 촬영된 이미지는 사람이 보기에도 불분명하지만, AI가 제품의 형태와 소재, 표면의 디테일을 식별하는 데도 제약이 됩니다. Google은 흐릿한 이미지보다 선명한 고해상도 이미지를 사용할 것을 권장합니다(Google Search Central).

② 이미지와 텍스트의 의미가 일치한다.

이미지의 내용과 페이지의 텍스트, 캡션, ALT Text(대체 텍스트), 파일명 등의 정보가 동일한 대상을 설명하도록 구성하는 것도 중요합니다. 예를들어 이미지에는 흰색 러닝화가 있는데, ALT Text나 주변 텍스트가 전혀 다른 제품을 설명한다면 이미지와 텍스트 사이의 의미적인 연결이 약해질 수 있습니다. 따라서 이미지와 이미지 주변의 텍스트가 동일한 의미를 전달하도록 구성하는 것이 중요합니다(OpenAI, 2021; Google Search Central).

③ 맥락(Context)이 충분히 전달된다.

AI는 이미지 속 객체 뿐 아니라 장면과 상황 등 시각적인 맥락을 분석할 수 있습니다. 운동화를 단독으로 촬영한 이미지가 제품의 형태와 색상을 보여준다면, 사람이 신고 달리는 이미지는 사용 상황과 러닝이라는 맥락까지 전달합니다. 따라서 제품 자체뿐 아니라 제품이 사용되는 환경과 상황까지 보여줄 수 있는 이미지를 함께 준비하는 것이 좋습니다(Google AI for Developers).

④ AI가 추가 정보를 연결할 수 있다.

이미지 자체의 정보뿐 아니라 제품명, 설명, ALT Text, 페이지 콘텐츠, 스키마 마크업(Schema Markup)으로 제공되는 구조화된 데이터 등 관련 정보가 함께 제공되면 이미지와 페이지의 내용을 종합적으로 이해하는 데 도움이 될 수 있습니다(Google Search Central). 즉, 브랜드의 이미지를 독립적인 시각 자산으로만 관리하기보다 제품 정보와 연결되는 하나의 정보 자산으로 바라볼 필요가 있습니다.

결론

브랜드는 이미지를 준비할 때 다음과 같은 기준을 적용할 수 있습니다.

• 제품의 핵심 정보가 한눈에 드러나는 이미지
• 제품의 특징을 구체적으로 보여주는 이미지
• 사용 맥락을 보여주는 이미지
• 이미지와 텍스트 정보의 일치(제품명, 설명, ALT Text, 캡션 등)
• 페이지 콘텐츠, 구조화된 데이터 등 관련 정보의 연결

AI가 잘 이해하는 이미지의 기준은 제품 사진, 상세 이미지, 광고 소재 등 브랜드가 활용하는 다양한 비주얼 콘텐츠에 적용될 수 있습니다. 중요한 것은 이미지를 단순히 ‘잘 보여주는 것’이 아니라, 이미지 안에 어떤 의미를 담고 그 의미를 다른 정보와 어떻게 연결할 것인지까지 함께 설계하는 것입니다.

AI는 이미지를 하나의 객체로서만 인식하지 않습니다. 이미지 속 제품과 인물, 배경, 상황을 비롯해 주변의 텍스트와 정보를 함께 활용하며 이미지가 무엇을 의미하는지 파악합니다. 이러한 방식은 개별 요소를 따로 인식하기보다 여러 단서를 종합해 전체적인 맥락과 의미를 이해하는 사람의 인식과도 닮아 있습니다.

따라서 브랜드가 AI 검색을 위해 별도의 이미지를 준비해야 하는 것은 아닙니다. 브랜드가 전달하고자 하는 의미를 먼저 명확히 하고, 그 의미를 이미지와 텍스트, 배경, 인물, 상황 등의 요소가 일관되게 뒷받침하도록 구성하는 것이 중요합니다. 예를 들어 ‘역동성’을 전달하고 싶다면 단순히 운동화를 보여주는 데 그치지 않고, 달리는 인물과 움직임이 느껴지는 배경, 이를 설명하는 텍스트까지 하나의 방향으로 연결할 수 있습니다.

결국 AI 멀티모달 검색 시대의 이미지 전략은 AI가 이해하기 위한 이미지를 만드는 것이 아니라, 사람이 이해하기 좋은 이미지를 만드는 것에서 출발합니다. 우리가 전달하고 싶은 의미를 명확하게 정의하고, 이미지와 그 주변의 정보가 하나의 일관된 맥락을 이루도록 설계한다면, 그 이미지는 사람에게도 AI에게도 더 명확한 정보가 될 수 있습니다.

본문에 사용된 운동화 예시 이미지는 실제 제품이 아니라 설명을 위해 생성형 AI로 제작한 이미지입니다.

참고자료

Lowe, D. G. (2004). Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, 60(2), 91-110. https://www.cs.ubc.ca/~lowe/papers/ijcv04.pdf

Dalal, N., & Triggs, B. (2005). Histograms of Oriented Gradients for Human Detection. CVPR. https://lear.inrialpes.fr/people/triggs/pubs/Dalal-cvpr05.pdf

Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). ImageNet Classification with Deep Convolutional Neural Networks. NeurIPS. https://proceedings.neurips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep Residual Learning for Image Recognition. CVPR. https://arxiv.org/abs/1512.03385

Krishna, R. et al. (2017). Visual Genome: Connecting Language and Vision Using Crowdsourced Dense Image Annotations. International Journal of Computer Vision, 123(1), 32-73. https://arxiv.org/abs/1602.07332

Dosovitskiy, A. et al. (2020). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR 2021. https://arxiv.org/abs/2010.11929

OpenAI (2021). CLIP: Connecting Text and Images. https://openai.com/index/clip/

Google Search Central. Image SEO Best Practices. https://developers.google.com/search/docs/appearance/google-images

Google AI for Developers. Image understanding, Gemini API. https://ai.google.dev/gemini-api/docs/image-understanding