Nov 08, 2024

5 minute read

멀티모달 임베딩: 시각 및 텍스트 데이터의 통합

GenAI 애플리케이션에 더 광범위한 데이터를 통합할 수 있는 능력은 다양한 산업 분야의 기업에 새로운 기능과 가치를 제공할 수 있습니다.

Symbols referencing text and images in a box on the left, with an arrow point to a another box on the right with barred lines

더 많은 기업이 생성형 AI를 도입함에 따라, 기업들은 데이터의 가치를 실현하는 데 따른 막대한 잠재력과 도전 과제 모두를 깨닫고 있습니다.

기업들은 고급 AI 검색, 검색 및 생성 기능을 통해 임직원과 고객에게 가치를 제공할 수 있는 방대한 양의 데이터를 보유하고 있습니다. 하지만 이러한 데이터는 단순한 텍스트 문서나 표에만 존재하는 것이 아닙니다. 정보의 상당 부분은 이미지, 오디오, 심지어 비디오와 같이 처리가 더 복잡한 다양한 형식으로 저장되어 있습니다.

최근까지 검색 증강 생성(RAG)과 같은 고급 AI 시스템에 이러한 데이터 유형을 통합하는 것은 대규모로 구현하기 어려웠습니다. 데이터의 의미를 수치로 표현하는 텍스트 임베딩은 주로 텍스트 기반 문서를 처리하는 데 사용되어 왔습니다.

최근 멀티모달 임베딩의 발전으로 이러한 상황이 변화하고 있습니다. 용어에서 알 수 있듯이, 이를 통해 기업은 다양한 데이터 '모드'를 시스템의 임베딩 모델에 입력할 수 있으며, 모델은 데이터 형식에 관계없이 정보의 의미를 추출할 수 있습니다.

이 글에서는 기업용 AI에 멀티모달 임베딩이 왜 중요한지, 그리고 RAG 시스템과 함께 이를 어떻게 효과적으로 활용할 수 있는지 살펴보겠습니다.

멀티모달 임베딩이 중요한 이유는 무엇일까요?

멀티모달 임베딩은 복잡한 보고서, 파워포인트와 같은 슬라이드 파일, 제품 카탈로그, 그래프, 또는 필기 노트와 같은 이미지 등 다양한 소스의 데이터를 기업에 더 넓고 통합된 관점에서 제공합니다. 이를 통해 기업은 데이터로부터 더 풍부한 인사이트와 분석을 도출하고, 고객과 임직원에게 더 정교한 AI 기반 기능을 제공할 수 있게 됩니다.

예를 들어, 사용자는 특정 인사이트나 트렌드에 대한 쿼리를 기반으로 관련 그래프와 차트를 검색할 수 있습니다. 기업은 고객이 텍스트 설명 없이도 시각적 유사성을 기반으로 도면을 검색할 수 있는 애플리케이션을 구축할 수 있습니다.

소매업체는 보유한 방대한 양의 시각적, 텍스트 및 가격 데이터를 통합하기 위해 멀티모달 임베딩을 활용하여 고객에게 더 개인화된 추천을 제공할 수 있습니다. 예를 들어, 멀티모달 시스템은 사용자의 브라우징 패턴을 분석하여 특정 시각적 디자인과 가격대를 선호한다는 점을 파악하고, 유사한 상품을 추천할 수 있습니다.

컨설팅 회사를 포함한 많은 기업은 텍스트, 이미지, 그래프가 혼합된 파워포인트 프레젠테이션에 귀중한 지식과 인사이트를 저장하고 있습니다. 멀티모달 임베딩을 통해 기업은 맞춤형 제안서를 작성하는 데 필요한 모든 인사이트와 데이터를 검색할 수 있습니다.

또는 의료 기록과 MRI 스캔 결과 같은 이미지 데이터를 GenAI 시스템에 통합하고자 하는 헬스케어 기업을 생각해 보십시오. 멀티모달 임베딩은 의사가 MRI 이미지를 질병 하위 유형 및 표현형 정보(예: 신경심리학적 특성)로 분류하는 데 도움을 주어, 더 효율적이고 포괄적인 진단 프로세스를 가능하게 할 수 있습니다. 또한 다양한 데이터 유형 간의 패턴을 찾아 의료 전문가에게 질병 증상과 치료법에 대한 더 깊은 통찰력을 제공할 수 있습니다.

작동 방식은 어떻게 되나요?

텍스트 전용 임베딩과 마찬가지로, 멀티모달 임베딩은 데이터의 의미를 기반으로 벡터로 인코딩하여 작동합니다. 관련 데이터 유형(텍스트, 이미지 또는 기타 형식 등)은 벡터 데이터베이스의 동일한 잠재 공간(latent space)에 저장됩니다.

벡터로 저장되면 데이터의 원래 형식은 더 이상 중요하지 않습니다. 데이터베이스는 단순히 의미를 나타내는 숫자로 구성됩니다. 각 벡터는 원래 소스로 '다시 연결'되는 메타데이터와 연결되어 있어, 필요할 때 원본 데이터를 검색하거나 참조할 수 있습니다.

사용자의 쿼리는 벡터 위치를 기반으로 가장 유사한 항목을 찾는 소위 유사도 검색을 트리거합니다. 예를 들어 데이터 유형이 이미지인 경우, 먼저 필수 구성 요소로 분해됩니다. 그 후 신경망이 이미지에 더 많은 세부 정보, 뉘앙스 및 복잡성을 부여하여 의미를 기반으로 정확하게 인코딩합니다.

예를 들어 이미지의 대상이 고양이였다고 가정해 보겠습니다. 네트워크는 먼저 삼각형 귀, 털 패턴, 꼬리와 같이 이미지의 특정 부분을 "고양이와 유사한" 특징으로 식별합니다. 그 후 털의 질감, 수염, 품종, 배경과 같은 더 깊은 고양이 특성 층으로 분석을 진행합니다.

임베딩 모델에서 해당 벡터의 위치는 이 모든 정보로 인코딩되며, 원래 형식과 관계없이 유사한 의미를 가진 데이터와 가까운 잠재 공간(latent space)에 위치하게 됩니다.

텍스트 전용 임베딩의 경우, 고양이에 대한 정보를 찾는 쿼리는 브리티시 쇼트헤어 또는 다른 품종에 대한 결과를 보여줄 수 있습니다. 하지만 멀티모달 임베딩을 사용하면 사자 이미지나 'panther'라는 필기체 단어 이미지가 나타날 수도 있습니다. 결과적으로 멀티모달 임베딩은 데이터 검색 시 누락되는 정보를 획기적으로 줄여줍니다.

멀티모달 임베딩 구현 시 발생하는 몇 가지 과제는 무엇일까요?

기업이 고려해야 할 중요한 점은 멀티모달 임베딩 모델이 기존 벡터화된 데이터와 원활하게 통합되어야 한다는 것입니다.

Cohere는 최근 Embed 3 멀티모달을 출시하여, 텍스트와 이미지 임베딩을 동일한 벡터 공간에 배치함으로써 통합된 경험을 제공합니다. 이를 통해 기업은 모든 텍스트 데이터를 다시 벡터화해야 하는 비용과 번거로움 없이 멀티모달 기능으로 업그레이드할 수 있습니다. 이러한 "하위 호환성"이 없다면 유사도 검색 결과는 만족스럽지 못할 것입니다.

Embed 3는 텍스트와 이미지 데이터를 균형 있게 처리하여 공유 공간에 시맨틱 의미를 보존합니다. 텍스트와 이미지 데이터를 서로 다른 클러스터로 분리하는 경향이 있어(텍스트나 이미지 중 한쪽을 우선시하는 결과 도출) 다른 모델과 달리, Embed 3는 두 가지 데이터 유형 모두에서 균일한 성능을 유지합니다. 이는 혼합된 콘텐츠 유형을 검색할 때 텍스트든 이미지든 관계없이 가장 관련성 높은 결과를 얻을 수 있음을 의미합니다.

멀티모달 임베딩에 많은 리소스를 투입하기 전에, 더 제한된 범위에서 테스트해 보는 것이 좋습니다. 이를 통해 모델의 성능과 특정 사용 사례에 대한 적합성을 평가할 수 있으며, 전체 배포 전 필요한 조정 사항에 대한 통찰력을 얻을 수 있습니다.

모델이 이미지의 세부적인 특징과 변형을 파악하기 위해서는 추가 학습이 필요할 수 있습니다. 예를 들어, 방사선 스캔이나 현미경 세포 이미지와 같은 이미지를 이해해야 하는 의료 분야에서는 더 전문화된 멀티모달 임베딩 시스템이 필요할 수 있습니다.

파이프라인의 출력 단계에서는 추가적인 고려 사항이 필요합니다. 시스템은 텍스트 데이터와 함께 이미지 포인터(예: URL 또는 파일 경로)를 처리할 수 있어야 하지만, 텍스트 기반 임베딩만으로는 이것이 불가능할 수 있습니다. 원활한 사용자 경험을 제공하기 위해 기업은 이미지 검색 기능을 기존 텍스트 검색과 통합하는 맞춤형 코드를 구현해야 할 수도 있습니다.

텍스트와 이미지 데이터를 통합한 원활한 생성 결과를 얻으려면 업데이트된 재랭킹 모델도 필요합니다. 텍스트 기반 재랭킹 모델은 이미지 자체에 의미가 담겨 있고, 기존 재랭커가 벡터가 아닌 텍스트를 입력값으로 받기 때문에(메타데이터 제외) 이미지 내의 관련 정보를 간과하게 됩니다.

멀티모달 임베딩을 위한 데이터를 준비하려면 어떤 단계를 거쳐야 할까요?

텍스트 전용 임베딩과 마찬가지로, 멀티모달 임베딩에서도 데이터를 모델에 입력하기 전에 어느 정도 전처리가 필요합니다.

예를 들어, 이미지는 일반적으로 일관된 크기와 배율로 조정(리사이징)해야 합니다. 또한 이미지 품질에도 주의를 기울여야 합니다. 저해상도 이미지는 중요한 세부 정보가 손실될 수 있습니다. 반면, 의료 분야와 같이 일부 사용 사례에서 필요한 고해상도 이미지는 처리 시간과 메모리 사용량을 더 많이 차지하게 됩니다. 기업은 각자의 요구 사항에 따라 적절한 균형을 찾아야 합니다.

이미지에 상세한 메타데이터가 연결되도록 보장하는 것 또한 검색 결과의 관련성과 맥락을 개선하기 위한 또 다른 중요한 단계입니다.

성능을 평가하는 프로세스는 어떻게 되나요?

멀티모달 성능을 평가하고 조정하기 위해 인적 평가와 자동 평가 기법을 병행할 수 있습니다.

작업자는 임베딩 결과와 기존의 키워드 기반 이미지 검색 결과를 비교할 수 있습니다. 또한 기업은 두 가지 임베딩 버전을 배포하여 검색 성능 및 기타 지표를 비교하는 A/B 테스트를 수행할 수도 있습니다.

성능의 핵심은 엔터프라이즈급 모델로서 임베딩을 얼마나 효율적으로 처리하고 시스템을 확장할 수 있는지 파악하는 것입니다. 특히 방대한 양의 항목을 임베딩해야 하는 소매업체와 같은 기업에게는 이 부분이 도전 과제가 될 수 있습니다. 하지만 이는 충분히 가능합니다. Cohere와 협력한 한 대형 소매업체는 4일 만에 7억 개 이상의 항목을 인덱싱하여 고객의 검색 기능을 혁신적으로 개선했습니다. 다만, 처리 시간은 인프라 용량과 같은 요인에 따라 달라질 수 있습니다.

결론

멀티모달 임베딩은 엔터프라이즈급 생성형 AI(GenAI) 애플리케이션의 비약적인 발전을 이끌 것으로 기대됩니다. 이를 통해 모든 데이터 범위에 걸쳐 강력한 AI 검색이 가능해지고, 쿼리에 대해 더 통찰력 있고 포괄적이며 시각적으로 풍부한 답변을 생성할 수 있게 됩니다. 각 산업 분야에서 활용 사례가 정교해짐에 따라, 비디오 및 오디오와 같은 다양한 포맷의 통합이 확대되고 소매, 헬스케어, 제조 등 특정 분야의 전문적인 사용 사례에 최적화된 멀티모달 성능이 향상될 것으로 보입니다.


엔터프라이즈 AI 에이전트 구축하기

규제 산업에서 확장 가능한 AI 에이전트를 개발하기 위한 종합 가이드

전자책 다운로드