기업들이 생성형 AI를 활용하기 위해 방대한 지식 베이스를 활용함에 따라, 검색 증강 생성(RAG) 시스템을 최적화하기 위한 핵심 기술인 청킹(chunking) 능력을 갖추는 것이 필수적이 되었습니다.
아래에서 저희 팀이 고객들로부터 가장 자주 받는 청킹 관련 질문들에 대해 답변해 드리겠습니다. 자세히 살펴보겠습니다.
청킹이란 무엇이며, 왜 그렇게 중요한가요?
청킹은 방대한 정보를 더 관리하기 쉽고 맥락이 풍부한 단위로 나누는 과정입니다. 이를 통해 AI 시스템이 정보를 더 쉽게 처리하고, 검색하며, 가장 관련성 높은 정보를 찾아낼 수 있습니다.
결국 청킹은 정보를 더 작고 의미론적으로 일관된 단위로 구성하여, AI 모델이 가장 관련성 높은 답변을 찾아내고 검색하는 능력을 향상시킵니다. 청킹은 일반적으로 전처리 단계에서 이루어지며, 이 과정에서 긴 문서가 단락이나 문장과 같은 더 작은 섹션으로 나뉩니다.
청킹은 GenAI 모델이 이해하고 사용할 수 있는 데이터의 수치적 표현인 임베딩(embedding)의 품질을 향상시킴으로써 작동합니다. 각 청크가 특정 정보에 집중할 때, 임베딩 모델은 벡터 데이터베이스에 저장된 데이터의 더 정확하고 상세한 수치적 표현을 생성하기가 더 쉬워집니다. 고품질의 임베딩은 RAG 시스템이 기대치를 충족하거나 초과하는 성과를 낼지, 아니면 기대에 미치지 못할지를 결정짓는 핵심 요소가 될 수 있습니다.
언제 청킹을 고려해야 할까요?
청킹은 GenAI 솔루션의 일환으로 대용량 문서 및 데이터 저장소에서 정보를 추출하고 처리해야 하는 모든 조직에 유용한 단계입니다. 콘텐츠를 더 작고 관리하기 쉬운 섹션으로 나누면 검색 결과의 관련성과 정확도가 모두 향상됩니다.
청킹을 통해 LLM으로 전송되는 문서의 양이 줄어들기 때문에 비용과 지연 시간 또한 감소합니다. RAG 시스템 내 청킹의 성공 여부는 청크 크기와 검색 정밀도 사이의 적절한 균형을 찾는 데 달려 있습니다.
어떤 크기의 컨텍스트 윈도우를 사용해야 하나요?
컨텍스트 윈도우란 모델이 특정 시점에 처리할 수 있는 텍스트의 최대량을 의미합니다. 컨텍스트 윈도우는 단어 또는 기호와 같은 텍스트의 기본 단위인 토큰으로 측정되며, 대부분의 거대 언어 모델은 이에 대한 상한선을 가지고 있습니다.
청크는 모델의 컨텍스트 윈도우에 맞게 생성됩니다. 특정 사용 사례에 맞는 적절한 컨텍스트 윈도우를 설정하는 것은 RAG 시스템의 효율성을 극대화하는 데 매우 중요하며, 결과의 정확도와 관련성, 그리고 모델의 전반적인 성능을 결정하는 핵심 요소가 됩니다. 윈도우를 너무 작게 설정하면 청크가 문서의 나머지 부분과 충분한 의미론적 연결성을 갖지 못해 모델이 그 의미를 이해하기 어렵습니다. 반대로 너무 크게 설정하면 모델이 응답을 생성하는 데 필요한 가장 관련성 높고 정확한 정보를 검색할 수 있을 만큼의 세부성을 확보하지 못하게 됩니다.
컨텍스트 윈도우의 크기를 제한한 후 검색 성능에 따라 이를 조정하는 것이 권장되는 방법입니다.Cohere Embed의 경우, 예를 들어 최대 청크 크기가 512토큰입니다. 임베딩하려는 문서의 단락 길이가 약 200단어라면, 250단어 정도의 청크 크기가 적절할 수 있습니다. 이러한 중첩, 즉 '슬라이딩 윈도우' 방식은 이전 및 이후 텍스트의 일부 컨텍스트를 확보하는 데 도움이 됩니다. 일반적으로 모델이 텍스트의 시맨틱 의미를 더 정확하게 파악하기 위해서는 더 작은 컨텍스트 윈도우(100-300단어)가 더 유리합니다. Cohere의 연구와 실험 결과, 성능은 대략 수백 개의 토큰에서 최적화되며 500개 정도를 넘어서면 급격히 저하되는 것으로 나타났습니다.
텍스트 청킹 방법에는 어떤 것들이 있나요?
대부분의 기업에서는 청킹 전략에 다양한 데이터 유형을 포함해야 합니다. 비정형 텍스트의 경우, 엔터프라이즈 고객에게 효과적인 것으로 확인된 몇 가지 일반적인 방법은 다음과 같습니다:
고정 크기.콘텐츠를 미리 정해진 크기의 청크로 나눕니다. 예를 들어 모든 문서를 512토큰 단위로 청킹하도록 설정할 수 있습니다. 이 방법은 간단하고 비용 효율적이지만, 컨텍스트가 손실될 수 있으며 짧은 문서에는 적합하지 않습니다.
문장 단위.텍스트를 개별 문장으로 분해하여 더 세밀한 분석이 가능하게 합니다. 이를 통해 나머지 텍스트의 컨텍스트 없이도 각 문장의 시맨틱을 상세히 파악할 수 있습니다. 따라서 짧은 쿼리나 광범위한 주제보다는 특정 문장에 집중할 때 이상적입니다.
단락 단위.이 방법은 문장 단위 청킹보다 더 많은 컨텍스트 정보를 유지합니다. 여러 문장이나 단락에 걸친 긴 쿼리에 더 적합하며, 이는 더 광범위한 시맨틱 이해를 필요로 하기 때문입니다. 이 방법은 시맨틱 유지를 위해 이전 청크와 중첩될 필요가 없습니다.
슬라이딩 윈도우.이 기술은 전체 문서에 걸쳐 이동하는 텍스트 '윈도우'를 사용하여 일정 수의 연속된 문장을 캡처하고 처리합니다. 단락 단위 청킹과 달리, 시맨틱 일관성을 보장하기 위해 이전 청크와 중첩되는 경우가 많습니다. 이는 문서 내 시맨틱 의미와 관계를 파악하기 위해 더 넓은 컨텍스트를 유지하므로, 긴 쿼리를 처리하는 데 효과적인 방법입니다.
재귀적 청킹(Recursive Chunking). 텍스트를 고정된 간격으로 자르는 대신, 문장이나 단락의 끝과 같은 자연스러운 구분점을 기준으로 더 작은 조각으로 나눕니다. 이렇게 하면 텍스트를 더 쉽게 읽고 이해할 수 있으며 의미가 보존됩니다. 하지만 설정이 더 복잡하며, 청크 크기가 다양하게 생성되기 때문에 관리가 까다로울 수 있습니다.
표와 같은 구조화된 문서는 어떻게 청킹하나요?
PDF 파일의 표와 같은 구조화된 문서 형식은 청킹 시 다른 문제를 야기할 수 있습니다. 표의 행이나 열에 있는 각 값은 관련 헤더나 인접한 항목이 없으면 의미가 없을 수 있습니다. 큰 표를 올바르게 청킹하지 못하면 시맨틱 연결이 끊어져, 결과적으로 컨텍스트가 없거나 오해의 소지가 있는 검색 결과가 도출됩니다.
청크가 표의 중간 부분만 포함하는 경우, 모델은 열 항목과 헤더 간의 관계를 파악하는 데 어려움을 겪을 수 있습니다. 각 청크에 헤더가 유지되도록 표를 분할하여 검색 시 전체 표를 재구성할 수 있도록 하는 전문적인 청킹 전략을 적용할 수 있습니다. 청크에 표 제목, 키워드, 날짜와 같은 메타데이터를 최대한 포함하는 것이 매우 중요합니다. 이를 통해 RAG 시스템은 각 청크의 맥락을 더 정확하게 파악하고, 쿼리와의 메타데이터 관련성을 기준으로 청크를 정밀하게 필터링할 수 있습니다.
청킹 작업에 사용할 수 있는 도구는 무엇인가요?
방대한 양의 기업 데이터를 청킹하는 작업은 매우 방대하고 시간이 많이 소요되며 복잡한 작업이 될 수 있습니다. 따라서 문서를 청킹에 적합하게 준비하고 청킹 작업을 수행하는 과정을 더 빠르고 쉽게 만들어 주는 도구가 있다면 큰 도움이 됩니다. 예를 들어 Unstructured, LangChain, LlamaIndex와 같은 도구를 사용하면 데이터 구조를 기반으로 데이터를 추출하고 적절하게 청킹할 수 있습니다. 예를 들어, 대량의 텍스트와 여러 표가 포함된 PDF 파일 형식의 연구 보고서가 있다고 가정해 보겠습니다. 이러한 도구를 사용하면 PDF에서 데이터를 추출하고 텍스트와 표에 서로 다른 레이블을 지정하여 더 정밀하고 효율적인 청킹이 가능해집니다.
대규모 데이터의 초기 처리 작업은 컴퓨팅 리소스에 따라 몇 시간에서 며칠까지 소요될 수 있습니다. 하지만 이후 업데이트 작업은 훨씬 빠르게 처리할 수 있으며, 이러한 도구를 사용하면 새로운 문서를 몇 초 또는 몇 분 만에 추출하고 청킹할 수 있습니다. 이러한 도구들은 수평적 확장이 가능하도록 설계되어 분산 처리를 통해 더 큰 워크로드를 처리할 수 있습니다.
청킹 전략을 어떻게 개선할 수 있을까요?
청킹 작업은 사용 사례와 데이터 유형에 따라 고유한 요구 사항을 충족하는 최적의 전략을 찾기 위해 다양한 전략을 지속적으로 테스트하고 반복 개선하는 과정을 필요로 합니다. 청킹을 최적화하려면 청킹이 검색 성능에 어떤 영향을 미치는지 평가하고, 이에 따라 전략을 조정 및 개선해야 합니다.
시작 단계에서는 특정 쿼리에 대한 검색 결과로 반환된 청크의 관련성을 바탕으로 모델의 성능을 수동으로 평가할 수 있습니다. 하지만 포괄적인 평가를 위해서는 더 세부적인 지표를 적용하는 것이 중요합니다. Recall@k와 Precision@k는 청킹 성능을 측정하는 데 가장 일반적으로 사용되는 지표입니다. Recall@k 공식은 검색된 관련 청크의 수를 측정하며, Precision@k는 검색된 청크 중 관련 있는 청크의 수를 측정합니다. 이를 통해 정밀도와 재현율 성능을 모두 고려한 F-1 점수를 계산할 수 있습니다.
또 다른 핵심 지표는 여러 쿼리에 걸친 랭킹 품질을 종합적으로 보여주는 평균 정밀도(Mean Average Precision, MAP)입니다. 정규화 할인 누적 이득(Normalized Discounted Cumulative Gain, NDCG)은 관련 청크의 위치를 고려하여 랭킹 검색 결과의 품질을 평가하는 데 특히 유용합니다. 이러한 지표를 체계적으로 추적하면 청킹 전략의 효과에 대한 심층적인 통찰력을 얻을 수 있으며, 개선이 필요한 부분을 파악할 수 있습니다. 이는 성능 특성이 변할 수 있는 대규모 프로덕션 환경으로 확장할 때 특히 유용합니다.
이러한 지표를 바탕으로 청크 크기를 늘리거나 줄이거나, 각 청크의 슬라이딩 윈도우를 조정하는 등 접근 방식을 수정하고 검색 결과에 미치는 영향을 측정할 수 있습니다. 또한 더 많은 메타데이터를 포함하거나 다른 유형의 메타데이터를 추가해야 할 수도 있습니다.
적절한 청킹(Chunking)을 구현하는 것은 많은 기업에 어려운 과제로 나타나고 있습니다. 청킹을 완벽하게 구현하는 것은 첫 시도에서 달성되는 경우가 거의 없으며, 사실상 불가능할 수도 있습니다. 최적의 전략은 사용 사례, 모델 성능 및 데이터 유형에 따라 달라지며, 문서의 컨텍스트를 유지하는 것과 검색 효율성을 최적화하는 것 사이의 균형을 맞춰야 합니다. 수십 가지의 다양한 파일 형식으로 저장된 방대한 내부 데이터를 작은 단위로 분할하는 작업은 벅찬 일처럼 보일 수 있습니다. 하지만 적절한 도구와 전문 지식, 그리고 파트너가 있다면 반드시 그렇지만은 않습니다.
엔터프라이즈 AI 에이전트 구축
규제 산업에서 확장 가능한 AI 에이전트를 개발하기 위한 종합 가이드라인입니다.










