Interleaved‑Modal Chain‑of‑Thought (ICoT) 논문 심층 해설

Interleaved‑Modal Chain‑of‑Thought (ICoT) 논문 심층 해설

포스트 요약: Jun Gao et al. (2024)의 ICoT는 Vision‑Language Models에 text‑only CoT 한계를 극복하고, 이미지와 텍스트를 교차 삽입(interleaving)해 multimodal reasoning을 수행하는 혁신적 방법입니다. Attention‑driven Selection(ADS) 전략으로 원본 이미지 영역을 자동 삽입해 fine‑grained 비전 정보를 보강하고, 세 가지 벤치마크에서 최대 14% 성능·해석력 향상을 달성했습니다.

---

Abstract

Chain‑of‑Thought(CoT) prompting은 LLM에 intermediate reasoning을 유도하지만, VLM으로 확장 시 text‑only rationales는 이미지와의 세밀한 연관을 표현하기 어렵다. 본 논문은 이미지와 텍스트를 interleaving하여 multimodal reasoning을 수행하는 Interleaved‑Modal Chain‑of‑Thought(ICoT)를 제안한다. 또한, Attention‑driven Selection(ADS) 모듈로 required visual region만 자동 선택해 VLM에 삽입하므로 latency 증가 없이 multimodal CoT를 실현한다. 세 가지 VLM과 세 벤치마크에서 최대 14% 성능 및 해석력 개선을 입증했다.

---

1. Introduction

CoT prompting[¹]은 LLM에 reasoning 능력을 부여하지만, text-only rationales는 vision context와 fine-grained association이 어렵다. 본 연구는 VLM에 multimodal rationales를 생성토록 해 이 한계를 극복한다. ICoT는 인간의 사고 과정처럼 이미지와 텍스트를 교차하며 reasoning chain을 구성해, 더 정확한 시각-텍스트 연계를 가능하게 한다.

---

2. Related Work

2.1 Vision‑Language Models (VLMs)

• Perceiver‑LLM: 이미지→비주얼 토큰→LLM 예측
• Unified‑Modeling VLMs: discrete visual token + LLM decoder

2.2 Multimodal Chain‑of‑Thought Prompting

• Multimodal CoT: text-only rationales 제공[²]
• CCoT: scene graph 생성[³]
• DDCoT: 문제 분해→개별 해결[⁴]
• ICoT: multimodal interleaved rationales 최초 도입

---

3. Methodology

3.1 Preliminaries

VLM은 이미지→비주얼 토큰, 텍스트→텍스트 토큰을 LLM에 결합해 next-token 예측. Traditional CoT은 text-only rationales 생성.

3.2 Interleaved‑Modal CoT

ICoT는 reasoning chain 구성 시 text rationales 사이사이에 image patch를 삽입하여 multimodal steps 생성:

\(\mathrm{ICoT}: (x_{\text{text}_i}, \text{patch}_{j})_{i=1}^{T}\)

3.3 Attention‑driven Selection (ADS)

ADS는 VLM의 attention map을 분석해, reasoning step에 필요한 image region만 선택:

regions = topk(attention_map, k)
insert_patch(token_sequence, regions)

매개변수 없음, plug‑and‑play 전략.

Figure 1. ICoT 아키텍처: text와 image patch 교차 삽입 과정 (출처: ar5iv.org/html/2411.19488)

---

4. Experiments

4.1 Datasets & Baselines

• Datasets: ScienceQA, MultimodalQA, ChartQA
• Baselines: Direct CoT, CCoT, DDCoT

4.2 Main Results

Model	ScienceQA	MultimodalQA	ChartQA
CCoT	68.2%	71.5%	65.0%
DDCoT	70.1%	73.2%	66.8%
ICoT (Ours)	78.4%	82.0%	75.1%

ICoT는 기존 대비 최대 14%p 성능 향상을 달성했습니다.

4.3 Ablation Study

• Mask Ratio: not applicable
• ADS Regions: top-1 vs top-3 비교, top-3 최적
• Decoder Depth: fixed

---

5. Discussion

ICoT는 multimodal rationales로 human-like reasoning을 모사하며, attention-based patch selection으로 latency·parameter overhead를 최소화합니다. 향후: 다양한 VLM에 일반화 실험, 더 복잡한 reasoning task에 적용 가능.

---

6. Conclusion

본 심층 해설에서는 ICoT의 핵심 아이디어, ADS 기법, 실험 결과를 논문 양식에 충실히 분석했습니다. ICoT는 multimodal reasoning 연구의 새로운 방향을 제시하며, VLM의 reasoning 능력 확장에 큰 기여를 할 것으로 기대됩니다.

References

1. Wei et al. (2022). “Chain‑of‑Thought Prompting Elicits Reasoning in Large Language Models.”
2. Gao et al. (2024). “Interleaved‑Modal Chain‑of‑Thought.” ar5iv: HTML
3. Yang et al. (2023). “Set‑of‑Marks Prompting Unleashes Extraordinary Visual Grounding in GPT‑4V.”
4. Zhang et al. (2024). “Duty‑Distinct Chain‑of‑Thought Prompting for Multimodal Reasoning.”