Effizientes multimodales Lernen aus daten-zentrierter Perspektive

Multimodale große Sprachmodelle (MLLMs) haben bemerkenswerte Fähigkeiten im allgemeinen visuellen Verständnis und bei logischen Aufgaben gezeigt. Ihre Einführung wird jedoch durch erhebliche Rechenkosten bei Training und Inferenz behindert, was den Zugang für die breitere Forschungs- und Anwendergemeinschaft einschränkt. Eine einfache Lösung besteht darin, kleinere vortrainierte Vision- und Sprachmodelle zu nutzen, was jedoch zu einem erheblichen Leistungsabfall führt. In diesem Papier zeigen wir die Möglichkeit, das Skalierungsgesetz zu übertreffen und ein kleineres, aber besseres MLLM durch die Erschließung informativerer Trainingsdaten zu trainieren. Konkret führen wir Bunny ein, eine Familie leichter MLLMs mit flexiblen Vision- und Sprach-Backbones für effizientes multimodales Lernen aus komprimierten Trainingsdaten. Bemerkenswert übertrifft unser Bunny-3B die derzeitigen großen MLLMs, besonders LLaVA-v1.5-13B, in mehreren Benchmarks. Code, Modelle und Daten sind erhältlich unter https://github.com/BAAI-DCAI/Bunny.