FORGE: Wenn KI Sprache, technische Zeichnungen und 3D-Modelle verbindet

Am Anfang einer Konstruktion stehen häufig Anforderungen und Ideen, die zunächst sprachlich formuliert werden. Digitale Konstruktionswerkzeuge können solche Beschreibungen bislang jedoch nur begrenzt unmittelbar nutzen.

FORGE erforscht deshalb KI-Modelle, die Zusammenhänge zwischen natürlicher Sprache und geometrischen Eigenschaften technischer Bauteile lernen. Perspektivisch sollen so aus textlichen Beschreibungen passende 3D-CAD-Repräsentationen erzeugt und bestehende Modelle über Sprache bearbeitet werden können.

Technische 2D-Zeichnungen enthalten wichtige Informationen über ein Bauteil – etwa Ansichten, Abmessungen oder Fertigungsinformationen. Ein dreidimensionales CAD-Modell aus bestehenden Zeichnungen zu rekonstruieren, ist jedoch komplex und mit erheblichem manuellem Aufwand verbunden.

FORGE untersucht, wie KI geometrische Zusammenhänge erkennen und Informationen zwischen beiden Darstellungsformen übertragen kann. Dabei geht es sowohl um die automatische Ableitung technischer Zeichnungen aus 3D-Modellen als auch um die Rekonstruktion dreidimensionaler Modelle aus 2D-Zeichnungen.

In Unternehmen entstehen über Jahre umfangreiche Bestände an CAD-Modellen. Passende Bauteile oder ähnliche frühere Konstruktionen darin wiederzufinden, kann aufwendig sein – obwohl vorhandene Lösungen häufig als Ausgangspunkt für neue Entwicklungen dienen könnten.

FORGE entwickelt deshalb Ansätze für eine intelligente Suche, die neben klassischen Informationen auch geometrische und semantische Eigenschaften berücksichtigt. Konstrukteur*innen sollen beispielsweise in natürlicher Sprache nach einem Bauteil oder einer bestimmten Funktion suchen und passende bestehende Modelle finden können.

Wenn vorhandene Modelle, Zeichnungen und Beschreibungen miteinander verknüpft und gezielt auffindbar werden, kann bereits vorhandenes Konstruktionswissen leichter in neue Entwicklungsprozesse einfließen.

FORGE schafft dafür die Grundlage einer interaktiven Wissensbasis für technische Konstruktionen. Das kann dazu beitragen, vorhandene Bauteile besser wiederzuverwenden, manuelle Arbeitsschritte zu reduzieren und frühe Phasen der Produktentwicklung zu unterstützen.

Multimodale KI-Modelle können unterschiedliche Arten von Informationen gemeinsam verarbeiten. FORGE überträgt dieses Prinzip auf technische Konstruktionsdaten und verbindet drei Modalitäten: natürliche Sprache, technische 2D-Zeichnungen und dreidimensionale CAD-Daten.

Dafür soll ein spezialisierter Datensatz aus 3D-Modellen, 2D-Zeichnungen und zugehörigen textlichen Beschreibungen aufgebaut werden. Anhand dieser Daten soll das FORGE Foundation Model geometrische, funktionale und sprachliche Zusammenhänge lernen.

Ein Forschungsschwerpunkt untersucht die Generierung von 3D-CAD-Repräsentationen aus natürlicher Sprache. KI-Modelle sollen lernen, welche geometrischen und funktionalen Eigenschaften mit bestimmten sprachlichen Beschreibungen verbunden sind.

Damit untersucht FORGE eine zentrale Frage multimodaler KI im Engineering: Wie lässt sich sprachlich beschriebenes Konstruktionswissen in strukturierte geometrische Repräsentationen übersetzen?

Ein zweiter Schwerpunkt liegt auf der bidirektionalen Übersetzung zwischen technischen Zeichnungen und dreidimensionalen CAD-Modellen.

Die KI soll dabei geometrische Zusammenhänge zwischen verschiedenen Ansichten und Repräsentationen lernen. Untersucht wird sowohl die Generierung technischer 2D-Darstellungen aus 3D-Modellen als auch die Rekonstruktion dreidimensionaler Geometrien aus vorhandenen Zeichnungen.

FORGE untersucht außerdem, wie CAD-Modelle so repräsentiert werden können, dass sie anhand ihrer geometrischen und semantischen Eigenschaften auffindbar werden.

Das verbindet klassische Informationssuche mit geometrischem Schlussfolgern: Das System soll nicht nur identische Dateien finden, sondern Zusammenhänge zwischen Funktion, Beschreibung und Geometrie berücksichtigen und ähnliche Konstruktionen als Grundlage für weitere Entwürfe bereitstellen können.