Realistische 3D-Modelle für Mode, Film und Medizin
Meshcapade lizenziert Techniken zur Erstellung von Avataren
Das Start-up Unternehmen Meshcapade, eine Ausgründung des Max-Planck-Instituts für Intelligente Systeme, automatisiert die Erstellung realistischer digitaler 3D-Körper von Menschen. Hierfür werden parametrische 3D-Modelle wie SMPL (Skinned Multi-Person Linear Model) verwendet. Mit ihrer Hilfe werden die 3D-Avatare auf Basis von Statistiken und maschinellem Lernen mit präziser Körperform und -bewegung erstellt. Neuere Versionen des SMPL-Modells umfassen SMPL-X (SMPL-eXpressive), mit dem sogar Handbewegungen und Gesichtsausdrücke erzeugt werden können. Mit Hilfe von SMIL (Skinned Multi-Infant Linear Model) können zudem realistische 3D-Avatare für Säuglinge erstellt werden. Eine neue Technik namens SMPLify-X erlaubt es nun sogar Avatare von Menschen aus einem einzigen Bild zu erzeugen. Diese verfügen über Mimik, subtile Gesten sowie realistische Bewegungsmuster und haben ein großes Anwendungspotential in der Mode-, Gaming- und Filmindustrie. Das Verfahren kann mit dem SMIL-Modell kombiniert werden, um die 3D-Bewegungserkennung von Babys zu ermöglichen und somit die Früherkennung von Entwicklungsstörungen zu unterstützen. Die Grundlage dieser und weiterer Innovationen liefern schutzrechtlich gesicherte Forschungsarbeiten des Max-Planck-Instituts für Intelligente Systeme, die nun von Meshcapade über Max-Planck-Innovation lizenziert wurden.
Die Erzeugung realistischer und beweglicher 3D-Modelle des menschlichen Körpers erforderte bislang den Einsatz aufwendiger Methoden und Techniken. Die Bewegungsanalyse (Motion Capture) ist eine dieser Methoden. Hier nehmen mehrere Kameras die Bewegungen von 30 bis 40 reflektierenden Markern auf, die an einer Person befestigt werden. Die aufgezeichneten Daten der Marker werden in der Regel von mehreren Ingenieuren in tagelanger Arbeit in ein 3D-Skelett konvertiert. Schließlich wird dieses Skelett mit einem 3D-Modell verbunden, dessen Erstellung ebenfalls viele Tage dauert. Das SMPL-Modell sowie viele weitere von Meshcapade lizenzierte und weiterentwickelte Techniken zur automatisierten Körpererstellung ermöglichen nun bereits innerhalb von Minuten die Berechnung eines genauen 3D-Modells und der Bewegungen von Personen aus Bildern, Videos, Tiefenkameras und sogar Motion Capture.
Da für die menschliche Interaktion und Kommunikation oftmals subtile Gesten und Mimik wichtig sind, ermöglicht es SMPLify-X, ein Update des SMPL-Modells, ein komplexes, ausdrucksstarkes 3D-Modell des Körpers zu erstellen. Dieses Modell beinhaltet neben realistischen Körperposen auch detaillierte Handposen und Gesichtsausdrücke. Grundlage dafür ist eine umfassende Datenbank hochauflösender 3D-Scans von Tausenden von Menschen unterschiedlicher Körperformen in verschiedenen Körperhaltungen. SMPL-X ist ein statistisches Modell, das darauf programmiert ist, den Unterschied zwischen Körperformen realer Menschen zu erkennen und realistische Posen und Gesichtsausdrücke für verschiedene Körpertypen zu erstellen.
Die gerade lizenzierte Technik mit dem Namen SMPLify-X ermöglicht es nun erstmals, diese realistischen 3D-Modelle anhand eines einzigen zweidimensionalen Bildes zu erstellen. SMPLify-X errechnet ausdrucksstarke 3D-Modelle, indem es Schlüsselmerkmale wie Gelenkpositionen oder Gesichtsmerkmale in einem Bild erkennt und die statistische Verteilung des SMPLify-X-Modells anwendet, um eine realistische Körperform, -haltung und -ausdruck zu erstellen, die am besten zu diesen erkannten Schlüsselmerkmalen passt. Diese Entwicklung stellt eine signifikante Vereinfachung für die Erfassung und Erstellung realistischer Körpermodelle dar und eröffnet völlig neue Möglichkeiten für den Einsatz von 3D-Avataren. So können mithilfe der Modelle überzeugend animierte Charaktere in Filmen und Computerspielen erschaffen werden. Onlinehändler von Bekleidung können ihren Kunden nach dem einfachen Upload eines Bildes eine virtuelle Anprobe ermöglichen. Darüber hinaus sind viele weitere Einsatzfelder für die Avatare in unserer zunehmend digitalisierten Welt denkbar.
Eine weitere Technik, die gemeinsam mit dem Max-Planck-Institut für Intelligente Systeme und der Fraunhofer Gesellschaft entwickelt wurde, beschreibt ein virtuelles Säuglingskörpermodell (SMIL, Skinned Multi-infant Linear-Modell). Auf Basis von Videosequenzen, die mithilfe einer Tiefenbild- oder Standardkamera von einem Säugling aufgenommen werden, erzeugt SMIL zusammen mit SMPLify-X einen 3D-Avatar des Säuglings mit realistischen Bewegungsparametern. Diese dreidimensionale Messung der Spontanaktivität von Säuglingen erlaubt auf Basis maschineller Lernalgorithmen die automatisierte Erkennung der pathologischen Spontanmotorik. Durch das automatisierte, kostengünstige und leicht anzuwendende Screening mithilfe von SMIL eröffnen sich völlig neue Möglichkeiten für die kinderärztliche Vorsorge.
Kunden können SMPL, SMPL-X, SMIL und SMPLify-X von Meshcapade lizenzieren und im Rahmen ihrer Anwendungen zum Einsatz bringen. „Mit unseren statistischen Modellen wollen wir die Welt der 3D-Modellierung, Berechnung und Animation des menschlichen Körpers verbessern. Unsere Modelle sind sehr vielfältig und können in vielen Bereichen von Mode und Entertainment bis hin zu Medizin und Fitness eingesetzt werden und sind aufgrund ihrer Genauigkeit äußerst nützlich. Die Basis unserer innovativen Lösungen stammt insbesondere vom Max-Planck-Institut für Intelligente Systeme und basiert auf den Prinzipien Wahrnehmung, Lernen und Handeln in maschinenlernen-basierten 3D Systemen“, sagt Naureen Mahmood, Geschäftsführerin der Meshcapade GmbH. Meshcapade hat neben diesen Techniken in den vergangenen zwölf Monaten noch weitere Methoden des Max-Planck-Instituts für Intelligente Systeme lizenziert, die das Erstellen von 3D-Modellen erleichtern und in vielen Anwendungsbereichen großen Nutzen stiften. „Mit Meshcapade haben wir einen sehr erfolgreichen Partner, der sowohl die Kundenbedürfnisse als auch die lizenzierten Technologien versteht und diese ständig weiterentwickelt, um die besten Ergebnisse zu erzielen," ergänzt Bernd Ctortecka, Senior Patent- und Lizenzmanager bei Max-Planck-Innovation, der Technologietransfer-Organisation der Max-Planck-Gesellschaft.