
The sector of building design, construction, renovation and management is one of the slowest in adoption of digitalization and automation technologies, even though there is a significant potential for time and cost savings, material saving, reuse and optimization and energy reduction. Due to the small profit margins and high percentage of small SMEs operating in the field, research and innovation in the field advance very slowly. At the same time, construction is one of the most challenging and risky activities from a human worker health perspective, making the sector unattractive to the workforce.
AI is already taking its first steps in the field and can contribute to a variety of applications related to the built environment. Computer Vision techniques can be used to transform unstructured 3D scans into building models (Scan-to-BIM) and enrich building digital twins with semantic information on building parts, materials and condition information. Their analysis with AI reasoning methods on 3D data can provide information for construction progress tracking and deviations, task planning and logistics optimization or renovation requirements. Multimodal AI approaches can reason over combined building data such as documentation, building models, technical reports and product passports to provide improvement suggestions for design and material selection, process execution and energy saving.
Meanwhile, robots equipped with perception sensors and reasoning capabilities can be used to perform autonomous inspections for scanning and damage detection or even take over or collaborate with humans on challenging and unsafe tasks involving handling of heavy materials or demolition tasks. Intelligent wearable devices such as exoskeletons and XR-devices can enhance worker capabilities, guide them in task execution and training and monitor their condition.
In order for AI to deliver on this potential for construction, there are significant challenges that researchers need to address. Construction sites are extremely challenging and dynamic environments for perception where existing AI foundation models fail to perform and labeled data for training is scarce. The complexity of tasks and multidisciplinary involvement make the collection expert knowledge for advancing AI systems difficult. The variety of construction tasks make task-specific robotic devices not viable, indicating a need for multi-purpose construction robots that can be adapted to the task at hand on the fly. Meanwhile, acceptance of new technologies from industry representatives and management requires additional effort.
Künstliche Intelligenz unternimmt bereits erste Schritte in diesem Bereich und kann zu einer Vielzahl von Anwendungen im Zusammenhang mit dem Bauwesen beitragen. Computer-Vision-Techniken können eingesetzt werden, um unstrukturierte 3D-Scans in Gebäudemodelle zu überführen (Scan-to-BIM) und digitale Gebäudezwillinge mit semantischen Informationen zu Bauteilen, Materialien und Zustandsdaten anzureichern. Die Analyse dieser Daten mit KI-Methoden auf 3D-Daten kann Informationen zur Verfolgung des Baufortschritts und zu Abweichungen, zur Aufgabenplanung und Logistikoptimierung oder zu Sanierungsbedarfen liefern. Multimodale KI-Ansätze können Gebäudedaten wie Dokumentationen, Gebäudemodelle, technische Berichte und Produktpässe kombinieren, um Verbesserungsvorschläge für Entwurf und Materialauswahl, Prozessausführung und Energieeinsparung zu liefern.
Gleichzeitig können mit KI-fähige Roboter für autonome Inspektionen zur Erfassung von Scans und zur Schadensdetektion eingesetzt werden oder sogar Aufgaben übernehmen bzw. mit Menschen zusammenarbeiten, insbesondere bei anspruchsvollen und unsicheren Tätigkeiten wie dem Umgang mit schweren Materialien oder Abbrucharbeiten. Intelligente tragbare Geräte wie Exoskelette und XR-Geräte können die Fähigkeiten der Beschäftigten erweitern, sie bei der Aufgabenausführung und Schulung anleiten und ihren Zustand überwachen.
Damit KI dieses Potenzial im Bauwesen entfalten kann, müssen erhebliche Herausforderungen bewältigt werden. Baustellen sind anspruchsvolle und dynamische Umgebungen für die Wahrnehmung, in denen bestehende KI-Foundation-Modelle oft nicht zuverlässig funktionieren und gekennzeichnete Trainingsdaten nur begrenzt verfügbar sind. Die Komplexität der Aufgaben und die Multidisziplinarität erschweren die Erfassung von Expertenwissen zur Weiterentwicklung von KI-Systemen. Die Vielfalt der Bauaufgaben macht aufgabenspezifische Robotersysteme wirtschaftlich wenig sinnvoll und weist auf den Bedarf an multifunktionalen Baurobotern hin, die sich flexibel und dynamisch an die jeweilige Aufgabe anpassen lassen. Darüber hinaus erfordert die Akzeptanz neuer Technologien seitens der Industrievertreter und des Managements zusätzlichen Aufwand.
To address these challenges effectively, the DFKI competence center AIC - AI in Construction brings together the complementary competences on AI in construction topics from several 8 DFKI research departments from 6 different locations – AV (Augmented Vision), (SDS) Smart Data and Knowledge Services, (RIC) Robotics Innovation Center, (MAP) Marine Perception, (CAS) Cooperative and Autonomous Systems, IWI (Institute for Information Systems), (EBLS) Experience-based Learning Systems, (DSA) Data Science and its Applications. The competence center is led by Dr. Jason Rambach (AV) with experience in coordinating large AI in Construction projects (Horizon Europe project HumanTech) and currently serving as coordinator for the EuRobotics topic group Construction.
Dr. Jason Rambach
Jason.Rambach@dfki.de
DFKI Augmented Vision
Trippstadter Str. 122
67663 Kaiserslautern
Germany