Sensorsimulation mit Fokus auf Witterung

Das Teilprojekt entwickelt auf Basis der Vermessung realer Witterungsverhältnisse und einer nachgelagerten Störgrößenmodellierung, eine Validierungsmethode für Sensormodelle. Witterungsverhältnisse (Schlechtwettersituationen Regen, Nebel, Schnee, aber auch niedriger Sonnenstand) haben einen erheblichen Einfluss auf die Zuverlässigkeit der Umfeldsensorik im Fahrzeug und werden im Rahmen dieses Teilprojekts systematisch untersucht. Dazu werden reale Witterungsdaten über einen längeren Zeitraum in der Realität gemessen, ein Regen- und Nebelsimulator im Labor (je 50m Länge) aufgebaut, und die Simulatoren mit realen Witterungswerten parametrisiert. In diesem Setting werden Umfeldsensoren im Fahrzeug (Radar, Lidar, Kamera) unter reproduzierbaren Bedingungen, verschiedenen Witterungsverhältnissens ausgesetzt, Messdaten aufgezeichnet und in Modelle für die virtuelle Welt (Simulation) überführt. Abschließend werden die Modelle einer Vergleichsbewertung (Validierung) unterzogen.

Die Automobilindustrie steht vor einer der anspruchsvollsten Herausforderungen ihrer Geschichte: Wie kann automatisierte Fahren unter allen Bedingungen abgesichert werden. Durch die zunehmende Ausstattung neuer Fahrzeuge mit fortgeschrittenen Fahrerassistenzsystemen (ADAS) konnten große Fortschritte im Bereich der Fahrzeugautomatisierung erreicht werden. Das größte Hindernis, das der vollständigen Automatisierung noch im Wege steht, ist das sichere Fahren bei schlechten Wetter- und Sichtverhältnissen. Das Projekt AI-SEE zielt darauf ab, ein neuartiges, robustes Sensorsystem zu entwickeln, das durch Künstliche Intelligenz (KI) unterstützt wird und automatisiertes Fahren bei unterschiedlichen Verkehrs-, Licht- und Wetterbedingungen ermöglicht. Dieses Sensorset wird die Operational Design Domain (ODD) von automatisierten Fahrzeugen (d. h. die Umfeldbedingungen, in denen sie eingesetzt werden können) erweitern und die Technologie von SAE-Level 3 (Umgebungserkennung, menschliche Überwachung und Übersteuerung) auf SAE-Level 4 (Hochautomatisiertes Fahren) bringen, bei dem Fahrzeuge die meisten Situationen ohne menschliche Interaktion meistern können.

Um eine sichere Umgebung für Fahrer, Passagiere und andere Verkehrsteilnehmer zu gewährleisten muss bei der Markteinführung fortschrittlicher Assistenzsysteme und autonomer Fahrfunktionen sichergestellt sein, dass trotz schwierigen Licht- und Wetterbedingungen wie Regen, Nebel und Schnee die Umgebungswahrnehmung uneingeschränkt funktioniert. Der Übergang von SAE-Level 3 zu Level 4 erfordert Lösungen für vier zentrale Herausforderungen:

1. Massenproduktion von leistungsfähigen Computerplattformen
2. Verbesserte Umgebungserfassungsmöglichkeiten bei gleichzeitiger Kostensenkung
3. Schaffung notwendiger technischer Standards
4. Infrastrukturanpassungen

AI-SEE konzentriert sich in erster Linie auf die zweite Herausforderung, indem es das Umwelt- und Situationsbewusstsein von Fahrzeugen erhöht.

Menschen "sehen", indem sie gespeicherte Erinnerungen mit wahrgenommenen Sinneseindrücken kombinieren, um Ereignisse zu interpretieren und kommende Szenarien zu antizipieren. Heutige automatisierte Fahrzeuge können noch nicht schlussfolgernd denken, ebenso wenig wie in Echtzeit mit der Umgebung kommunizieren. Damit automatisierte Fahrzeuge ohne menschliches Eingreifen fahren können, muss der Informationsgehalt der aktuellen Sensoren deutlich verbessert werden. Dies führt jedoch zu einer größeren Datenmenge, die mit enormen Datenraten übertragen werden muss. Dadurch werden schnell die Grenzen des Speicherplatzes im Fahrzeug sowie der Rechen- und Energieressourcen des Fahrzeugs überschritten.

Die hohe Anzahl an Sensoren, die für die 360-Grad-Umgebungswahrnehmung und das Situationsbewusstsein benötigt werden, sowie die hohen Kosten von LiDAR-Sensoren (Light Detection & Ranging), die für die Messung von Entfernungen zu Objekten verwendet werden, stellen erhebliche Hindernisse für die breitere Einführung des automatisierten Fahrens dar.

Technologien auf die nächste Stufe heben

AI-SEE wird diese Herausforderungen durch die Kombination von komplexer Hardware- und Softwareentwicklung adressieren und automobile Sensorsysteme schaffen, die über den heutigen Stand der Technik hinausgehen. Das Ziel ist die Einführung zuverlässiger, sicherer und vertrauenswürdiger Sensoren und Software durch die Implementierung von Selbstdiagnose, Adaption und Robustheit.

Das Konzept von AI-SEE ist auf vier zentralen Bausteinen aufgebaut:

1. Ein dauerhaft verfügbares, hochauflösendes, adaptives und allwettertaugliches Sensorset
2. Eine KI-Plattform zur prädiktiven Erkennung vorherrschender Umgebungsbedingungen einschließlich Signalverbesserung und Sensoranpassung
3. Intelligente Sensordatenfusion zur Erstellung des dauerhaft verfügbaren, adaptiven und allwettertauglichen Umgebungswahrnehmungssystems
4. Ein Demonstrator und ein Systemvalidierungsplan mit Tests, die in Simulationen und in realen Umgebungen in Nordeuropa durchgeführt werden

Das Projekt wird das erste hochauflösende adaptive Multisensorsystem liefern, das auf einem neuartigen KI-Verfahren zur Signalverarbeitung bei schlechten Sichtverhältnissen basiert.

Konkret wird AI-SEE neuartige Sensor-Hardware entwickeln, die einen aktiven polarimetrischen Imager und kongruente LiDAR-Daten umfasst; ein kurzwelliges Infrarot (SWIR) LiDAR mit einer neuartigen SPAD-Empfängerarchitektur; ein hochauflösendes 4D-MIMO-Radar und eine Gated-SWIR-Kamera. Um das neuartige Sensorsystem zu unterstützen und die Lokalisierungsleistung bei schlechtem Wetter zu verbessern, wird im Rahmen des Projekts auch das dynamische Mapping in High Definition (HD) auf ein neues Niveau gehoben. Um die Multisensor Datenfusion zu bewältigen, wird außerdem eine KI-Plattform aufgebaut, um die Signalverbesserung für eine robuste Wahrnehmung voranzutreiben. 

Ein wesentlicher Aspekt des Projekts ist die Entwicklung von sensornahen Simulationsmodellen für alle aktiven Sensoren zur künstlichen Erzeugung von synthetischen Schlechtwetterdatensätzen. Das soll die Simulationsmöglichkeiten revolutionieren, indem die Datensätze der neuronalen Netze mit guten Wetterbedingungen in Schlechtwetter-Datensätze umgewandelt werden. Dadurch kann Zeit und Geld beim Testen und Validieren der Sensorleistung unter schlechten Wetterbedingungen eingespart werden. Darüber hinaus wird eine große Wetterdatenbank zum Testen, Modellieren und Validieren geschaffen. All dies wird zu einem Paradigmenwechsel bei den Methoden zur Signalverbesserung und zu einem Wettbewerbsvorteil der europäischen Automobilindustrie führen.

Partnerschaft über traditionelle Automobilnetzwerke hinaus

Das fehlertolerante Umgebungswahrnehmungssystem von AI-SEE und sein Subsystem sind hochkomplex. Um sie auf den Markt zu bringen, sind Partnerschaften über das traditionelle Netzwerk von Automobilherstellern und Tier-1-Zulieferern hinaus erforderlich. Um die Herausforderungen der neuen Hardware, der Datenerfassung, der KI-gestützten Signalverbesserung und Simulation zu bewältigen, umfasst das AI-SEE-Projekt OEMs; Tier-1-, Tier-2- und Tier-3-Zulieferer; kleinere Ingenieurunternehmen; Hochschuleinrichtungen und Forschungsinstitute. Gemeinsam verfügen diese Partner nicht nur über das notwendige Fachwissen, sondern auch über einzigartige Test- und Entwicklungsfähigkeiten, die in keinem europäischen Land allein zu finden sind.

Bereit für schnell wachsende Marktchancen

Das Aufkommen von automatisiertem Fahren transformiert die Automobilbranche und bringt neue Akteure wie Online-Dienstleister, IT- und Telekommunikationsanbieter ins Spiel. Die genauen Zukunftsaussichten des Marktes bleiben jedoch unklar. Die Vorhersagen reichen von zwei Millionen verkauften Level 3+ Fahrzeugen im Jahr 2030 bis zu 63 Millionen verkauften Fahrzeugen im gleichen Zeitraum. Nichtsdestotrotz wird erwartet, dass der Absatz von Sensoren im Automobilbereich bis 2022 mit einer durchschnittlichen Wachstumsrate von 8 % wächst. Dabei wird ein Anstieg des Verkaufspreises von 14% in diesem Zeitraum erwartet. Insgesamt hatte der Sensormarkt im Jahr 2016 einen Umsatz von 11 Mrd. USD und wird bis 2022 voraussichtlich 23 Mrd. USD erreichen, hauptsächlich aufgrund des Booms bei Kamera-, Radar- und LiDAR-Sensoren, die bis 2022 jeweils 7,7 Mrd. USD, 6,2 Mrd. USD und 1,4 Mrd. USD Umsatz erreichen werden.[1]

Geschwindigkeit und Zielstrebigkeit sind der Schlüssel zum Erfolg in diesem, sich schnell entwickelnden, Marktsegment. AI-SEE wird dazu beitragen, indem es Europa einen entscheidenden Vorsprung bei Spitzentechnologien für die Umweltwahrnehmung verschafft. Das Projekt ermöglicht es europäischen Unternehmen zudem, bei der Lieferung von Sensoren für Schlechtwetterbedingungen zu konkurrieren, da die US-Exporte aufgrund von Sicherheitsbedenken (Verteidigungstechnologie) begrenzt sind. Darüber hinaus hilft AI-SEE Europa, seine starke Position (fast 40%) auf dem schnell wachsenden LiDAR-Markt zu halten, welcher vorrausichtlich im Jahr 2030 einen Umsatz von 2,6 Mrd. USD erreichen wird.[2] Zudem hilft es Europa Möglichkeiten in den Bereichen der automobilen Nachtsicht- und Radarsysteme zu erschließen. Darüber hinaus werden die Ergebnisse von AI-SEE die Standardisierung unterstützen, die für die Marktdurchdringung automatisierter Fahrsysteme unerlässlich ist.

Die Automobilindustrie ist eine der Schlüsselindustrien in Europa, die 6,8 % des BIP der EU und 13,3 Millionen Arbeitsplätze ausmacht. Mit seinen Ergebnissen wird AI-SEE Europa helfen, seine weltweit führenden Stärken in diesem Bereich zu erhalten und damit hochwertige Arbeitsplätze, Wirtschaftswachstum und indirekt auch das soziale Wohlergehen der EU-Bürger zu sichern.

Hauptanwendungsgebiet

Transport und Smart Mobility

Wesentliche Leistungsmerkmale

Sicherheit, Betriebssicherheit und Ausfallsicherheit

Partner

Mercedes-Benz AG

Algolux (Germany) GmbH

Algolux Inc.

ams AG

ANSYS Germany GmbH,

AstaZero AB

AVL List GmbH

Basemark Oy

Brightway Vision Ltd.

FIFTY2 Technology GmbH

Ibeo Automotive Systems GmbH

Institut für Halbleitertechnik der Universität Stuttgart

Institut für Lasertechnologien in der Medizin und Meßtechnik an der Universität Ulm

Meluta Oy

Mercedes-Benz AG (Project Lead)

OQmented GmbH

Patria Land Oy

Robert Bosch GmbH

Technische Hochschule Ingolstadt CARISSMA Institute of Automated Driving 

UNIKIE Oy

Veoneer Sweden AB

VTT Technical Research Centre of Finland Ltd

Teilnehmende Länder

Österreich

Kanada

Finnland

Deutschland

Israel

Schweden

Projektleitung

Name: Dr. Werner Ritter

Firma: Mercedes-Benz AG

Start- und Enddatum des Projekts

Startdatum: 01.05.2021

Enddatum: 01.04.2024

[1] Electronic Specifier (2020). Sensing changes in the automotive sensor market.

[2] KnowMade (2018).  LiDAR for Automotive Patent Landscape.

Das Projekt ROADVIEW integriert ein komplexes im Fahrzeug integriertes System, das in der Lage ist, eine erweiterte Umgebungs- und Verkehrserkennung sowie Prädiktion durchzuführen und die geeignete Fahrstrategie eines CAV in einer realen Umgebung, einschließlich widriger Wetterbedingungen, zu bestimmen. Das Projekt entwickelt ein eingebettetes, im Fahrzeug integriertes Wahrnehmungs- und Entscheidungssystem, das auf erweiterter Sensorik, Lokalisierung und Klassifizierung (einschließlich ungeschützter Verkehrsteilnehmer) basiert. Die innovativen Lösungen basieren auf einem kosteneffizienten multisensorischen Aufbau, Modellierung und Filterung des Sensorrauschens, kollaborativer Wahrnehmung, simulationsgestützter Erprobung sowie Integration und Demonstration unter verschiedenen Szenarien und Wetterbedingungen.

ROADVIEW führt im Rahmen der europäischen Initiative "Connected, Cooperative and Automated Mobility" (CCAM) einen Beitrag zur Entwicklung von leistungsfähigeren, ausfallsicheren, robusten und wetterbewussten Technologien durch. Das Konsortium ist eine perfekte Kombination aus renommierten Universitäten und Forschungsinstituten, Hightech-KMUs und marktführenden Unternehmen. Neben ihrer Forschungsexzellenz bringen die Mitglieder des Konsortiums ein einzigartiges Portfolio an Teststandorten und -infrastrukturen mit, dass von Hardware-Testeinrichtungen über Regen- und Windkanäle bis zu Teststrecken nördlich des Polarkreises umfasst.

CARISSMA leitet in diesem Projekt die Entwicklung und Validierung einer wetterbewussten X-in-the-Loop-Testumgebung. Die X-in-the-loop-Umgebung, die in diesem Projekt entwickelt wird, kombiniert Simulation und Realität, um das automatisierte Fahrsystem unter extremen Wetterbedingungen, einschließlich Regen, Nebel und Schnee, zu testen. Weitere 15 Partner bilden das ROADVIEW-Konsortium, das von der Universität Halmstad in Schweden koordiniert wird. Weitere Informationen über das Projekt finden Sie unter roadview-project.eu. Das Projekt wird von der Europäischen Union finanziert (Grant Nr. 101069576) und von der britischen Forschungs- und Innovationsabteilung und dem Schweizer Staatssekretariat für Bildung, Forschung und Innovation (SERI) unterstützt.