Sixth Sense

  Den Artikel auf Deutsch lesen?

We need a way to trust technology.
Especially, when we are talking about autonomous driving.

The vision: Leverage the car’s sensors to create an auditory scenery of your surroundings to inspire confidence in the passengers.

While this course was conducted in cooperation with Bosch SoftTech, its aim was not to provide answers primarily of interest to Bosch, but to explore future problems and solutions applicable to the field of connected mobilty in general.

Roland Berger’s article „Connected Mobility 2025 – Neue Wertschöpfung im Personenverkehr der Zukunft“ served as a first glimpse into the subject matter.

The premise of this (and several other sources) is that there exists a shortage of traffic data from various sources to determine the fastest or most economical journey. Further research, however, revealed that Google already maintains a Transit API, which provides users with traffic warnings and departure times in real-time, so I decided to think outside the box and concentrate on small, but meaningful, improvements for the passengers.

A few ideas came to mind:

1. OLED windows to virtually change the surrounding, or for gamification while driving.

2. Voice-chat between cars which are driving in the same direction within distance of a few hundred meters on the highway.

3. Leverage the car’s sensors to create an auditory scenery of your surroundings to inspire confidence in the passengers.

The latter appeared to be the most interesting to me, and I began my research.

I discovered a range of articles about listening to music while driving. Some concluded that listening to music while driving is a safety risk; It’s better to not listen to any music at all. But there is something that is safer to listen to than no music at all: “safe music”. What does safe music sound like? A study conducted by Allianz Insurance states: “The beats per minute should be in the same range as the human heartbeat. The music should have a tight acoustic frequency spectrum, and no deep bass”. If you follow these and a few other guidelines, the generated music will have an activating impact on the driver. It hightens awareness and reduces the risk of accidents.

Another important component is that the music should be familiar, but not common, making listening to the same song over and over again ineffective – a new song has to be played every time you get into your car. A long playlist with safe music would be an option, but don’t you think it is more exciting to generate music leveraging the data from your car’s sensors? Every trip is unique, and so is every generated song!

There it was – my main idea.

Creating a consistent song while driving, which, at the same time, mirrors my surroundings and has the properties of safe music.

 

First, I checked how feasible the idea was.

I contacted Julien Salemkour, Staatskapellmeister at the state opera in Berlin, who stated that under the premise of composing safe music, only minimal music would come into question.
I, however, was hoping to implement different genres, to make this experience as unique as possible.
I even thought about selling sound-kits from famous artists: your car is generating safe music which resembles the style of your favourite artist from the radio. No more waiting for them to release a new album!

Every driver would become his own composer or conductor. Enabling regular people to have an input on designing items is already successfully employed by companies like Spreadshirt or VisageLab. You don’t need to study design anymore to satisfy your artist’s soul!

While for driving the car yourself only composing seemed interesting, the added value with automated driving is keeping always an “ear” on what is happening around you, while your busy with other things. And when we are talking about autonomous driving, this feature is perfect for building a trustful relationship between occupant and car.

I met with Christian and Claudio Lanz. Both of them are musicians and composers. They run their own music studio in Hanover. After a long and intense discussion, we figured that generating real music is very complex. Synthetic sounds – no problem. But that sounds just awful. Understandably they had their ideological concerns. Music is music because of man they say, what if algorithms could replace humans? It just seemed impossible to them and I believe it also was necessary for them to believe this to maintain their being.

Disillusioned but thankful for their honest feedback I thought I had to optimize my idea.
I wanted the idea to be straightforward. The complexity of generating real music didn’t frighten me, but I decided to take small steps.

For the optimization of my Idea I relinquished the safe music part. It restricted the trust-part too much. A good feature is redundant, when it’s not customizable and/or is annoying after time.
VW attempted in 2013 to generate music with synthetic sounds – just for the fun of it, there was no real benefit behind it. In the long run the sound was just monotonous.

I decided to restrict the duration of the Sounds to 10-15 seconds. Primarily the sounds weren’t intended to warn you but to communicate with you. The car should impart the occupant, that something in the environment had changed and inform you, that it had recognized obstacles in front of you and that the car would act accordingly.

This Idea is meant to build a trustful relationship between human and machine. So it could also be a mediator. Playing subtle, relaxing music when it detects that the occupants are in a fight. Or waking the driver, when it has noticed, that he is a little sleepy.

The real deal about facilitating information via sound is that music can be very subtle, so you can work or read while it is playing. But at the same time you are able to extract information from it if you want to.

After talking to Ingo Dellwig (Developer Evangelist @ Bosch SoftTech) on the phone we set a little meeting. He clarified how sensors communicate and explained a lot about the technical difficulties. So we came to the conclusion, that my idea would work better as an individual app than programming it into the cars head-unit.

So I designed three screens to give an example of how easy it would be to customize your sound.

You can choose a genre, or create your own sound package across different genres. Then you are able to choose exactly at which event you want to be informed.  So if I’m in an autonomous car and wonder if the car will be able to detect all obstacles as well as I do, then I can choose this exact option. This helps a lot in building trust.

So – trust – I’ve talked a lot about it. And it’s indeed very important.

When I was researching I watched a lot of YouTube videos. I noticed how new owners of automated electric cars struggled with this whole trust thing. Also many had problems while they were accelerating. They were used to listen to the engine noises to determine how fast they were driving.
And it is very understandable that people feel they drive better than any software. Statistically wrong – but still, there is this “feeling”.

And at this point it is important to confront the occupants with the technology instead of distract them. So trust is the keyword. And music goes along with it. Music always had the ability of connecting and now we need to use this feature in a new, sensible way.

The car sensors are already there all we need is a smart software to get a great added value.

UPDATE: There is now a Neural Parametric Singing Synthesizer
Samples and Paper.

I’m Vincent Timm, and hopefully this inspired you in some way.
If you’ve got questions, contact me via vincent.timm@hawk-hhg.de!

This topic was worked out in the “Future Connceted Mobility – Third Living Space” course, which was led by Prof. Stefan Wölwer and was curated by Prof. Dr. Stephanie Rabbe´, Prof. Dr. Christoph Kolbeck and also Bosch SoftTech at the HAWK Hildesheim in 2016/2017.

– end of english version –

Los geht’s

Der Mensch muss der Technik vertrauen können.
Vor allem wenn wir über autonomes Fahren sprechen.

Idee: Nutze die Daten der im Auto verbauten Sensoren, um mit kluger Software ein auditives Bild der Umgebung zu zeichnen und so Vertrauen zu den Insassen aufzubauen.

Die gegebene Aufgabe war es nach zukünftigen Problemen und Lösungen im Bereich der Mobilität zu forschen. Dabei sollte der Schwerpunkt nicht auf Lösungsansätzen liegen, die primär interessant für Bosch sind, sondern es sollte möglichst breit gefächert sein.

Für ein erstes Einlesen in die Thematik half mir das Dossier von Roland Berger: „Connected Mobility 2025 – Neue Wertschöpfung im Personenverkehr der Zukunft“.

Was sich daraus – und aus anderen Quellen – erkennen ließ, war, dass ein generelles Problem in der übergreifenden Kommunikation herrscht. Es mangelt also an der Verfügbarkeit verschiedener Verkehrsdaten um den für mich schnellsten oder kostengünstigsten Weg zu bestimmen.
Weiteres recherchieren brachte auch in Erfahrung, dass zum Beispiel Google eine Transit API bereitstellt, die Nutzer in Echtzeit mit Verkehrsdaten und Abfahrtzeiten versorgen kann.

Ich entschied also, dass in diese Richtung von anderer Seite schon genug Aufmerksamkeit gesteckt wird, und konzentrierte mich, auch aufgrund der Größe dieser Aufgabe, lieber darauf das Ganze von hinten aufzurollen, und im Kleinen zu beginnen.
Feinheiten, die aber durchaus zu großer Erleichterung auf Nutzerseite führen.

Meine ersten Ideen waren:

1. OLED Fensterscheiben um die Umgebung virtuell zu verändern oder für Gamification während des Autofahrens.

2. Voice-Chats zwischen Autos, die innerhalb von 400 Metern auf der Autobahn in dieselbe Richtung fahren.

3. Aus den Daten der Sensoren im Auto ein auditives Klangbild erzeugen, um Gefahrenquellen zu vermitteln.

Letzteres erschien mir am interessantesten, deswegen fing ich an in diese Richtung zu recherchieren.

Ich traf auf mehrere Beiträge, die das Thema Musik während der Autofahrt behandelte. Dort wurde festgestellt, dass eigene Musik beim Autofahren am unsichersten ist und es ist besser ist keine Musik zu hören. Am besten sei es allerdings „sichere“ Musik zu hören. In einer Studie der Allianz ging es auch darum, wie sich sichere Musik zusammensetzt.
Der Rhythmus sollte im Bereich des menschlichen Herzschlages liegen, die Musik hat ein enges Frequenzspektrum und keine tiefen Bässe. Nimmt man diese und weitere Komponenten zusammen, so hat die Musik eine aktivierende Wirkung beim Fahrer. Die Reaktionsfähigkeit wird gesteigert und die Unfallgefahr sinkt.
Ein weiterer Punkt war, dass die Musik einem zwar vertraut, aber nicht bekannt vorkommen sollte. Es hilft also nicht den gleichen sicheren Song immer wieder zu hören, dem Fahrer muss jedes Mal ein neues sicheres Stück vorgespielt werden. Eine lange Playlist mit sicherer Musik vorzubereiten wäre die eine Möglichkeit, aber die viel spannendere Variante war, aus den Daten der Sensoren im Auto diese sichere Musik zu generieren. Jede Fahrt ist anders und somit auch jedes generierte Musikstück.

Die Grundidee stand:

Ein durchgängiges Lied während der Autofahrt zu erzeugen, welches auditiv alles in der Umgebung widerspiegelt und den Merkmalen einer sicheren Musik entspricht.

Diese Idee musste nun auf Machbarkeit überprüft werden.

Zunächst tauschte ich mich mit Julien Salemkour aus. Staatskapellmeister an der Staatsoper in Berlin.
Er sagte, dass unter den Voraussetzungen für sichere Musik als Genre eigentlich nur Minimalmusik in Frage kommt. Mein Wunsch war es aber verschiedene Genres zu implementieren, um individuell auf den Fahrer eingehen zu können. Die Überlegung ging sogar so weit zu sagen, dass es möglich sein sollte sich Soundpakete berühmter Künstler herunterzuladen. Dann würde auf jeder Autofahrt ein sicheres Lied komponiert, welches sich anhört, als wäre es vom Lieblingskünstler. Kein jahrelanges Warten mehr auf ein neues Album!

So würde jeder normale Autofahrer zum Komponisten/Dirigenten werden. Das Design in die Hände von Otto-Normalverbrauchern zu legen ist ja schon längst gang und gäbe. Man schaue sich Seiten wie Spreadshirt an, oder Apps wie VisageLab, bei der man keine Skills braucht, um Fotoretusche zu betreiben.

Während für das aktive Selberfahren nur die Komponente des Komponisten interessant erschien, gibt es für Autos mit Fahrassistenz schon den erwähnten Mehrwert, dass ein auditives Bild der Umgebung gezeichnet wird und bei autonomen Fahrzeugen liegt der Fokus darauf, das Vertrauen des Fahrers in das System zu stärken. Ein Punkt, der später noch stärker zum Tragen kommen sollte.

Ein Treffen mit Christian und Claudio Lanz fand statt. Beide sind Musiker und Musikproduzenten mit einem eigenen Tonstudio in Hannover. Nach einer intensiven Unterhaltung ließ sich drei Stunden später feststellen, dass die beiden die Erzeugung von Musik für sehr komplex hielten. Synthetische Töne hingegen wären kein Problem. Verständlicherweise hatten die Beiden ideologische Bedenken. Der Mensch mache die Musik aus, was wäre, wenn Algorithmen den Menschen aus der Musik verdrängen? Das erschien für die beiden nicht möglich und wird zur Selbsterhaltung ihres Wesens auch nie eine Option sein können.

Ernüchtert aber dankbar für das ehrliche Feedback sah ich mich gezwungen die Idee zu optimieren. Sie sollte ja möglichst schnell umsetzbar sein. Dass das Generieren von Musik komplex sei, sollte mich nicht von der Wunschvorstellung eines durchgängigen Liedes abhalten, aber ich entschloss mich den Weg dahin in kleineren Schritten zu gehen.

Die neue Zusammensetzung erfolgte ohne die Voraussetzung der sicheren Musik. Sicher macht sicher sicher, aber eben auch langweilig. Ein noch so nützliches Feature bringt wenig, wenn es sich nicht vom Nutzer individualisieren lässt und/oder nervt. Synthetische Klänge kamen für mich auch nicht infrage. VW hatte 2013 einen Versuch in die Richtung gestartet – und auch wenn das Ergebnis schon interessant klang, war abzusehen, dass es auf Dauer zu eintönig würde. Außerdem fehlte VW der größere Zusammenhang – ihr Prototyp zielte nur auf einen Marketingeffekt ab und brachte keinen Mehrwert.

Ich entschied mich die Dauer der Musikstücke auf 10-15 Sek. zu beschränken. Es sollte primär auch nicht um die Mitteilung einer Gefahrensituation gehen, sondern um die Kommunikation zwischen Auto und Fahrer. Das Auto sollte den Fahrer wissen lassen, dass sich äußere Umstände geändert haben und den Fahrer in Kenntnis setzen, dass es die Hindernisse erkannt hat und entsprechend damit umgehen wird.

Das sollte dazu beitragen Vertrauen zwischen Mensch und Maschine aufzubauen. Des Weiteren sollte auch auf die Stimmung innerhalb des Autos eingegangen werden. Bei Streit zwischen den Insassen sollte subtil mit entsprechend besänftigender Musik gearbeitet werden und bei Müdigkeit des Fahrers wäre etwas aktivierende Musik angebracht.

Das Attraktive an der Vermittlung von Geschehnissen über Klang ist in meinen Augen, dass die Musik als Untermalung nie aufdringlich wirkt und man nebenbei lesen oder arbeiten kann. Zeitgleich kann ich aber der Musik Informationen über meine Umwelt entnehmen, wenn ich es denn wünsche.

Nach früherer telefonischer Rücksprache mit Ingo Dellwig, Developer Evangelist bei Bosch SoftTech, fand auch ein Treffen statt. Dort wurde ich darüber aufgeklärt, wie die Kommunikation zwischen den Sensoren funktioniert und ob meine Idee eher in die Head Unit installiert werden sollte, oder ob eine eigene App, die sich über die Bosch eigene Schnittstelle verbindet, besser wäre. Eine Applikation machte am Ende mehr Sinn, allein schon, weil im Smartphone regelmäßig neue Hardware zum Einsatz kommt mit immer mehr Rechenleistung, wohingegen eine Head-Unit schon viele Jahre im Voraus geplant wird und deswegen oft zum Zeitpunkt des Einbaus veraltete Technik innehat.

Ich entwarf drei Screens, damit man sich eine Vorstellung machen konnte, wie das Interface aussieht, und um zu zeigen, dass sich die Musik im Auto wirklich auf die Bedürfnisse des Nutzers anpassen lässt.

Dort kann man zwischen unterschiedlichen Genres wählen, aber auch eigene Klangpakete aus verschiedenen Genres zusammenstellen. Innerhalb der Genres lässt sich auswählen, worüber ich (nicht) informiert werden will. Wenn ich in ein autonomes Fahrzeug steige und Bedenken habe, ob das Auto alle Hindernisse auf der Straße genau so zuverlässig erkennt wie ich, dann kann ich exakt diesen Punkt auswählen. Das trägt dazu bei, Vertrauen in die Technik zu schöpfen.

Das ist ein großer Punkt – Vertrauen.

Während meiner Recherche habe ich auch unzählige Videos auf YouTube geschaut um zu gucken, wie sich neue Besitzer eines Elektroautos, mit automatisiertem Fahren, verhalten. Viele stießen auf Probleme beim Beschleunigen. Hatten sie doch vorher immer auf die Motorgeräusche gehört um festzustellen, wie schnell sie fuhren. Und es ist auch nachvollziehbar, dass der Mensch sich für den besseren Fahrer als eine programmierte/trainierte Software hält. Statistisch natürlich völlig unhaltbar – aber da ist dieses Gefühl.

Und an der Stelle ist es wichtig den Insassen des Autos mit der Technik zu konfrontieren und ihn nicht abzulenken. Vertrauen aufbauen ist das Stichwort. Und dazu trägt Musik bei, eher gesagt hat Musik schon immer die Eigenschaft gehabt zu verbinden, nur nutzen wir das Ganze jetzt in einem neuen, sinnvollen Zusammenhang. Die Sensoren sind da. Es bedarf nur einer klugen Software, um einen wahnsinnigen Mehrwert daraus zu schöpfen.

UPDATE: Es gibt jetzt einen Neural Parametric Singing Synthesizer
Samples und Paper.

Ich bin Vincent Timm, Bachelor-Student der digitalen Medien, und hoffe, dass ich dich das Thema ein wenig inspiriert hat. Falls du weitere Fragen hast, melde dich gerne unter vincent.timm@hawk-hhg.de!

Das Ganze fand im Kurs „Future Connected Mobility – Third Living Space“, welcher von Prof. Stefan Wölwer geleitet und von Prof. Dr. Stephanie Rabbe, Prof. Dr. Christoph Kolbeck sowie Bosch SoftTech betreut wurde, statt.