Creating an audiogeography from walks through the silence

Recently I worked together with longtime professional friend Kars Alfrink on a small side project. Now that we’ve finished it, it is time to show what we have done.


The brief was by a friend of a friend for Sarah van Sonsbeeck, artist in residence at the Amsterdam Rijksakademie. Sarah does a lot of work in making sound —its presence and its absence— visible, tangible and experience-able in unexpected ways.

For a recent project she was going to walk through part of Monickendam with some people while both discussing their experience of the sounds and also simultaneously measuring sound levels and recording GPS coordinates. For the sake of simplicity we ignored measurement error and interference. This was not an attempt to make a scientifically accurate measurement of the dB levels (though such attempts do exist).

wandelingen kaart
Map of the various walk paths through the area
Silence Area picture by Sarah van Sonsbeeck
Silence Area picture by Sarah van Sonsbeeck

We would then take the data generated from these walks and plot them into a computer representation of the area and generate visualisations from that. Building an audiogeography superimposed on the physical landscape with the sound levels as experienced by somebody who would walk through the area.

A small project, limited in scope and budget, we took the challenge to see what we could make.


CabSpotting was the original very conceptual brief for this project where the streets are defined with data from a derivative activity providing a skeleton landscape similar to the physical world. Adding intensity to this mix would naturally lead to something like a physical intensity (= height) map of a landscape:


Or a suitable realistic representation of a landscape such as the Moon would already display visual indications of its height:

Sound and its different representations are treated more often in art. Sarah pointed us towards work of Simon Elvins and Justin Bennett curated on the weblog “Displaced Sounds”.

In computers, representation of sound usually is in the form of jagged edges like these found in professional audio systems and music visualizers:

We didn’t look very much into the treatment of sound and its perception in architecture, but previous work by the artist and brief inquiries with friends would suggest that it is a niche and often ignored part of that field.


The first task at hand was to find a dB value for the entire area based on the samples given to us by Sarah. She had made some circumnavigations and cross sections of the area, but she (of course) hadn’t been everywhere.

After some tries we found out that this is a non-trivial problem which is not solved well by a naive approach. It is a common problem and its solution is similar to a simple sum of squares linear regression of a set of data points in two dimensions.

The best way (according to GIS people) to do this is called Kriging and it’s implemented in proprietary GIS packages. The open source implementations in R and C are quite hard to use and figure out in terms of input and output values.

We found a post on Stack Overflow with a fairly thorough discussion of this problem and a set of approaches which led us finally to an Inverse Distance Weighted interpolation of the data points which was fairly straight forward to implement and performant enough.

This method yielded the following interpolation which we could corroborate with the area and some of its features:
idw result 1000x1000 skip 40

After the interpolation we would have a matrix of arbitrary detail with a smooth set of values for the entire measurement area. It is easy to color these values based on a scale to show ‘height’. Transforming these values into a 3D mesh as a landscape based representation turned out to be somewhat more complex. Kars took most of this work upon himself emulating the properties of a seasoned 3D programmer.

Processing turned out to have a library called unlekkerlib which can be used to create and output 3D models based on generated data for visual display and output into formats suitable for re-use in other 3D modelling packages or to put straight to a fablab.

quad generationstiltewandelingen-0019
Generated mesh

Some of the work Watz himself has made with unlekker are in this Flickr set.

We then exported this mesh into a DXF file which could be read by Google SketchUp and re-exported into something renderable by Sunflow, a high performance raytracer written in Java.

Render from Sketchup
Render from Sketchup


The end results were 2D and 3D versions of the silence landscape both from straight interpolation with some filters added to it to make it resemble a heightmap:

Remapped silence landscape
Remapped silence landscape

And a high quality raytrace of the same landscape:

Sunflow render
Sunflow render

Delivered to the artist to be repurposed and recontextualized in her own work for the project Een Dijk van een Kust with this map.

The 3D and 2D models can also be fablabbed into various forms which was one of our recommendations. By changing the medium of the data and therefore the modality of the experience alternative insight may follow. We are very curious how that is going to turn out and how this will add tangibility to the data.


This was a fun project to do because of its limited scope and free form. It gave Kars and myself a good reason to work together (which worked out quite well). We took it far and wide to see what we could create using our skills and ready-to-use tools and we think the end results are pleasing.

One of our limitations is that both of us are not graphic designers. This means we may not be the best fit for a mostly aesthetically driven visualization project. Given our Tuftean sensibilities, we like to let the data speak for itself with integrity and without overmuch visual embellishment.

Our focus as interaction designers and our skills in programming the Processing visual environment, would direct us towards more dynamic and interactive visualizations where our iterative interaction with the data builds up layers of meaning and we add controls and affordances to the final product so a user can interact with the data themselves and find their own meaning.

Collaborating with an artist is very interesting because the story and the context of her art imbue your work directly with more depth. Aligning technical possibilities and visual output with an artistic vision is however difficult and probably served better by more attunement and iteration than we could invest in this project.

De anatomie van het nieuws

Shirky schreef pas zijn anatomie van het nieuws in: “Rescuing the Reporters” waarin hij een krant ontleed in nieuws en restmateriaal en dan ook nog dat nieuws splitst in zelf-gemaakt en uit andere bronnen afkomstig.

Het leek me boeiend om dat hier ook te doen, dus kocht ik afgelopen vrijdag twee gedrukte exemplaren van en wegens tijdgebrek knipte ik ze dinsdag aan stukken.


Ik kwam daarbij wat interessante dilemma’s tegen. Wat Shirky hard nieuws noemt komt voor, maar daarnaast staat er in onze kranten ook veel lifestyle-achtig achtergrond materiaal. Het is dus een beetje onduidelijk in sommige gevallen waar dat bij zou moeten.


Maar hier eerst even de resultaten van mijn steekproef: totaal 103g 100%
Advertenties 19,5g 19%
Anders 37,5g 36%
Nieuws 46g 44%
Nieuws uit eigen productie 34g 33%

Ik vind dat er nogal wat dingen in staan waarvan ik vrij zeker weet dat het niet behoort tot de ‘iron core of news’ zoals een stukje over de inhoud van het kerstpakket, wat over freefighting, een pagina grote illustratie en een dagboek van wat politici in Suriname. Als ik die weglaat, dan hou je 18,5g (18%) stricter nieuws uit eigen productie over.

News or not?

Het is de vraag of we hier dezelfde conclusies uit kunnen trekken als Shirky doet voor zijn krant. Maar zijn betoog dat er weinig origineel nieuws is en dat de verslaggevers gered kunnen worden in non-profit instanties is misschien zo gek nog niet.

Kranten maken een herdefinitie door offline en online en de hoeveelheid écht eigen nieuws wordt minder. Wat ze dan wel doen: becommentariëren van nieuws op blogs, smaakgids zijn voor mensen met weinig tijd, lifestyle magazine spelen. Daarnaast wordt er strak gestuurd op de kosten en weinig geïnvesteerd in digitale infrastructuur vanwege het korte termijn-winstoogmerk. Terwijl het volgens sommigen niet eens zó slecht gaat met de krant.

In ieder geval kan ik hier nog wel veel over schrijven maar ik ga zaterdag op vakantie en bewaar het voor volgende posts. De gegevens van het verknippen wilde ik alvast publiceren.

Where’s our rumpus?

Taplin regularly writes that the entertainment business is in crisis because people outside of the USA are not willing to pay for their intellectual property.

Now here’s a case of a new movie “Where The Wild Things Are” which gets extremely favorable reviews both by him and by the Times but which is set to release January 14th, 2010 in the Netherlands (almost three months after its premiere).

I’m especially thrilled with the fact that the creators of this movie are uncompromising to mediocrity and dare to be great. From the Times:

[…] a film that often dazzles during its quietest moments, as when Max sets sail, and you intuit his pluck and will from the close-ups of him staring into the unknown. He looms large here, as we do inside our heads. But when the view abruptly shifts to an overhead shot, you see that the boat is simply a speck amid an overwhelming vastness. This is the human condition, in two eloquent images.

I’m quite sure I want to experience this movie in all its splendour in a cinematic environment but I don’t know if I can resist the inevitable torrents coming our way much much earlier than halfway into January.

The studios are complaining about declining revenues but it looks like it’s their own fault.

Krantenarchieven op het internet

Ik weet niet of kranten te redden zijn door middel van techniek, maar ik denk wel dat het een poging waard is. Dit was ook de teneur van de sessie “Get Me Rewrite! Developing APIs and the Changing Face of News” (podcast nu beschikbaar) op SxSW dit jaar waar ik bij was. In die sessie gaven ontwikkelaars van de New York Times, NPR en the Guardian voorbeelden van en hun visie op het belang van een solide internet-infrastructuur voor nieuws producerende bedrijven.

Als last minute invaller in dat panel presenteerde Simon Willison de Content API van the Guardian (onderdeel van het Guardian Open Platform) die hij recent had gebouwd waarmee het gehele digitale archief (vanaf 1999) op te vragen en te hergebruiken is. De API geeft toegang tot de inhoud van de artikelen en maakt het mogelijk om te filteren op de tekst, data, de bestaande taxonomie van the Guardian en andere zoekcriteria.

Met deze API kunnen anderen dus interessante toepassingen bouwen, dingen verduidelijken en onderzoek doen.

Maar waarom zou the Guardian dit aanbieden? Dit kost toch alleen maar geld?

Maatschappelijk relevantie

Als je ervan overtuigd bent dat kranten een maatschappelijk belang dienen dan zou het vanzelfsprekend moeten zijn dat in een tijd waarin papieren mediadragers minder en minder belangrijk worden, je maatschappelijke relevantie ook afneemt.

Wil je die maatschappelijke relevantie behouden dan zul je op het internet net zo een hoogwaardig, (her)bruikbaar, informatiedicht alternatief moeten aanbieden als een papieren krant in de offline wereld is. Niet alleen dat, daarnaast moet je ook nog eens gebruik maken van alle mogelijkheden van dat internet om daar op gelijke voet te kunnen concurreren. Dat is niet makkelijk maar zeker ook niet onmogelijk.


Een Content API is het hedendaagse equivalent van het doorzoeken van krantenarchieven en hergebruiken van krantenknipsels (maar dan zoveel schaalbaarder). Het is niet genoeg, maar het is wel een begin.

Er zullen ontzettend veel meer gebruiksgevallen ontstaan zodra je daadwerkelijk een First Class Citizen van het internet wordt dat dat alleen al misschien wel de moeite waard is.


Een van de voorwaarden die the Guardian verbindt aan het gebruik van hun API is dat ze op een later moment hun eigen advertenties kunnen toevoegen aan de content die jij gebruikt. Ze zijn dus bezig een eigen advertentienetwerk te bouwen.

Ik geloof niet dat kranten offline hun advertenties uitbesteden aan een derde partij en die een kwart van hun inkomsten geven. Waarom zouden ze dat online dan wel doen?

Het is de vraag of the Guardian op deze manier de kosten van hun API en hun nieuws eruit zullen halen maar ze hebben een grote berg relevante content en ze proberen dingen. Daar heb ik respect voor.

(Dit bericht is een antwoord op een vraag van Paul Vereijken.)


Interesting on the part of the sub-team adding extra information to clarify references, cultural differences and even tone of voice. There were enough of these notes to be distracting, which makes it a mixed blessing. I think a movie is experienced better without.

[KAA] Ghost in the Shell_ Innocence

And here another interesting image in a movie littered with them:

[KAA] Ghost in the Shell_ Innocence-1

een stittie die stilstaat

Ramsey Nasr bewijst met zijn nieuwste gedicht ‘mi have een droom’ dat hij overduidelijk de beste Dichter des Vaderlands is die we ons maar hadden kunnen wensen:

Volledige tekst en meer uitleg op nrcnext en op wat achtergrond met ook zijn andere Koninginnedag-gedicht ‘In het land der koningen’.

De combinatie straattaal en lyriek wordt heel soms wat dissonant maar toch biggie props hoe hij het zich eigen heeft gemaakt. Ik ben wel een beetje benieuwd hoe hij dat gedaan heeft. In het andere filmpje kun je zien dat hij in Antwerpen woont en bijna alleen maar klassieke muziek heeft.

Goed om te zien dat hij net zo goed als in Antwerpen en beter nog voor ons dicht. Ik vraag me af hoeveel PVV’ers de spiegel in dit gedicht voor zich zullen zien.