Eine Frucht, so sagt uns die Botanik, ist jedes Gebilde, das sich durch die Befruchtung des Fruchtknotens einer Blume entwickelt. Die Botanik sagt uns auch, dass ein Gemüse jedes essbare Segment einer Pflanze ist, das keine Frucht ist. Eine Tomate ist also, botanisch gesehen, eine Frucht. Die langjährige kulinarische Verwendung der Tomate im Kontext von Gemüse hat jedoch dazu geführt, dass sie meist ebenfalls als Gemüse bezeichnet wird. In diesem Essay-Interview zwischen der Designerin und Forscherin Simone C Niquille und der Psychologieprofessorin Eleanor Rosch wird dieses scheinbar banale Beispiel für das Verstehen und Aushandeln von Kategorien zum Ausgangspunkt für die Erkundung der Grenzen und unscharfen Ränder von Kategorisierungen und unserer darauf basierenden Vorstellung der Welt. In dem Bestreben, die sonst verborgenen Mechanismen der Wissensproduktion, die in Maschinelle Lernen eingebettet sind, lesbar zu machen, wendet sich Niquille an Rosch, deren Prototypentheorie „anstelle von festen Grenzziehungen graduelle Abstufungen” vorschlägt. In einem gemeinsamen Gespräch, in dessen Mittelpunkt Niquilles Videoarbeit Homeschool steht, lehnen sie Kategorisierung als Werkzeug zur Kontrolle eines Systems von Beziehungen ab und schlagen stattdessen „ein Netzwerk von Objekten, Dingen und Konzepten vor, die alle miteinander verbunden sind und sich mehr oder weniger ähneln."

„Wenn ich ein Wort gebrauche“, sagte Plumpsti Bumpsti ziemlich höhnisch, „dann bedeutet es gerade das, was ich es bedeuten lassen will – nicht mehr und nicht weniger.“
Lewis Carroll, Alice im Spiegelland*,⁠1

Augen wissen nicht, auf was sie blicken. Kameras wissen nicht, was sie sehen. Um den visuellen Eindrücken Sinn zu verleihen, organisiert das Gehirn (unser neuronales Netzwerk) Signale in Kategorien. Stühle sind ‚Einrichtungsgegenstände‘, ein Apfel ist eine ‚Frucht‘. Wie beim Malen-nach-Zahlen wird die Welt fortwährend in verdauliche Stücke zerlegt und zwar von Menschen und Maschinen gleichermaßen. Für das menschliche Gehirn ist die wissenschaftliche Exaktheit beim mentalen Sortieren nicht von Bedeutung. In der Welt der Botanik wird die Tomate als eine Frucht kategorisiert. Im Supermarkt, für die meisten Ernährungsberater:innen und auch in meiner Vorstellung ist sie ein Gemüse. Um seine Umwelt zu verstehen, ist es ganz entscheidend, dass man das, was man sieht, in gedankliche Gruppen einordnet. Kategorisierungen reduzieren Komplexität, indem sie Vergleiche ziehen und Ähnlichkeiten herausstellen. Auf diese Weise definieren sie auch, was dazugehört und was nicht. Ohne Kategorien gibt es keine Anomalie und keine Möglichkeit, aus ihrem Raster herauszufallen. Die Grenzen einer Kategorie werden auf sehr persönliche und gemeinschaftliche Weisen gezogen, an denen sich kulturelle Kontexte, Bezugssysteme und persönliche Überzeugungen ablesen lassen. Kategorien sind das Spiegelbild der Weltsicht einer Person.

Während wir mit anderen kommunizieren, verhandeln wir die ganze Zeit Kategorien, die uns Zustimmung, Synchronisierung und Meinungsverschiedenheiten erlauben. Ich wehre mich dagegen, wegen meiner Haarlänge mit dem falschen Pronomen angesprochen zu werden. Alles Essen kann als Snack dienen. Die Katze meiner Freund:in ist ein Mensch. In Kontroll- und Organisationssystemen sind Kategorien festgeschriebene Container. Ich denke an die vordefinierten Aufklappmenüs, mit denen man in Online-Profilen sein Geschlecht angeben kann, an die Taxonomien der Pflanzen und Tiere oder die ethnische Klassifizierung zur Bestimmung von Race vermittels einiger weniger Labels. Übertragen wir diese Voreinstellung auf den Kontext von computerbasiertem Sehen, stellt sich die Frage: Mit wem verhandelt die Maschine in der Computer Vision? Es spielt eine Rolle, wie die Kategorien definiert sind und wo die Grenzen einer Kategorie gezogen werden. Bei Überwachtem Lernen sind die Kategorien in einem gelabelten Trainingsdatensatz klar definiert. Eine große Reihe an Bildern wird zusammengestellt, um den Computern beizubringen, was sie sehen. Diese Bilder werden nach ihrem Inhalt unterteilt, gelabelt und dann in Kategorien eingeordnet. Die Gruppierungen erzeugen einen Mittelwert, der Komplexität reduziert: Man muss nicht den gesamten Inhalt einer Kategorie kennen, um die Welt verarbeiten zu können. Es ist nicht nötig, alle Stühle auf der Welt gesehen zu haben, um zu wissen, was ein Stuhl ist. Allerdings hängt das, was ein Stuhl ist, nicht nur davon ab, was Sie zum Sitzen verwenden, sondern davon, was im Trainingsdatensatz als Stuhl definiert wurde. Welches – und vor allem wessen – Weltsystem wird verwendet, um die Trainingsdaten zu kategorisieren? Es braucht eine Haltung der faulen Bequemlichkeit, um der Welt einen Sinn zu geben, indem man alles aus dem herleitet, was man bereits weiß, anstatt sich die Mühe zu machen, ein Ding als das verstehen zu wollen, was es selbst offenbart.

Die Verwendung eines Gegenstands und die mit ihm verbundenen Rituale und Assoziationen können nicht von dem jeweiligen Ding an sich getrennt werden. In meiner Videoarbeit Homeschool (seit 2018 fortlaufend), fährt die virtuelle Kamera in Ich-Perspektive durch einen Wohnraum und versucht, sich zwischen den Gegenständen zu orientieren. Das Setdesign von Homeschool wurde mithilfe eines synthetischen Trainingsdatensatzes für Innenraumnavigation erstellt. Der Datensatz besteht aus tausenden 3D-Modellierungen, die als Gegenstände einer Wohnung klassifiziert sind: Möbel, Besteck, Laptops, Waffen und Lampen. Alle sind in Kategorien geordnet. Die Stimme im Film nutzt diese Kategorien, um zu versuchen, die Gegenstände mit ihrem Namen zu bezeichnen. Sie wundert sich: „Ist diese Deko ein Spielzeug, eine Knarre oder beides?“ Wittgenstein paraphrasierend schlussfolgert sie: „Die Grenzen meiner Kategorien bedeuten die Grenzen meiner Welt. Die Grenzen meiner Daten bedeuten die Grenzen meiner Welt.“ Das ist auch ok, solange ein solcher Trainingsdatensatz nicht als der universell gültige Wohnraum betrachtet wird, der für jegliche Wohnlichkeit repräsentativ sein soll. Insofern kann er zwar in der Produktentwicklung für einen globalen Markt eine wertvolle Ressource darstellen, ist jedoch für ein Haus, das von Ambiguität lebt, ein unerwünschter Mitbewohner.

In the following conversation with psychologist Eleanor Rosch, we discuss such limits and fuzzy borders of categorisation. Author of the ‘prototype theory’ as defined in Natural Categories,[fn]E. H. Rosch, “Natural categories,” Cognitive Psychology, vol. 4, 3, 1973, pp. 328–350. [/fn] Rosch proposes a graded degree of belonging rather than strict boundaries. A prototype, a prime example, serves as the anchor point of a category, while other members are related on a spectrum. This theory of categorisation is less about belonging and excluding than about proposing a network of objects, things, and concepts that are all connected and more or less alike. As such, prototype theory offers a departure from categorisation as a tool to control a system of relations.

Simone C Niquille: I am fascinated by computer vision, the desire to make cameras know what they are looking at and the pursuit to implant perception in autonomous machines. My interest is in how the development of computer vision reveals human mechanisms and worldviews that are deeply personal, instinctive, and seem so obvious they are not disputed but certainly should be. Seeing technology unveils the way humans perceive the world. It destabilises agreed-upon definitions: What is a chair, how to describe an apple, and what is a weed? To ‘teach’ a machine to ‘see,’ representations of the world are created by accumulating large amounts of images. These training data sets rely on language and, more precisely, categorisation to describe the image’s content by segmenting and labelling various parts, organising images into groups based on their content. All images labelled ‘chair’ are gathered into the chair category, and so on. I would like to talk about categorisation with you. It seems straightforward enough at first but quickly falls apart when speaking about more than just an array of objects. In my experience, the world’s complexity does not fit within neat boundaries, as the classical view of categorisation proposes. For this reason, your ‘prototype theory’ struck a chord: What would a computer vision system based on prototype theory look like? And more importantly, how would it perceive the world?

Eleanor Rosch: The thing about prototypes is that they are multisensory. In some research, we had people describe what they do with a chair, like the muscle movements involved in sitting, getting up, etc. This multisensory experience is part of one’s image – their mental image – of what a chair is. That image draws upon the entire knowledge set, the encyclopedia, of what you do with chairs, as well as on your memories of past chairs, your preferences. One’s idea of a chair may even involve the smell of furniture, the utensils you use at the kitchen table, the food you eat. The experience and the object can’t be separated, just as the object and the abstract knowledge base in which it is located can’t be separated. That’s how you get a good representative of the category – a prototype. Members of a category with really different sensory experiences or a different conceptual context from more prototypical members will be judged more peripheral to a category although still related. That’s how a turkey is judged – far from a typical bird but still a bird.

SCN: Would you argue that an image of a chair can’t represent a category because it doesn’t document the sensory experience? An image evokes memory in the human brain; it triggers and accesses one’s stored data, if you will. Without this ‘data’, a computer vision system lacks context and misses the larger world of the thing depicted based upon an image. In the SceneNet indoor training data set assembled to teach a computer vision system what a domestic environment looks like, the category ‘chair’ is a good example of this: in it are common chairs, but also a gynaecological examination chair and an electric chair. These are chairs, but likely not the kind expected in a domestic context.

ER: That’s a problem for a computer; if all it has is an image, it needs its programmer to give it more. But images are great at representing all sorts of things for people. That’s how we get art. Images are the stuff of just about everything from advertising to religious practices. And imagery is how we learn things; every time you hear “for example, x, y, z, …,” a specific case of what was just described abstractly is being given, a case concrete enough that you can imagine it and incorporate it. By the same token, a visual image in a book or on a computer screen is not something two-dimensional, static and lifeless; it’s part of us, of the whole living event that’s going on. The thing that we call ourselves or our own experience is not only multisensory, it’s also all of this stuff around us. We say, oh, that’s just the environment. Well, not really. What is a home? It is, in some ways, a part of your outer skin. People identify with their homes. I know I do. The entire street you live on or the woods that might surround your place are part of it. When you’re driving in a car, the car is an extension of you. You can’t possibly learn to park unless you can feel the exterior part of the car in some sense. We’re not as centralised as we think we are.

SCN: A driverless car then is a very strange concept. According to your hypothesis, if there’s no driver, there’s no one sensing the surroundings. Instead, the sensing is outsourced to other systems embedded in the car itself, including computer vision. As far as computer vision is concerned, I am fascinated by the attempt to replace or teach sensory decision-making via two-dimensional images. How does complexity become so flat? Beyond the images in training data sets, the language used to sort them into groups and label their content reveals a limitation. The fact that the category ‘chair’ only contains objects that have four legs, for example. Why isn’t there also a toilet, a pillow? Why aren’t the box, the floor, other objects, or parts of the environment that you can sit on also part of the chair category?

ER: Few, if any, objects are classified based on a single attribute, even if it’s an important one, such as what they’re used for or could be used for. There’s a longstanding argument in developmental psychology about whether young children use form or function to classify. You should see the ingenious set-ups experimenters use to try to pull these apart. But of course, in the real world, the form and function of objects usually go together, and that’s (probably) what children are learning most. In the real world, there are also a variety of cues, such as the location of an object, that trigger one’s expectation of what one is going to find. I think that was at play in differentiating a toilet from a chair, even if the chair has a circular cushion on it. When you are in a particular room with an object, its use is clearer. In your video Homeschool, you had a scene of a toilet-like object in the living room, and my mind went, Aaah! Of course, this is based on human customs and culture. A dog doesn’t see why it’s alright to drink water out of the little bowl on the floor in the kitchen but not out of the big raised bowl in the little room at the other end of the house.

SCN: During the research for Homeschool, I spoke with the scientists of the SceneNet RGB-D indoor training data set. They told this story about how there were too many images of toilets in the initial training data set. The algorithm got overfitted with ‘toilets’. As a result, the whole world looked like a toilet to the computer vision system. It tried to identify everything based on this one object. To me, this is beautifully absurd. It’s another version of looking at clouds and trying to discover animals, faces – the familiar. Do you find categorisation a useful way of organising the world for computer vision?

ER: I have wondered that. Computers don’t have to do it exactly how people do it, especially since there aren’t any adequate models of how the mind organises the world. One of the things that watching your video Homeschool provokes in me is the wondrousness of what the brain is doing, just looking around and knowing so much. This poor little, perhaps incipient, vacuum cleaner is wondering and struggling. Watching it had this great emotional impact. I was curious – because it also has a soundtrack – how much emotion came from the music and how much from the vision. I closed my eyes and only listened to the music, which had a lot of force. Then I watched it for a while with the sound turned off. The music was really important for the impact. It fit just so beautifully, and I got lost in this world. Sound is an important aspect in our ability to recognise; sounds go with objects.

SCN: Absolutely. The resolution adds definition. I don’t just mean image resolution, but the resolution of detail in terms of input signals: temperature, smell, and sensory stimuli that add definition to the world. When I exhibit Homeschool, there are four different speakers, one in each corner of the space. Each of the speakers has an individual sound channel. Some of the sounds you hear, like the toilet flushing, or the dog barking, only play on one of the speakers. It adds a simulated volume to the projected video. You start turning around, you start orienting yourself, even though you know there is no dog in the back left corner. None of this is real, yet the sound, the signifier, is there. The experience is real.

ER: Orientation is so automatic. It is a very low-level, basic process. When there’s movement in the periphery of the eyes, they move towards it. You can’t not do that. It’s a reflex. It does not matter if it is a simulated periphery; it’s gonna happen anyway.

SCN: What would your response be if you were contacted by a company building a robot trying to sort trash? The company would get in touch as they are struggling to figure out how to categorise trash to differentiate between what to keep and what to throw out.

ER: I can imagine the usefulness of a little robot that would go around the streets picking up trash. But you don’t want it to pick up a little dog along with the trash or people’s flowers that are growing along the road. So we need to consider what trash is. That’s so interesting. Notice that trash is what I call a ‘superordinate category.’ Superordinate categories are abstractions that have few, if any, visual or other perceptual distinguishing attributes. Still, they are composed of collections of more basic-level categories rich in informative sensory characteristics. For example, furniture is a superordinate for which people can list almost no attributes. Still, it is composed of chairs, tables, beds, lamps, and so on, that have myriad list-worthy and potentially machine-recognisable characteristics. Trash is a massively inclusive category. It can refer to any material object or piece of an object in its death spiral, that is, where it’s no longer considered useable and needs to be disposed of.

So, what would I say to the company wanting to design a trash-collecting robot? The first is to forget about the word ‘trash’ and to go down a level of abstraction to the actual objects whose broken or discarded forms will be present in the locations where you want the robot to work. Then the robot can be programmed to distinguish the objects in their pariah form from kindred objects that are still functional and from other objects in that environment that look like the targets but are something else.

Or, perhaps, one could go down the abstraction ladder even further and forget about what the objects are altogether. Go out to all the sites where you’d want the robots to work – roads, streets, parks, playgrounds, schoolyards, beaches, public spaces in buildings, backyards, etc. – gather a huge data set of examples of trash and non-trash for each location, have people rate how well each object fits their idea or image of trash, and train the robots in a neural net learning design to discriminate trash from non-trash, giving them the best-rated best examples first (children learn new concepts most easily that way). With neural nets, you’re letting the robots build their concepts and heuristics about trash, bottom-up. In either way of proceeding, I think you could avoid both over- and under-extension of the concept of trash. You don’t want robots that go around snatching half-eaten sandwiches out of the hands of picnickers, but you don’t want your robot to ignore an odiferous sandwich lying in mud because it doesn’t look enough like its training image of a crumpled cigarette package.

SCN: The technology in terms of computer vision is always trying to be very general or universal. That might be where the challenge lies. If it’s about cigarette butts, it’s hyper-specific, and specificity can be defined. “Only collect cigarette butts with a Marlboro logo.” Such a computer vision system would rely on a data set containing only images of cigarette butts with Marlboro logos.

The big challenge within computer vision is the politics within data sets. The fact is that having to make certain choices is discriminating. I think that when we speak of plants, it’s one thing. If we speak of something like facial recognition and how to categorise people, it’s a whole different story. I was curious if that plays a role in the research you’ve done. I think it’s useful to hear from your experience how much categorisation and discrimination or exclusion are linked.

ER: In any categorisation that people make, either of each other or of the rest of the world that concerns them, it’s political all the way down. We’ve been talking about trash. But what gets discarded like trash in one culture may be repaired and used in another. Think about planned obsolescence in manufacturing, rapid change in clothing in fashion, recycling versus dumping, garbage versus compost. All political!

Of course, what we usually mean by political categorisations are gross partitions of humans in terms of race, ethnicity, gender, and religion. Look at the main issue psychology has found to study: stereotypes, i.e., prototypes in social categorisation. Stereotypes are often approached as a unique social phenomenon, an outgrowth of prejudice and other societal problems that require specialised training to overcome. The study of categorisation can contribute to the knowledge that cognitive representation of categories naturally has that form, i.e., representation by concrete, quasi-imaginable good members. However, this only becomes visible and an object of discussion and research when there is social disagreement about certain kinds of categorisations. So, the objective of changing socially objectionable stereotypes will fail if it aims to eliminate the concreteness and imaginative quality of representations. Instead, it should aim to educate people about the contents of those representations, for example, by broadening knowledge about members of the category and offering alternative images to adopt for the most representative category members. Think of the emotional impact it would have if the stereotype of ‘welfare queen’ were to slowly morph into something more like the image of Dorothea Lange’s photograph Migrant Mother (1936).

Finally, there is the quasi-political issue of what research gets conceived, funded, carried out, written, and published. The research should be new but not too much so; easy to understand and write about with an older mindset but not completely a popular cliché. Best if it’s at a level of abstraction where it can generate many new studies that add to or contradict it. It helps if it can be studied with whatever tools are in fashion at the time. By this token, it’s easier to study categorisation from the viewpoint of classical categories than from any alternatives and to describe them with mathematical models. Mathematical models of cognition are all the rage now, as is using large data sets available on the internet. This is where we are right now.

SCN: This reminds me of the theories of William Labov and his proposal of a mathematical function to calculate what a cup or what a vase is. It sounds like concrete poetry but was presented as a theory of categorisation to prove that objects can be clearly defined – as much as the categories they belong to. Labov’s theory is in line with the craze of making things calculable and measurable. Do you disagree with Labov’s cup calculation?

ER: Well, it works for the given data set that he was working with. But of course, what counts as a cup changes pretty rapidly. Cups, with saucers, without handles, tall cups, vessels the shape and height of a glass but not transparent.

*SCN: Dann würden Sie sagen, dass die Definition einer Tasse von dem Datensatz abhängt, aus der sie abgeleitet wird? Ich vermute, damit sind wir wieder beim Problem der Computer Vision. Der Nachweis, ob etwas funktioniert, bezieht sich dann entweder darauf, ob es innerhalb des Datensatzes funktioniert oder ob es in der Welt funktioniert? Wenn ich mein Haus nie verlasse, dann macht sein Inhalt für mich total Sinn. Mein Haus ist mein Trainingsdatensatz. Wenn ich die Haustür aufmache, muss ich anfangen, alles mit diesem Wissen abzugleichen. Einige Dinge werde ich weiterhin verstehen und andere nicht. Einige Fehler werden ganz witzig sein, andere eine Katastrophe. Wahrscheinlich gab es in meinem Haus keine Autos und ich werde nicht wissen, wie ich mit ihnen umzugehen habe.

Wenn man eine akademische Karriere, insbesondere innerhalb der Kognitionswissenschaften, völlig ohne mathematische Erkenntnismodelle machen könnte, würde sich wahrscheinlich die Technologie, die produziert wird, verändern. Können Sie sich ein passenderes und nicht mathematisches Modell vorstellen, um die Welt zu berechnen?

ER: Wenn Sie in der Computer Vision – oder Computer irgendwas – arbeiten, dann versuchen Sie, Maschinen Dinge tun zu lassen, die der Mensch tut oder von denen er sich wünscht, dass die Maschinen sie erledigen. Das Problem ist, dass Sie sich überlegen müssen, wie die Dinge getan werden sollen. Sie können die Algorithmen mit großen Datensätzen, meinetwegen Enzyklopädien, füttern. Aber dann müssen Sie herausfinden, welche Teile davon oder welche Art von Enzyklopädien. (Wir sind wie der schlechte Schüler, der von einem guten Schüler abschreiben will, dafür aber genug wissen muss, um einzuschätzen, was genau er abschreiben soll.) Die Frage kann einen wahnsinnig machen und natürlich will man immer alles ‚richtig‘ machen. Wenn Sie ein selbststeuerndes Auto besitzen, dann wollen Sie wirklich, dass es keine Menschen umfährt oder in andere Autos kracht.

Es gibt mindestens drei Arten von Wissenschaftler:innen. Viele versuchen einfach nur, eine Maschine dahin zu kriegen, dass sie ein Problem löst. Es ist ihnen egal, wie Menschen das machen würden; hier geht es nicht um Nachahmung. Vielleicht können die Maschinen viel besser ein Flugzeug steuern oder eine medizinische Diagnose erstellen, als es das menschliche Gehirn könnte. Gebt ihnen mehr Macht! Dann gibt es die Wissenschaftler:innen, die die menschliche Struktur imitieren wollen und sich selbst im Bereich der Gehirnforschung verorten. Und dann gibt es schließlich noch die, die sich am stärksten für das Maschinelle Lernen selbst interessieren: Welche Struktur wird sich die Maschine selbst geben, um Aufgaben zu lernen und auszuführen? Diese Wissenschaftler:innen sind diejenigen, die noch am ehesten einen Prototypenblick auf Kategorisierungen werfen, vielleicht weil sich auch in natürlichen Lernumgebungen auf diese Weise Konzepte bilden. Sehen Sie sich nur die elementaren Psychologieexperimente an, die die Psychologie als Wissenschaft begründet haben: Iwan Pawlow mit seinem Experiment, wie Tiere lernen. Pawlow klingelt und der Hund lernt zu reagieren. Der Speichelfluss beginnt, wenn der Hund weiß, dass er gefüttert wird. Mit Klingeltönen, die etwas anders klingen als der Ton, auf den der Hund trainiert wurde, läuft auch noch Speichel, aber weniger. Hier haben wir die gesamte Prototypenstruktur. Die Fähigkeit, auf Grundlage dessen, was man gelernt hat, ein Urteil zu fällen, ist in sehr tiefen Ebenen des Gehirns eingepflanzt. Man lernt immer von etwas Spezifischem, außer wenn man in der Schule ist und hochgradig abstrakte Ideen gelehrt bekommt. Doch selbst dann: Auch in der Mathematik braucht man spezifische Beispiele, die einem beigebracht werden, um diese abstrakten Ideen zu veranschaulichen. Auf was man trainiert wird und was man zuerst lernt, dagegen gleicht man dann alles weitere ab.

SCN: Man sortiert auf Grundlage eines ursprünglichen Modells, dass man in der Kindheit erworben hat.

ER: Naja, man gestaltet die Kategorien im Laufe seines Lebens um. Aber es ist bekanntermaßen sehr schwer, die Vorstellungen von Menschen mithilfe von abstraktem Denken zu verändern. Dazu braucht es sehr spezifische Erfahrungen mit Objekten oder Situationen – Ihre eigenen oder solche, die Sie hören, sehen oder lesen. Mit so etwas können Gehirne auf natürliche Weise umgehen. Und da, wo es keine klaren Grenzen gibt, sondern Abstufungen von Ähnlichkeiten oder Verhältnissen, sind sie offener für ein Denken der Kategorisierung in einer Prototypenstruktur.

Es gibt ein weiteres Problem mit streng mathematischen Modellen und Computern als Modellen für den Verstand. Ich habe viel Zeit mit östlichen Lehrmethoden und -praktiken verbracht, denn dort scheint es mir eine gute Auffassung davon zu geben, was der Verstand ist und tut, die einfach nicht mit der westlichen Modellbildung von Verstand, Persönlichkeit oder dem Rest der Psychologie zusammenpasst. Je strenger Sie in Ihrer Forschung vorgehen, desto weniger sind Sie in der Lage, Ihre Vorannahmen ausreichend fallenzulassen, um sich auf andere Wege des Verstehens und Handelns zu begeben. Vielleicht sind genau diese anderen Methoden von Nöten, um die dringenden Probleme der Welt zu lösen – etwas, das wir momentan gewiss nicht sehr gut machen.

SCN: Ich frage mich wie stark die Spielzeuge und Lieder, mit denen Kinder das Kategorisieren und Einordnen lernen, bestimmte Weltsichten beeinflussen oder erzeugen? Sind das Modelle, die sie ihr Leben lang einsetzen werden? Ist es sehr schwer, sie wieder zu verlernen? Auch wenn Einordnen instinktiv passiert, müssen die Regeln ja dennoch erlernt werden. Verarbeiten [compute] hat eine mathematische Seite, wodurch es objektiv erscheint, aber das ist nicht immer der Fall. Anstatt den Menschen zu ersetzen oder seinen Verstand nachzuahmen, lohnt es sich herauszufinden, was eine Maschine selbst tun kann.

ER: Ja, das heißt die Maschine im Grunde für das respektieren, was sie ist und kann. Ich stimme dem voll und ganz zu. Dann wäre die Aufgabe, wie eine Maschine zu denken; so wie Sie es in Homeschool gemacht haben. Sie müssen Ihre menschliche Empathie in die Maschine verlagern und von deren Perspektive aus Lösungen finden.

Mir ist gerade etwas zu dem Staubsauger eingefallen. Es wäre sehr teuer, aber reiche Leute würden das wahrscheinlich mögen. Sie schicken ein Video Ihres Zuhauses oder des Ortes, an dem der Staubsauger arbeiten wird – Ihr Wohnzimmer, Küche, Bad oder ein anderer Raum – an die Entwickler:innen der Maschine. Dann wird ein/e Designer:in die Maschine darauf trainieren, in dieser Umgebung mit allen dazugehörigen Gegenständen zu arbeiten. Immer, wenn Sie eine neue Couch oder irgendetwas anderes bekommen, reichen Sie ein Update ein und das System passt sich an.

SCN: Die Roomba Staubsauger sammeln Daten in den Räumen, die sie säubern und legen im Grunde einen Datensatz von den Wohnungen ihrer Klient:innen an, wodurch sie aus dem gegenwärtigen Zustand die zukünftige Wohnumgebung des Roboters erschaffen. Eine vorausschauende Eigentümer:in wird ein besser funktionierendes Produkt haben, wenn ihr Zuhause jenem der vorangegangenen Roboter-Besitzer:innen ähnelt. Es stellt sich hierbei die Frage, ob diese Spirale der Datenerhebung nicht eine Art Rückkopplungsschleife erzeugt, durch die irgendwann alle Wohnungen gleich aussehen, damit die Heimroboter korrekt funktionieren. Ein Stuhl muss dann ein bestimmtes Aussehen haben, damit er vom System als solcher erkannt wird. Er muss dem mentalen Bild, das der Roboter von einem Stuhl hat, entsprechen. In einer Mischung von Wohnräumen und Einrichtungsgegenständen versucht der Datensatz, das Abbild eines Zuhauses zu sein. Die Häuser, die man 1908 im Versandkatalog Modern Homes der Firma Sears bestellen konnte, sind ein Vorläufer des auf ein Bild oder eine Ästhetik reduzierten und nicht auf einem Ritual beruhenden Zuhauses. Statt für einen spezifischen Ort und seine Bewohner:innen geplant zu sein, wurden die Häuser anhand ihrer visuellen Eigenschaften gekauft. Eine moderne Fortsetzung dieses Trends ist vielleicht IKEAs kontinuierliche Wandlung seit 2014 von einem fotografierten Produktkatalog zu einem, in dem es fast nur noch 3D-verarbeitete Bilder gibt. Statt der Datenerhebung mittels der Reinigungsroboter, die wieder zurückgespeist werden, um die Technologie zu verbessern, ist IKEAs Depot an 3D-Möbeln der hochaufgelöste Datensatz, der der Entwicklung der Computer Vision gefehlt hat. Wenn die Endverbraucher:innen stark vernachlässigt werden und das Training anhand von Produkten geschieht, die noch nicht gekauft wurden, sondern erst global angeboten werden, stellt sich die Frage, ob das Haus letztlich nach den Belangen der Roboter gebaut wird oder für die menschlichen Bewohner:innen. Ich interessiere mich für die architektonischen Folgen eines Hauses, das solche Technologien des Zusammenlebens generiert. Der Computer Vision kann sehr leicht beigebracht werden, was ein Stuhl ist, wenn alle Menschen auf einem IKEA POÄNG-Stuhl sitzen. Weltweite Verallgemeinerungen gewährleisten das Funktionieren der Technologie.

ER: Was für eine schreckliche Vorstellung, aber Sie haben recht. Ich stelle mir eine Science-Fiction Geschichte vor, in der wir auf die Dinge beschränkt sind, die Reinigungsmaschinen erkennen können und auf Kochrezepte, die von den Kochgeräten hergestellt werden können.

Wittgensteins abgewandelte Worte hallen immer noch nach: Die Grenzen meiner Kategorien bedeuten die Grenzen meiner Welt. Die Grenzen meiner Daten bedeuten die Grenzen meiner Welt.