Are there controversies in pitch and timbre perception research? [in 333 words]

European Starling (Sturnus vulgaris)

At the heart of human musicality lie fundamental questions about how we perceive sound. In the coming academic year our group will dedicate several meetings on exploring and clarifying the spectral percepts that might underlie musicality with an agenda set around some enduring controversies. These span the roles of learning, culture, and cross-species comparisons, as well as evolutionary explanations for why music holds such sway over human minds. 

Among the most debated topics is the relationship between pitch and timbre perception. Both pitch and timbre are percepts: mental constructs arising from acoustic input. In humans, pitch perception is central to melodic recognition. When we hear a melody, we tend to identify it by its sequence of relative pitches—hearing it as the “same” tune regardless of changes in timbre, loudness, or duration. This reliance on relative pitch is a cornerstone of human music cognition. 

But is pitch such a universal perceptual anchor? For years, researchers assumed so, pointing to songbirds as an obvious parallel. Birds, it was thought, must also use pitch cues, though often in the form of absolute rather than relative pitch. Yet recent evidence complicates this narrative. In a striking study, Bregman et al. (2016) reported that European starlings do not, in fact, rely on pitch when recognizing sequences of complex harmonic tones. Instead, they appear to attend more closely to spectral shape, or the broader distribution of energy across frequencies. 

This finding raises a further question: is it really the spectral envelope (i.e. spectral shape) that matters, or something more subtle? Because the methods used—particularly contour-preserving noise vocoding—leave open another possibility: birds may actually be attuned to fine spectral-temporal modulations, the intricate contours woven into sound. Such results remind us that perceptual categories humans take for granted may not map cleanly onto other species, and that the universality of pitch as a cognitive anchor remains an open, and fascinating, controversy (cf. Patel, 2017; ten Cate & Honing, 2025). 

N.B. These entries are part of a new series of explorations on the notion of Spectral Percepts (in 333 words each). 

Bregman, M. R., Patel, A. D. & Gentner, T. Q. (2016). Songbirds use spectral shape, not pitch, for sound pattern recognition. Proceedings of the National Academy of Sciences, 113(6), 1666–1671. doi: 10.1073/pnas.1515380113 

Patel, A. D. (2017). Why Doesn’t a Songbird (the European Starling) Use Pitch to Recognize Tone Sequences? The Informational Independence Hypothesis. Comparative Cognition & Behavior Reviews, 12, 19–32. doi: 10.3819/CCBR.2017.120003 

ten Cate, C. & Honing, H. (2025). Precursors of music and language in animals. In D. Sammler (Ed.), The Oxford Handbook of Language and Music. Oxford University Press. doi: 10.1093/oxfordhb/9780192894700.001.0001

Wat is een absoluut gehoor en is het erfelijk? [Dutch]

Niet zo lang geleden verscheen op het internet een video [zie hieronder een nwe versie] met de tekst: ‘Kijk eens wat deze hond kan. Hij is muzikaler dan ik!’ 

 

De video laat een golden retriever zien die geconcentreerd naar zijn baas kijkt die tegenover hem zit. Als zij een toon laat horen reageert de hond door met zijn poot een toets in te drukken op een fors pianotoetsenbord dat voor hem op de grond ligt. Welke toon het baasje ook speelt, de hond herhaalt zonder aarzeling precies dezelfde toon op de piano. ‘Hij heeft absoluut gehoor!’ voegt een lezer al snel als commentaar aan de video toe. En dat klopt. De meeste dieren hebben absoluut gehoor, in de zin dat zij klanken onthouden en herkennen aan de absolute frequentie (het trillingsgetal) van het geluid, en niet zozeer aan het melodische verloop of de intervalstructuur, zoals wij mensen dat doen. Wij vinden absoluut gehoor daarom bijzonder. Als je aan musici vraagt een voorbeeld te noemen van een bijzondere muzikale vaardigheid dan noemen velen als eerste ‘absoluut gehoor’. Iemand met een absoluut gehoor kan een willekeurig aangeslagen pianotoon benoemen zonder gezien te hebben welke toets er werd ingedrukt. Vooral voor conservatoriumstudenten is dat handig, omdat zij dan minder moeite hebben met de muzikale dictees die ze regelmatig krijgen: het in notenschrift opschrijven van wat de docent voorspeelt of zingt.

Maar terug naar de golden retriever. Ik denk dat hij inderdaad de pianotonen aan hun frequentie kan herkennen. Maar ik vermoed ook dat als er een gordijn tussen hem en zijn baasje gehangen wordt, hij deze ingewikkelde taak niet meer vlekkeloos uitvoert. Deze hond doet immers meer dan alleen een toon herkennen aan zijn trillingsgetal. De term absoluut gehoor is wat dat betreft te beperkt. De hond moet namelijk behalve een toon horen, herkennen en herinneren, deze ook classificeren (is het een c of een cis?), bepalen welke toets daarbij hoort en deze vervolgens aanslaan op het grote toetsenbord dat voor hem ligt. Op de video zijn de ogen van de golden retriever en die van zijn eigenaar niet te zien, maar het zou me niet verbazen als de hond vooral haar blik volgt om te weten welke toets hij verwacht wordt aan te slaan, in plaats van zijn absolute gehoor. Het zou heel goed kunnen dat het klassieke Pavlov-effect – als ik doe wat baasje van mij verlangt, krijg ik een beloning – hier sterker is. (Dit is eenvoudig te testen door een gordijn tussen hond en baas te hangen. Voorspelling: de hond kan de taak niet meer vlekkeloos uitvoeren.) 

Absoluut gehoor is dus niet zo zeer een gehoorvaardigheid, zoals de term suggereert, als wel een cognitieve vaardigheid. Het bestaat uit zeker twee aspecten: je moet je een toon kunnen herinneren en vervolgens een naam geven. Daarnaast moet je voor dat laatste een toon – of hij nou door een piano, viool, stem of fluit wordt voortgebracht – kunnen classificeren als behorende tot eenzelfde categorie en hem vervolgens benoemen. Het eerste is een wijdverspreide vaardigheid die je eenvoudig kan testen. Stel je een bekend liedje voor, bijvoorbeeld Stayin’ alive van de Beegees, en zing het vervolgens. Grote kans dat de toonhoogte precies overeenkomt met het origineel. Wij mensen kunnen (net als veel andere dieren) heel goed de toonhoogte onthouden van bijvoorbeeld popliedjes of tv-tunes die we goed kennen. Maar een enkele toon horen en vervolgens weten of het een c is of een cis is een bijzondere vaardigheid die bij minder dan 1 op de 10.000 mensen voorkomt. Er zijn goede reden om absoluut gehoor te zien als het resultaat van een genetisch bepaalde aanleg. Diverse studies laten zien dat bepaalde chromosomen betrokken zijn bij het wel of niet hebben van de vaardigheid (zoals chromosoom 8q24.21). Daarnaast zijn er neurowetenschappelijke studies die anatomische verschillen tussen mensen met en zonder absoluut gehoor laten zien, met name in de temporaalkwab en diverse corticale gebieden. Niet alleen lijkt absoluut gehoor een genetische component te hebben en dus erfelijk te zijn, het ontwikkelen ervan is hoogstwaarschijnlijk het resultaat van blootstelling aan muziek op jonge leeftijd en intensieve muzikale training. In een land als Japan komt absoluut gehoor veel vaker voor dan elders. Bij Japanse conservatoriumstudenten loopt het percentage soms op tot wel 70 procent. Dat zou verklaard kunnen worden door het feit dat het een land is waar muziek een belangrijke plaats heeft in het onderwijs aan jonge kinderen. Maar voor zover we weten heeft absoluut gehoor niet zo veel met muzikaliteit te maken heeft. Mensen met absoluut gehoor zijn over het algemeen niet muzikaler dan andere mensen. Sterker nog: de overgrote meerderheid van de westerse professionele musici heeft helemaal geen absoluut gehoor. 

Ivan Pavlov ontdekte al in het begin van de vorige eeuw dat honden een enkele toon konden onthouden en associëren met bijvoorbeeld eten. Ook van wolven, en ratten, is bekend dat zij soortgenoten herkennen aan de absolute toonhoogte van hun roep, en dus onderscheid kunnen maken tussen de ene en de andere toon. En voor spreeuwen en resusapen, is dat niet anders, zo suggereren verschillende studies. Een veel muzikaler vaardigheid is ‘relatief gehoor’ – het herkennen van een melodie, los van de precieze toonhoogte waarop die klinkt of gezongen wordt. De meeste mensen luisteren niet naar de afzonderlijke tonen en hun trillingsgetal, maar naar de melodie als geheel. Of we Altijd is Kortjakje ziek nou lager of hoger gezongen horen worden, we herkennen het liedje toch wel. Het horen van verbanden en relaties tussen de tonen, in zowel melodische als harmonische zin, is deel van het plezier van het luisteren naar muziek. Het maakt de vraag of we relatief gehoor met andere diersoorten delen, inclusief honden, een van de centrale vragen in het onderzoek naar de biologische basis van de menselijke muzikaliteit.

Uit: Honing, H. (2017). Wat is een absoluut gehoor en is het erfelijk? In Rinnooy Kan & de Graaf (eds.), Hoe zwaar is licht? (pp. 74-76). Amsterdam: Uitgeverij Balans.

Degelijk stemadvies? [Dutch]

In het partijprogramma van de Vrijzinnige Partij staat de volgende curieuze zin:

"Een vrijzinnig geluid is een zuiver geluid. [..] Muziek is goed voor de gezondheid van de mens, maar dan wel met de goede natuurlijke grondtoon van 432 Hz."

Wat klopt daar van? Kan een stemtoon natuurlijk zijn? Wanneer is muziek vals? En waarom vinden mensen dat zo belangrijk?

Waar de één het verschil tussen 10 trillingen per seconden weet te relativeren, heeft het voor een ander een genadeloze impact. (For a discussion in English, see here and here.)

Zie website Kostgangers en iTunes.

Update: 2 maart 2017
Hilarisch verslag in de Volkskrant: "Vrijzinnige Partij: verlaag de grondtoon, deze wekt verdeeldheid en agressie op"

Another one bites the dust?

A Tsimane' man plays the flute (from: McDermott et al., 2016).

The music theory literature has been suggesting it for a long time: the idea that simultaneously sounding tones with frequency relationships that are low integer multiples, like 1:2 (octave) or 3:2 (a perfect fifth), are determinant of how listeners perceive consonance. It is an idea that is often related to the overtone structure of natural sounds (such as the voice or string instruments) suggesting that musical harmony is reflective or even a result of the acoustic structure that is found in natural, harmonic sounds that are surrounding us (see earlier entries).

However, a study that was published in Nature today, makes both ideas quite unlikely (McDermott et al., 2016). The authors conclude that "consonance preferences are unlikely to be innate, and that they are not driven by exposure to harmonic natural sounds such as vocalizations." Instead, consonance preferences seem to depend on exposure to particular types of music, presumably those that feature consonant harmony. In an elegantly controlled study McDermott and colleagues compared the perception of musical, speech and natural sounds in North American listeners (both musicians and non-musicians) and compared them to two groups of Bolivian listeners, of which one group rarely is in contact with Western culture, a tribe named Tsimane' (Chimane).

All participants rated the pleasantness of sounds. Despite exhibiting Western-like discrimination abilities and Western-like aesthetic responses to familiar sounds and acoustic roughness, the Tsimane’ rated consonant and dissonant chords and vocal harmonies as equally pleasant. By contrast, Bolivian city- and town-dwellers exhibited significant preferences for consonance, albeit to a lesser degree than North American listeners. The results indicate that consonance preferences can be absent in cultures sufficiently isolated from Western music, and are thus unlikely to reflect innate biases or exposure to harmonic natural sounds. It seems we can remove 'consonance perception' from our list of candidate constituent elements that might underlie the human predisposition for music, i.e. musicality (see Honing et al., 2015).

UPDATE: Related news article in Dutch.

McDermott, J. H., Schultz, A. F., Undurraga, E. A., & Godoy, R. A. (2016). Indifference to dissonance in native Amazonians reveals cultural variation in music perception. Nature, 525, 7611. DOI: 10.1038/nature18635.

Honing, H., ten Cate, C., Peretz, I., & Trehub, S. (2015). Without it no music: cognition, biology and evolution of musicality Philosophical Transactions of the Royal Society B: Biological Sciences, 370 (1664), 20140088-20140088 DOI: 10.1098/rstb.2014.0088

Can humans listen like songbirds do?

European Starling © www.allaboutbirds.org

Humans and songbirds share many interesting similarities with regard to their auditory processing capabilities. For example, we know that humans and European Starlings have similar frequency sensitivity, perceive the pitch of the missing fundamental, and parse multiple pure-tone sequences into separate auditory streams. At higher levels, the “musical” nature of birdsong has long been appreciated by humans, and some songbirds can readily learn to discriminate and imitate human melodic sequences (cf. Hoeschele et al., 2015).

Given these similarities, it is surprising to find a major difference in how humans and songbirds perceive sequences of tones. Humans readily recognize tone sequences that are shifted up or down in log frequency because the pattern of relative pitches is maintained (referred to as relative pitch). In contrast, songbirds appear to have a strong bias to rely on absolute pitch for the recognition of tone sequences (a pitch-shifted melody might well be perceived as an altogether different melody; Hoeschele et al., 2015).

Interestingly, a recent study by Bregman et al. (2016), contrasting pitch and spectral patterns, shows that birds perceive their song more like humans perceive speech (Shannon, 2016). More precisely, songbirds might attend more to the acoustic spectral shape than to the absolute pitch of the acoustic signal. Stimuli that preserve acoustic spectral shape, even in the absence of pitch, seem to allow for generalization of learned acoustic patterns. Hence it could well be that a sensitivity to spectral shape is what is shared between human and avian cognition of musical signals, while relative pitch is the preferred mode of listening for humans. And one could wonder: why is sound "super normally stimulated" in humans (see earlier entry), and can humans be made to change their listening mode in the direction of birds (or vice versa) when manipulating melody and spectral shape?

Bregman, M., Patel, A., & Gentner, T. (2016). Songbirds use spectral shape, not pitch, for sound pattern recognition Proceedings of the National Academy of Sciences, 113 (6), 1666-1671 DOI: 10.1073/pnas.1515380113

Hoeschele, M., Merchant, H., Kikuchi, Y., Hattori, Y., & ten Cate, C. (2015). Searching for the origins of musicality across species Philosophical Transactions of the Royal Society B: Biological Sciences, 370 (1664), 20140094-20140094 DOI: 10.1098/rstb.2014.0094

Shannon, R. V. (2016). Is Birdsong More Like Speech or Music? Trends in Cognitive Sciences, 20 (4), 245-247 DOI: 10.1016/j.tics.2016.02.004

Do songbirds perceive melody different from humans?

European Starling (Sturnus vulgaris)

Last week a fascinating study appeared in PNAS on melody (re)cognition in sparrows (Sturnus vulgaris). It provides an alternative interpretation to the widespread believe that songbirds have a strong bias to rely on absolute pitch (AP) for the recognition of melodies (e.g. Hulse et al., 1992).

In a series of behavioral experiments, Bregman et al. (2016) find that the human percepts of both pitch and timbre are poor descriptions of the perceptual cues used for melody recognition by the five sparrows that participated in the study. The results suggest that auditory sequence recognition in sparrows might be largely dependent on the perception of acoustic spectral shape, and not just AP. Sounds that preserve this shape, even in the absence of pitch cues, seem to be perceived as equivalent. The finding suggests that songbirds (unlike humans, for whom pitch plays a dominant role in the perception of melodic sequences) rely on a perceptual representation that is a combination of pitch and timbre. It suggests that the perceptual separability of pitch and timbre might also in humans be largely based on experience.

Hulse, S., Takeuchi, A., & Braaten, R. (1992). Perceptual Invariances in the Comparative Psychology of Music Music Perception: An Interdisciplinary Journal, 10 (2), 151-184 DOI: 10.2307/40285605

Bregman, M., Patel, A., & Gentner, T. (2016). Songbirds use spectral shape, not pitch, for sound pattern recognition Proceedings of the National Academy of Sciences DOI: 10.1073/pnas.1515380113

Heb je uitzonderlijk muzikaal gehoor? (1/5) [Dutch]

Ben jij een beetje muzikaal? Kun jij een liedje op de perfecte toonhoogte meezingen? Hoor jij meteen of er een valse snaar op een gitaar zit? Sommigen mensen zijn volledig toondoof. Maar mensen met absoluut gehoor kunnen (zonder te kijken!) aan een pianotoets al horen welke noot het is. Een heel zeldzame gave! Maar is deze luistereigenschap wel zo bijzonder?

Voor de andere lezingen zie hier.

Bronnen:

01:00 Peretz et al. (2003)
02:00 Peretz & Zatorre (2005); Stewart et al. (2006)
02:30 Takeuchi & Hulse (1993)
05:30 Levitin (1994)
06:00 Schellenberg & Trehub (2003)
09:00 Trehub (2003); Trainor & Trehub (1993)

Peretz I, Champod AS, & Hyde K (2003). Varieties of musical disorders. The Montreal Battery of Evaluation of Amusia. Annals of the New York Academy of Sciences, 999, 58-75 PMID: 14681118

Peretz, I., & Zatorre, R. (2005). Brain Organization for Music Processing Annual Review of Psychology, 56 (1), 89-114 DOI: 10.1146/annurev.psych.56.091103.070225

Stewart L, von Kriegstein K, Warren JD, & Griffiths TD (2006). Music and the brain: disorders of musical listening. Brain : a journal of neurology, 129 (Pt 10), 2533-53 PMID: 16845129

Takeuchi, A., & Hulse, S. (1993). Absolute pitch. Psychological Bulletin, 113 (2), 345-361 DOI: 10.1037//0033-2909.113.2.345

Levitin, D. (1994). Absolute memory for musical pitch: Evidence from the production of learned melodies Perception & Psychophysics, 56 (4), 414-423 DOI: 10.3758/BF03206733

Schellenberg, E., & Trehub, S. (2003). Good Pitch Memory Is Widespread Psychological Science, 14 (3), 262-266 DOI: 10.1111/1467-9280.03432

Trehub SE (2003). The developmental origins of musicality. Nature neuroscience, 6 (7), 669-73 PMID: 12830157

Can the origins of music be studied at all?

What was the role of music in the evolutionary history of human beings? And is it possible at all, you might wonder, to study this empirically, given the fact that neither music nor musicality fossilises?* So, better forget about it?

One potential strategy to address this question is to focus on the cognitive traits that could have contributed to the origins of music and musicality (cf. Honing & Ploeger, 2012) and see in how far we share these with other animals.

While there has been quite some critique on this idea – i.e. the apparent impossibility of studying the evolution of complex cognitive processes such as intelligence (Lewontin, 1998; Bolhuis & Wynne, 2009)–, a bottom-up approach, in which one looks for the basic mechanisms that combine into a complex cognitive trait – in our case musicality –, seems an alternative and potentially fruitful way to proceed.

While it is not uncommon to see certain cognitive functions as typically human (such as language), it could well be that there are more species than just humans that have the proper predispositions for music to emerge, species that share with us one or more basic mechanisms that make up musicality. The mere fact that music did not emerge in some species is no evidence that the trait of musicality is absent. In that sense a ‘bottom-up perspective’ (cf. de Waal & Ferrari, 2010) that focuses on the constituent capacities underlying a larger cognitive trait, in our case musicality, is a feasible alternative strategy to follow.

So, instead of studying a complex cognitive trait (such as intelligence) in this approach one explores the basic processes that make up that trait. And in the case at hand: instead of asking which species are musical, the question becomes: how does musicality actually work? What are the necessary ingredients of musicality, and how did these evolve?

It's these questions that will be the focus of the Distinguished Lorentz Fellowship in the coming year at the Netherlands Institute of Advanced Studies and the topic of an international workshop at the Lorentz Center. I'm looking forward to it!

*N.B. the oldest music-related artifact currently known is dated ca. 43,000 old, quite meaningless on an evolutionary scale of million of years.

Bolhuis, J., & Wynne, C. (2009). Can evolution explain how minds work? Nature, 458 (7240), 832-833 DOI: 10.1038/458832a

Honing, H., & Ploeger, A. (2012). Cognition and the Evolution of Music: Pitfalls and Prospects Topics in Cognitive Science, 4 (4), 513-524 DOI: 10.1111/j.1756-8765.2012.01210.x

Lewontin, R.C. (1998). The evolution of cognition: Questions we will never answer. In D. Scarborough & S. Sternberg (Eds.), Methods, models, and conceptual issues: An invitation to cognitive science, Vol. 4 (pp. 107-132). Cambridge, MA: MIT Press.

de Waal, F., & Ferrari, P. (2010). Towards a bottom-up perspective on animal and human cognition Trends in Cognitive Sciences, 14 (5), 201-207 DOI: 10.1016/j.tics.2010.03.003