Se osserviamo un manoscritto musicale del IX o del X secolo, vediamo che esso è coperto da strani segni, alcuni dei quali hanno una vaga somiglianza con le note moderne, altri sono radicalmente differenti. Si tratta dei cosiddetti neumi (“segni”) che di solito rappresentano non un singolo suono, ma un gruppo di suoni. L’origine dei neumi va ricercata in certi segni che si era soliti porre sui testi sacri e poetici, e il cui compito era quello di suggerire una recitazione espressiva. Si trattava di punti e linee, ora ascendenti, ora discendenti, ora ondulati che facevano capire al lettore quando doveva alzare la voce e quando doveva abbassarla. Si pensò che questi segni potevano essere utili non solo per la recitazione, ma anche per il canto. Così si cominciarono ad allineare su ogni sillaba del testo latino da cantare neumi di vario tipo, al fine di ricordare all’esecutore quando la voce doveva salire, e quando scendere. All’inizio i neumi erano allineati alla medesima altezza. Inoltre anche la durata rimaneva nel vago. E’ chiaro che una simile notazione, data la sua approssimazione, poteva servire solo a chi già conosceva la melodia, e trovava in quei segni un aiuto supplementare per ricordare meglio. Col tempo però si cominciò a porre il problema di specificare più esattamente le altezze. Una prima soluzione fu quella di aggiungere ai neumi delle lettere alfabetiche, ciascuna indicante un certo suono (come già avevano fatto i Greci). Questo espediente però non doveva avere molta fortuna, data la sua scarsa efficacia visiva. Di esso è rimasta traccia nell’abitudine, da parte dei Tedeschi e degli Inglesi, di denominare le note non coi termini do, re, mi … in uso nei Paesi latini (e proposti per la prima volta da Guido d’Arezzo nell’XI secolo), ma mediante le lettere C, D, E … Una seconda e più fortunata soluzione escogitata fu di porre i neumi non sulla stessa linea, ma ad altezze diverse. In questo modo si potevano indicare graficamente ed intuitivamente le altezze dei suoni. In un primo tempo si tracciò un’unica riga, con una lettera all’inizio che stabiliva l’altezza del neuma che vi era situato (per esempio SOL, che era scritto col segno: G, da cui la moderna chiave di sol o di violino). Dunque tutti i neumi situati sulla riga dovevano essere interpretati alla luce della chiave iniziale, mentre i neumi sopra e sotto la riga andavano intesi come note più alte o più basse. Ma anche questo sistema era piuttosto impreciso, e si pensò allora di aumentare il numero delle righe. Esse furono portate a due, a tre, a quattro (tetragramma) - (spesso le si tracciava con colori diversi: nero, rosso, giallo), sinchè con Guido d’Arezzo si giunse al rigo musicale vero e proprio, pentagramma.