Pur presenti tutti a Viterbo, a dieci giorni dalla morte di Adriano V (avvenuta il 18 agosto 1276) i cardinali riuniti in conclave non avevano ancora indicato un successore. Di sua iniziativa il podestà della città, avvalendosi della "Ubi periculum" iniziò la loro "reclusione", e a fornire loro la famosa dieta di "pane e acqua". I cardinali protestarono, affermando che Adriano V quella costituzione l'aveva abrogata.

Carlo D'angiò, favorevole all'iniziativa del podestà, mise in giro la voce che Adriano V in punto di morte aveva sospeso quell'abrogazione. I cardinali non smisero di protestare, ci furono anche dei tumulti, ma poi alla fine i conclavisti si riunirono il 15 settembre 1276, e il giorno stesso, fecero il nome del portoghese Pietro de Giuliani, cardinale e vescovo di Tuscolo.

Conosciuto nella storia della cultura anche con il nome di Pietro Ispano, era nato a Lisbona, aveva studiato a Parigi, insegnato medicina a Siena fra il 1247 a il 1252, scritto alcuni libri di medicina, di opere filosofiche.
Per un periodo rimase accanto al cardinale Ottobono (poi papa Adriano V), fu decano a Lisbona, arcidiacono di Vermuy, arcivescovo di Braga nel 1273.
Nello stesso anno Gregorio X lo aveva creato cardinale e vescovo di Tuscolo.
Più che un uomo di chiesa, era un uomo di scienza, non aveva quindi alcuna esperienza di affari di curia, e tantomeno cos'era il mondo politico-ecclesiastico. E proprio per questo appena eletto si appoggiò al molto più esperto cardinale Giovanni Gaetano Orsini, da tempo a capo del gruppo di cardinali italiani del Sacro Collegio

Di animo mite, Giovanni XXI tale rimase e incitò gli altri ad esserlo, quando appena eletto si diede molto da fare per conciliare Rodolfo d'Asburgo e Carlo d'Angiò. Col primo voleva rendere possibile l'incoronazione per avere una pace duratura in Germania, e col secondo mirava a rendere possibile una pace duratura in Italia.
Alcuni rimproveri non mancò di farli a Rodolfo per la Romagna. Minacciò pure di scomunica i due litiganti Alfonso di Castiglia e Filippo III di Francia se non giungevano a un accordo. Incitò gli indolenti principi d'Europa a partecipare a una nuova crociata. A Costantinopoli inviò suoi legati per far firmare a Michele Paleologo la tanto attesa fine dello scisma. E intervenne pure in Inghilterra invitando quel monarca ad essere più mite con i suoi nemici.

Come uomo di scienza, si interessò anche di ciò che si studiava all'università di Parigi, dove furoreggiavano le dottrine averrostiche; incaricò il vescovo di farne precise relazioni. Per questa attività e questo interessamento alle dottrine profane, si prese da cronisti ignoranti l'accusa di "mago", e fu accusato perfino di avversare gli ordini religiosi. Accusa falsa perchè proprio lui si era preso accanto il francescano Giovanni da Parma, con l'intenzione di poterlo creare presto cardinale.

A nove mesi dalla sua elezione, il 20 maggio 1277 Giovanni XXI era già morto, colpito dal crollo di un soffitto. Politicamente tutto ciò che aveva fatto, rimase nel vago, anche se segnò un cambiamento di rotta al vertice della politica pontificia. Ma non dimentichiamo che si era preso in questi complessi affari come consulente l'Orsini che morto lui - dopo essersi nel frattempo preparato bene il terreno alla propria opera - salì poi sul soglio col nome di papa Niccolo III.
Con ancora Giovanni in vita, proprio l'Orsini, gli fece rinnovare l'abrogazione della "Ubi periculum", che lui stesso al conclave aveva subito.

Carlo d'Angiò nei mesi di pontificato di Giovanni, aveva rinnovato il giuramento feudale al papa, come senatore di Roma e come vicario in Toscana, ma Giovanni non si era esposto con una esplicita dichiarazione di conferma come avevano fatto i suoi predecessori. Non aveva abrogato e negato nulla, ma nemmeno aveva confermato.
Anche Rodolfo d'Asburgo non essendo riuscito ad entrare in trattative prima della morte del pontefice, la sua incoronazione era finita in alto mare e le varie questioni erano rimaste tutte aperte ai nuovi sviluppi della nuova politica pontificia. Che non tardò a svilupparsi.