Giovanni II fu consacrato il 2 gennaio del 533, dopo 77 giorni di "vacatio" , più che dal popolo cristiano o dai suoi rappresentanti, da una consorteria di poteri ed interessi capitanata da Amalasunta, madre di Atalarico, re degli ostrogoti insediatisi a Ravenna ed appoggiati dal senato romano.
Venne ritenuto che, Giovanni II sia stato il primo papa a dover cambiare il proprio nome di Battesimo, essendo egli nato come Mercurio, della famiglia romana dei Mercuriali di umili origini e quindi non consono alla più alta carica ecclesiastica.
Il suo breve pontificato non lasciò grandi tracce. Nemmeno il malaffare, voluto da Amalasunta, reggente in vece del re, riuscì ad imporre grandi cambiamenti.
Con la morte di Atalarico nel 534, il senato romano spostò la propria area di riverenza verso Bisanzio, a favore quindi, del neo imperatore Giustiniano ma non tanto per la sua ortodossia cattolica riconfermata, attraverso un editto imperiale, ad ulteriore conferma del dogma sulla SANTA TRINITA', quanto per le regalie e prebende fatte recapitare alla nobiltà romana, proprio per far pendere diversamente l'ago della bilancia da occidente ad oriente.
Giovanni II morì il giorno 8 maggio del 535 e le sue spoglie furono sepolte nel sagrato di San Pietro.
Il suo nome non figura iscritto né sul Martirologio Romano né sul Calendario Universale dei Santi.