Tira i primi calci nel Cattolica Virtus, piccola società di Firenze dalla quale passa poi alla Rondinella: proprio in biancorosso nel 1998, a soli 17 anni, debutta nei Dilettanti e conquista al primo anno la promozione in C2 e si assicura il pass per i professionisti. Nell'estate del 2000 prova il salto in B, ma la Pistoiese lo rispedisce a gennaio alla Rondinella. Arriva in cadetteria ancora una volta con una promozione, ottenuta nella stagione 2001/2002 con l'Ascoli. Dopo due anni da titolare in terra marchigiana si trasferisce al Chievo Verona raggiungendo così la serie A.

Con i clivensi Barzagli gioca solo un anno ma si mette in luce siglando 3 reti in 28 presenze. Il Palermo gli dà fiducia e nel 2004 lo acquista per 2,5 milioni di euro affidandogli le chiavi della difesa: nel 2007, dopo aver conquistato la prima storica qualificazione rosanero in Coppa Uefa, diventa addirittura il capitano. Nel 2008, al termine della quarta stagione in Sicilia, decide di andare all'estero, al Wolfsburg, col quale diventa anche campione di Germania. Nel gennaio 2011 il ritorno in Italia, alla Juventus, e il filotto incredibile di tre Scudetti sempre da protagonista.

In Nazionale vince nel 2004 l'Europeo Under-21 e il bronzo olimpico, e il 17 novembre debutta nella nazionale maggiore di Lippi: amichevole Italia-Finlandia. Va al Mondiale 2006, come seconda riserva nelle gerarchie del ct: entra negli ottavi con l'Australia al momento dell'espulsione di Materazzi (a sua volta riserva di Nesta, ndr) e gioca da titolare il quarto con l'Ucraina. Dopo il trionfo in Germania, esce dal giro della nazionale per più di tre anni a causa del brutto Europeo del 2008. Rientra con Prandelli il 2 ottobre 2011, che lo convoca dopo le ottime prestazioni con la Juventus.

Nonostante nell'immaginario collettivo siano Paul Pogba e Andrea Pirlo i grandi affari di mercato della Juventus "gestione Marotta", Andrea Barzagli non può certo essere messo in secondo piano se si pensa a quanto è stato pagato il suo cartellino e alla qualità delle prestazioni espresse sul terreno di gioco. I bianconeri hanno versato nelle casse del Wolfsburg la cifra simbolica di 300mila euro, con alcuni bonus relativi a traguardi che la Juventus di quell'anno non raggiunse neppure.