Studente di giurisprudenza a Genova, nel 1830 conobbe Giuseppe Mazzini. Con lui e con altri giovani prese parte alla disputa tra romantici e classici, divenuto ben presto conflitto politico e ideologico tra rivoluzionari e fautori del vecchio ordine. Amante degli studî letterarî, scrisse in quegli anni poesie d'occasione.

Come i fratelli Jacopo e Giovanni, aderì alla Carboneria. Dopo l'arresto di Mazzini e la sua partenza per l’esilio, Ruffini fu sorvegliato dalla polizia. Ciononostante si affiliò alla Giovine Italia (col nome di Ettore Carafa). Quando il fratello Jacopo fu dapprima arrestato (13-14 maggio 1833), mentre l'altro fratello Giovanni riuscì a fuggire, e successivamente si suicidò, Agostino, non sentendosi più sicuro a Genova, insieme con la madre si imbarcò per Marsiglia. Di là, unitosi a Mazzini, andò a Ginevra, dove fu raggiunto da Giovanni.

Partecipò alla spedizione in Savoia (febbraio 1834). Esule a Parigi entrò in relazione con Victor Hugo. Nel 1837, insieme al fratello Giovanni e a Mazzini, fu costretto a rifugiarsi a Londra, dove, tuttavia, i rapporti con Mazzini andarono deteriorandosi. Il 5 aprile 1840 egli fu il primo a dividersi dal Mazzini, accettando l'invito di un altro esule (il Giglioli) che gli offrì di succedergli nell'insegnamento privato a Edimburgo.

Rientrò a Genova nel 1848, dopo quindici anni di esilio. Eletto deputato alla prima legislatura del Parlamento subalpino, non fu poi più rieletto. Nominato provveditore agli studî a Genova, nel 1851 si ritirò a Taggia, dove trascorse gli ultimi anni di vita tormentato da una dolorosa malattia.