50 Cent, Tony Yayo, Sha Money XL, Domination und Bang 'Em Smurf gründeten die Gruppe im New Yorker Viertel Jamaica im Bezirk Queens im Jahre 1998. Später kam der in Baltimore geborene Lloyd Banks hinzu, der bei der Gruppengründung noch als zu jung angesehen worden war. Ihm gelang erst die Aufnahme, als 50 Cent angeschossen wurde und Banks sich in dieser Situation als guter Freund erwies. Im Jahr 2005 trat Olivia bei. Außerdem wurde der abgewanderte The Game durch Spider Loc ersetzt. In den Jahren darauf traten noch Hot Rod, 40 Glocc, Willy Northpole und Carnegie bei. Durch ein Abkommen von BME Clique und G Unit sind beide Labels berechtigt, Alben mit den gleichen Artisten zu veröffentlichen. Der Erste, der davon Nutzen trägt, ist der bereits berühmte Lil Scrappy. Willy Northpole verließ G Unit Anfang März 2007 und unterschrieb einen Plattenvertrag mit DTP, dem Label von Ludacris. Die Sängerin Olivia verließ ebenfalls die G Unit im Frühjahr 2007.

Maßgeblich zum Erfolg der Gruppe trug Eminem bei. Er hörte das Mixtape God’s Plan, bot sich daraufhin als Produzent der Gruppe an und war an 50 Cents Hitalbum Get Rich Or Die Tryin’ beteiligt.

Als die Gruppe bereits erste Erfolge mit Mixtapes hatte, stieß Young Buck (geboren in Tennessee) zur Gruppe. Der erste große Erfolg gelang, nachdem 50 Cent mit Wanksta und In Da Club Hits als Solorapper hatte, die das Interesse auch an der Gruppe vergrößerten. Tony Yayo erlebte diese Zeit im Gefängnis, da er zwischenzeitlich eine Haftstrafe aufgrund illegalen Waffenbesitzes und Urkundenfälschung verbüßte und erst nach Erscheinen des ersten G Unit Albums Beg For Mercy wieder in Freiheit kam.

Zwischenzeitig gehörte The Game (aus Compton) zur G Unit und veröffentlichte in dieser Zeit im Januar 2005 sein Album The Documentary. Produziert haben das Album u. a. Dr. Dre, Eminem und Just Blaze. Nachdem er sich dann aber von der Gruppe trennte, sah es so aus, als bliebe dies sein einziges von Dr. Dre produziertes Album. Eine zwischenzeitliche Versöhnung von ihm mit 50 Cent hielt nicht lange an und im Juni 2005 flammte der Streit erneut auf. Er dauert bis heute an.

Sha Money XL ist heute Manager und Producer der Gruppe. G Unit haben ein eigenes Sublabel G-Unit Records bei Interscope, das eng mit Aftermath Entertainment (Dr. Dre. Label) und Shady Records (Eminems Label) zusammenarbeitet. Das Label G Unit besitzt wiederum zwei Sublabel: The Infamous Records von Mobb Deep und Cashville Records von Young Buck.

Die Gründungsmitglieder Bang 'Em Smurf und Domination sind heute die Silverback Gorillaz.

Im April 2008 gab 50 Cent bekannt, dass Young Buck kein Teil mehr der G Unit sei, jedoch weiterhin bei G Unit Records unter Vertrag stehe.