Après ce que l'on pourrait appeler une sorte de retour aux sources accompli avec "Rock'n'Roll Over", Kiss avait le choix de tenter de nouveau une évolution à la "Destroyer" ou de poursuivre dans la voie d'un hard-rock mélodique mais sans trop de fioriture. En fait, "Love Gun" propose une sorte de compromis, où le groupe conserve son côté agressif mais peaufine la production, sensiblement moins brute que sur l'album précédent. Il s'offre le luxe de quelques parties originales, des sons de guitares plus variés, des harmonies de guitares, pas mal de chœurs et Paul Stanley expérimente avec l'e-bow (ce petit objet qui fait sonner la guitare un peu comme un violon lorsqu'on le tient au-dessus des micros).
L'album s'ouvre avec une composition rapide et agressive de Paul Stanley, qui ne signe que trois titres de cet album mais en chante quatre. "I Stole Your Love" casse pourtant la baraque avec son riff rapide et son refrain entêtant qui inspirera sans doute les Scorpions ! C'est encore Stanley qui signe le morceau-titre, l'un des plus violents qu'il ait jamais composé, avec sa batterie frénétique en ouverture, le tempo moyennement rapide, le refrain dramatique avec les chœurs... et le texte sans équivoque pas très subtil. Paul est en voix sur ce disque et la voix justement est bien mise en valeur par la production spacieuse d'Eddie Kramer, nettement plus aérée que sur le presque étouffant "Rock'n'Roll Over".
Gene Simmons s'est taillé la part du lion avec quatre très bonnes compositions, dont les textes sont encore une fois d'une subtilité limitée ! Il ponctue lui-même d'un martèlement de piano son "Christine Sixteen" irrésistible dont les chœurs sont chantés par Stanley, tandis qu'il prend un style plus rock'n'roll sur "Got Love For Sale" et le court mais très accrocheur "Plaster Caster" au rythme linéaire et où le démon prend une voix toujours virile en diable (Ha ! Ha ! c'est le cas de le dire !) mais plus claire. Il est nettement plus menaçant sur "Almost Human", morceau à l'atmosphère étrange avec son rythme moyen, son motif de guitare obsédant, sa basse élastique, son refrain malsain et inquiétant soutenu par des chœurs androgynes, le solo distordu à l'extrême et les congas inattendus de Jimmy Maelen. Simmons joue d'ailleurs un peu de guitare sur ces deux dernières compositions.
"Love Gun marque aussi une première : Ace Frehley s'y essaie pour la première fois au chant (avec Stanley aux chœurs) sur "Shock Me", l'une des meilleures compositions de Kiss, un tempo moyen puissant et mélodique qui comporte en outre un des meilleurs solo du hard rock des années 70. Son timbre clair et léger mais assez nasillard et l'accent typiquement new yorkais de Frehley, conviennent à merveille à cette composition. Enfin, Peter Criss chante "Hooligan" qu'il a composé avec son vieux compère Stan Pendridge. Un morceau au tempo moyen assez simple, mais illuminé par plusieurs soli inspirés d'Ace Frehley, qui rappelle légèrement le Led Zeppelin bluesy de "The Rover" ou de "Presence", les vocaux mis à part. On se passerait bien du timbre décidément trop éraillé du batteur, qui joue pourtant particulièrement bien ici.
Enfin, "Love Gun" se termine par la reprise d'un morceau tout sauf metal, celle de "And Then She Kisses Me", un morceau initialement interprété par les Crystals, un groupe de chanteuses de Brooklyn. C'est Paul Stanley qui assure le chant de cette jolie mélodie qui s'accélère progressivement, avec grosse réverbe qui donne une teinte années 60 au morceau, guitares électriques ronflantes plus un peu de guitare acoustique, et même des castagnettes !
"Love Gun" marque la fin de l'ère la plus célèbre et la plus fructueuse de Kiss sur le plan commercial. Un album court comme à l'habitude mais regorgeant de bons morceaux qui ne se ressemblent pas, enregistré en seulement trois semaines mais dont le son est pourtant très bon. Un des indispensables du groupe.