Un jour ou Brian Warner lisait ses poèmes dans les bars, il a rencontré Stephen Bier et ils ont parlé musique. C'est ainsi que lorsque Warner a voulu créer groupe, il a tout de suite pense à lui. Cependant, lui trouver une place dans ce nouveau groupe dût être une tâche assez difficile car Stephen ne savait seulement jouer qu'un peu de batterie et que la mode de la scène industrielle de l'époque recommandait l'usage de boite à rythmes. C'est ainsi qu'il dut apprendre à jouer d'un autre instrument. Warner cherchait un clavier, Stephen apprendra donc le clavier. Cependant comme il n'avait pas encore d'instrument il passait les premiers concerts à jouer avec des soldats en plastique sur la scène, pendant que Zsa Zsa Speck s'occupait du synthé. Dès que Bier eu son propre clavier, Zsa Zsa fut renvoyé.

Lors de la répartition des pseudos, Stephen reçut celui de Madonna Wayne Gacy, hors il n'a jamais réellement aimé ce surnom, il s'est donc auto-renommé : Pogo, le nom qu'utilisait John Wayne Gacy lorsqu'il se déguisait en clown pour tuer ses jeunes victimes. Dès ses premiers concerts, Pogo a su exprimer un véritable sens du spectacle, il jouait dans son coin, avec un écriteau "pogo's playhouse", tout en réalisant un spectacle dans le spectacle il a d'ailleurs gardé cette habitude jusqu'à maintenant.

L'influence musicale de Pogo est visible surtout dans l'EP "Smells Like Children", où il est responsable avec Ginger Fish des nouveaux sons électroniques et de l'ambiance très sombre, il a toujours une place au niveau conception sonore du groupe.

La majorité des virées de Manson et de Twiggy se faisaient avec lui, et lorsque Berkowitz fut vire du groupe en 1996, il resta le seul Spooky Kid avec Manson encore en action. Son apparent détachement quant à la paternité du groupe lui a sûrement évité d'être expulse par Manson.

Même si le style de Pogo a évolué au fur et à mesure du temps, il est toujours resté très décalé, ce qui lui a permit de rester une figure de proue du groupe pendant les différentes étapes de son évolution.