Prvi Garden
Podignut je 1879. godine i mogao je da primi 10.000 ljudi. Razne aktivnosti poput boksa i cirkusa su se održavale u ovoj dvorani. U prvom Medison Skver Gardenu je postojao i velodrom - posebna dvorana za biciklizam u okviru ovog objekta. Biciklizam, kao tada jako popularan sport, je privlačio mnogo ljudi. Kako je velodrom u Medison Skver Gardenu postajao popularniji, u Njujorku su se ubrzo pojavile i druge dvorane namenjene biciklizmuDrugi Medison Skver Garden
Stanford Vajt je projektovao drugi Medison Skver Garden, i mogao je da primi 8.000 ljudi. Sagrađena je u stilu islamske arhitekture. Sa svojih 32 sprata i skulpturom Dijane,
boginje lova, koju je dizajnirao američki skulptor Ogastus Sent-Godens,
bila je druga po veličini zgrada u Njujorku. Statua, koje je zapravo
bila prevelika, kasnije je uklonjena i izložena na Svetskoj izložbi u Čikagu. Godine 1925. drugi Medison Skver Garden je zamenjen trećim Medison Skver Gardenom.
Treći Medison Skver Garden
Najviše je bio poznat po braći Ringling i cirkusu Barnum i Bejli, koji
su imali mnogo više nastupa tada, nego hokej koji je takođe bio veoma
popularan u to vreme. Pored ovoga, dvorana je takođe bila glavno mesto
odigravanja utakmica Njujork Niksa i Njujork Rendžersa.
Treći Medison Skver Garden je sagrađen za 249 dana i imao je kapacitet
sedenja za 18.496 ljudi. U ovoj areni je održano i nekoliko bokserskih
mečeva.
Treći Medison Skver je imao dosta problema sa preglednošću i ventilacijom, zbog čega je i zatvoren 1967. godine. Mesto na kome se nalazio Medison Skver Garden je do 1988. korišćeno kao parking, nakon čega je izgrađena Vorldvajd Plaza.
Četvrti Medison Skver Garden
Poznatiji i kao Pen Plaza, sagrađen je 14. februara 1968. godine kao jedinstveno arhitektonsko rešenje iznad Pensilvanijske železničke stanice, koja se nalazi ispod površine. Medison Skver Garden ugošćuje ekipe iz različitih sportova. Fudbalske timove, kao što su Njujork džajantsi i Njujork džetsi, zatim hokejaške i košarkaške timove kao što su Nju Džerzi netsi i Nju Džerzi devilsi.