Der Gemüsespargel ist eine sommergrüne, ausdauernde, krautige Pflanze. Aus dem Rhizom treibt er fleischige, saftige, mit Niederblättern spiralig besetzte, weißliche oder blassrötliche Sprossen, die sich über der Erde in einem verzweigten, grünen, 0,6 bis 1,5 Meter hohen, glatten Stängel verlängern. Die Laubblätter sind auf kleine, häutige Schuppen reduziert, in deren Achseln linealische Phyllokladien (umgewandelte Kurzsprosse) entspringen.
Die Blütezeit reicht von Juni bis Juli. Die Blüten sind meist eingeschlechtig, selten zwittrig. Wenn die Blüten eingeschlechtig sind, dann ist der Gemüsespargel zweihäusig getrenntgeschlechtig (diözisch). Die relativ kleinen, zwittrigen Blüten sind dreizählig. Die sechs Blütenhüllblätter sind gelblich und bis zu 6,5 Millimeter lang.
Die Beeren sind scharlachrot und gering giftig.
Die Chromosomenzahl beträgt 2n = 20.