Het Jazz Orchestra werd in 1996 opgericht als New Concert Big Band. De initiatiefnemers pianist/arrangeur Henk Meutgeert, bassist Frans van Geest en drummer Hans Dekker vonden dat er weer een groot Nederlands jazzorkest moest komen. In 1999 werd een samenwerking aangegaan met het Amsterdamse Concertgebouw waarna de naam werd gewijzigd in Jazz Orchestra of the Concertgebouw.
Het Jazz Orchestra is vaste bespeler van de grote zaal van Het Concertgebouw. Daarnaast wordt er vaak opgetreden in het Amsterdamse BIM-huis. Verder is het Jazz Orchestra te horen op het eigen jazzfestival en speelt het geregeld in andere jazzfestivals en theaters.