「一緒に音楽をやろう！」1972年、指揮者・小澤征爾のもと楽員による自主運営のオーケストラとして創立。97年、墨田区に移転。同年オープンのすみだトリフォニーホールを活動の本拠地とし、日常の練習と公演を行うという日本初の本格的フランチャイズを導入。その後開催されたロストロポーヴィチによる「ショスタコーヴィチ・フェスティヴァル」や井上道義指揮の「マーラー･ツィクルス〜交響曲全曲演奏会〜」などで高い評価を得る。定期演奏会、特別演奏会のほか、地元の学校体育館や小中学校の音楽授業、各種施設を訪れるなど、地域に根ざした演奏活動も精力的に行っているのが特徴的。
1999年、小澤征爾が桂冠名誉指揮者に就任。
2003年から13年までクリスティアン・アルミンクが音楽監督を務め、06年《火刑台上のジャンヌ・ダルク》で第3回三菱信託音楽賞奨励賞、09年《七つの封印を有する書》で第18回三菱UFJ信託音楽賞受賞（以上アルミンク指揮）。またハイドン没後200年にあたる同09年の2月、フランス・ブリュッヘン・プロデュースによる〈ハイドン・プロジェクト〉を開催、絶賛を博し第22回ミュージック・ペンクラブ音楽賞を受賞。11年2月には続編となる〈ベートーヴェン・プロジェクト〉で再び高い評価を獲得した。
2010/2011シーズンより、Music Partner of NJPとしてダニエル・ハーディングが指揮者陣に加入。その後、2013/2014シーズンより、ドイツ人指揮者インゴ・メッツマッハーがConductor in Residenceに就任（〜 15年8月）、ハーディングとの二頭体制によるプログラムが話題を呼んだ。また、11年と12年に中国ツアー、14年には韓国ツアーを行い現地で高い評価を得る。
2016年9月（2016/2017シーズン）、ドイツの歌劇場で研鑽を積んだ指揮者・上岡敏之が音楽監督に就任。それに先立ち15年4月からはアーティスティック・アドヴァイザーを務めた。上岡敏之音楽監督との録音は、「マーラー：交響曲第1番《巨人》」「R. シュトラウス：交響詩《ツァラトゥストラはかく語りき》／交響詩《英雄の生涯》」「チャイコフスキー：交響曲第6番 《悲愴》／ラフマニノフ：交響詩《死の島》」「ブルックナー：交響曲第9番」「ブルックナー：交響曲第6番」「ワーグナー： タンホイザー、トリスタンとイゾルデ、神々の黄昏、パルジファル」「オペラ・イタリアーナ」「平和への祈念を込めたコンサート・ライヴ、ブラームス：交響曲第１番／ベートーヴェン：交響曲第９番より第３楽章」「ブルックナー：交響曲第７番」「ドヴォルザーク：交響曲第９番《新世界より》／コダーイ：ガランタ：舞曲／バーバー：弦楽のためのアダージョ」が、オクタヴィアよりリリースされている。
このほか、2004年夏からは音楽家･久石譲と新プロジェクト「新日本フィル･ワールド･ドリーム･オーケストラ」を立ち上げたほか、コラボレーションとして映画「千と千尋の神隠し」（02年公開）、「ハウルの動く城」（04年公開）、「崖の上のポニョ」（08年公開）の管弦楽を担当した。さらに久石譲は2020年9月から25年3月までMusic Partnerを務めた。
2022年には楽団創立50年を迎えた。2023年4月より佐渡裕が第5代音楽監督に就任。
公式X（formerly Twitter）：@newjapanphil
公式Facebook：/newjapanphil
公式Instagram：/newjapanphil