Masa Sebelum Kemerdekaan.

Pada tahun 1920-an di kota Semarang terdapat 2 Sekolah Menengah Pertama yang disebut dengan MULO I (Meer Iutgebreid Lager Onderwijs) yang terletak di jalan Pandean Lamper No. 2 (sekarang jalan Brigjen Katamso No. 14) dan MULO II yang terletak di jalan Pendrikan (sekarang jalan Imam Bonjol). Pendidikan saat itu mengajarkan bahasa Belanda, Inggris, Melayu, Kebudayaan Barat, dan Olah raga intensif.

Pada tahun 1942 saat pendudukan Jepang, MULO I berubah namanya menjadi Dai ichi tyu gakko ( SMP I ) tempat tetap di jalan Pandean Lamper No. 2 untuk kelas 2 dan 3, sedangkan kelas I di jalan Sidodadi Barat (sekarang SMK Negeri 6). Sekolah MULO I mengajarkan bahasa Indonesia, Kyoren(latihan kemiliteran ), dan kesenian.

Masa Kemerdekaan sampai sekarang

Setelah kemerdekaaan 17 Agustus 1945 MULO I / Dai ichi tyu gakkoberubah nama menjadi SMP I Pandean Lamper, di masa itu pelajar selain belajar menuntut ilmu, juga turut mengangkat senjata. Para pelajar kota Semarang membentuk GASEMSE (Gabungan Sekolah Menengah Semarang).Pada 23 Juli 1951 Departemen Pendidikan dan Kebudayaan merubah SMP I Pandean Lamper menjadi SMP Negeri 2 Semarang.

Pada tahun 2000 saat dicanangkan Program Pendidikan Dasar 9 tahun , SMP Negeri 2 Semarang berubah menjadi SLTP Negeri 2 Semarang dan pada tahun 2005 berganti lagi menjadi SMP Negeri 2 Semarang hingga sekarang. SMP Negeri 2 Semarang tetap mempertahankan bangunan kuno / asli sebab dinyatakan sebagai bangunan “cagar budaya”.

Tahun 2004 SMP Negeri 2 Semarang ditunjuk sebagai Sekolah Standar Nasional ( SSN ), dan karena prestasinya maka sejak tahun 2006 SMP Negeri 2 Semarang ditunjuk sebagai Rintisan Sekolah Bertaraf Internasional ( RSBI ).

Tiada hari tanpa prestasi dan budi pekerti luhur dan tiada siswa yang drop out karena biaya adalah motto yang menunjang visi Sekolah Menengah Pertama Negeri ( SMP ) 2 Semarang yang ingin menghasilkan lulusan berprestasi tinggi, bermoral, memiliki wawasan luas dan mampu berkompetisi berskala Nasional. 

SMP Negeri 2 Semarang yang terletak di jalan Brigjen Katamso 14 Semarang selain strategis dan mudah dijangkau dari berbagai arah juga memiliki banyak kelebihan dan prestasi. Penunjukkan SMP Negeri 2 Semarang sebagai Sekolah Standar Nasional yang pertama di Semarang membuktikan bahwa SMP Negeri 2 Semarang memiliki kemampuan untuk dijadikan standar bagi sekolah lain di Semarang. Dengan demikian siswa yang berpotensi sangat berminat masuk ke SMP Negeri 2 Semarang sehingga potensi yang dimiliki tetap dapat dikembangkan.

Secara historis, SMP Negeri 2 Semarang sudah sangat dikenal sejak zaman penjajahan Hindia Belanda dengan sebutan MULO I, yang merupakan pusat pendidikan yang dimiliki pemerintah kala itu. Hal ini dilanjutkan pada waktu pendudukan Jepang bernama Dai ichu tyu gakko dan masa kemerdekaan Indonesia menjadi SMP I Pandean Lamper, kemudian oleh Departemen Pendidikan dan Kebudayaan dirubah menjadi SMP Negeri 2 Semarang. Hal yang paling menarik adalah bangunan kuno yang ditempati tetap terjaga dan menjadi bangunan bersejarah yang dilindungi sampai saat ini.

Dengan sumber daya manusia, sarana dan prasarana yang dimiliki, dukungan komite sekolah dan orang tua, serta lingkungan yang baik sangat mendukung prestasi SMP Negeri 2 Semarang. Selain prestasi akademik, prestasi non akademik pun tidak kalah menonjolnya. Hingga pada tahun pelajaran 2007 / 2008 SMP Negeri 2 Semarang mengukir prestasi sebagai sekolah dengan peringkat 1 negeri dan swasta di kota Semarang. Dan kelebihan yang lain adalah SMP Negeri 2 Semarang memiliki Program khusus Akselerasi yang pertama kali di Jawa Tengah dari tahun 2000 hingga saat ini. Hal ini menambah posisi SMP Negeri 2 Semarang menjadi sekolah favorit di Semarang.

Sesuai dengan motto di atas, SMP Negeri 2 yang sarat prestasi tetap mengedepankan kepentingan nasional dengan tetap menyelenggarakan pendidikan murah bagi siswa yang kurang mampu apalagi berprestasi melalui subsidi silang baik sebelum ada BOS maupun setelahnya. Hal ini dibuktikan bahwa siswa SMP Negeri 2 Semarang tidak ada yang mengundurkan diri karena biaya. Keberhasilan siswa setiap tahun menjadi tolok ukur kemajuan sekolah, baik output  ( lulusan ) maupun outcome ( siswa yang melanjutkan ke jenjang yang lebih tinggi ).

Dengan demikian tantangan dan persaingan yang dihadapi tidaklah kecil, masih banyak lagi tanggungjawab dan tugas yang harus diselesaikan, masih perlu peningkatan dan kerja keras namun paling tidak SMP Negeri 2 Semarang memiliki komitmen terhadap bangsa ini secara sungguh-sungguh ingin meningkatkan sumber daya manusia Indonesia agar kelak menjadi Tuan di negeri sendiri tanpa kehilangan identitas dan moral bangsa.