Archeologické nálezy starého opevnění ze 7. - 10. století, které byly v roce 1999 odkryty, dokazují souvislé osídlení této lokality již od raného středověku. Dnem vysvěcení nové školní budovy je 28. září 1884. Tehdy obecná a měšťanská škola navázala na tradici farních škol u sv. Mikuláše a u sv. Tomáše, které v tomto místě byly zaznamenány již ve 14. století. V roce 1918 po vzniku Československé republiky nese ústav název "Chlapecká a dívčí škola v Josefské ulici".
Po 2. světové válce pokračuje vyučování v obecné a měšťanské škole až do školního roku 1948/49, poté se škola stává školou národní, střední a nakonec osmiletou střední školou. V roce 1958 se mění její statut na základní devítiletou školu. Ve školním roce 1993/94 je v budově základní školy zřízena i škola rodinná. 4. září 1995 zahajuje v budově základní školy výuku i nově zřízené osmileté gymnázium. Rodinná škola končí svou činnost v červnu 2000. V roce 2004 byly sloučeny základní škola v Josefské ulici a základní škola v Karmelitské ulici. Nový název školy je Malostranská základní škola.
