学校教育方面则实行民族差别教育。将小学教育分为小学校、公学校和教育所三种，小学校师资、设备最好，专收日本学童；公学校师资、设备较差，专收台湾儿童；教育所由警察担任教学，专收“番族”儿童。1902年，台湾总督府的教育支出中，小学校学生人均教育经费为67元，而公学校学生的人均教育经费仅36元。小学校按日本国内的统一教学大纲，对学生进行系统的教育；公学校则以普及日语为其主要教学内容，汉语课每周仅开2课时。中等教育最初完全为适应在台日人升学需求，开设有台北中学和台南中学。在台湾士绅的一再要求下，直至1915年才允准台湾人出资设立台中中学，收台湾人子弟入学。学校采行日本式管理，教学内容侧重于台湾地方需要的实用性科目，以满足殖民地建设对中、低级人力资源的需求。师范教育早期是国语学校附属的师范部，分专收日本学生的甲科和专收台湾学生的乙科。1899年始设立独立的师范学校，只限于培养初等教育的师资，中等以上学技师资均来自日本国内，或是日本国内大学毕业的台湾人方可担任。对日本殖民当局在台湾推行的教育，日本人也直言不讳地说：“大体上，即以将作为中华民族的台湾人同化于日本为其根本方针。”