В словах "невежда" и "невежа" исторический корень -вед- (как и в словах "ведать", "ведьма").
Невежда - это необразованный человек, который к знающим людям относится враждебно. А невежа - невоспитанный человек.
В древнерусском языке было слово "вежа". Оно относилось к человеку опытному, ученому, знающему, как себя держать. Это же слово можно обнаружить и в словаре Даля, но уже с пометой "старое".
Современному языку в наследство от "вежи" досталось "вежливость". В древнерусская форма "невежа" стала обозначением человека невоспитанного.
Необразованного, несведущего человека стали называть невеждой. Использовался старославянский вариант того же корня -веж-.