Фиалки - цветы, которые ассоциируются с нежностью, скромностью, незаметностью даже.
Эти качества отчасти и определили то, каких людей стали называть в "честь" этих цветов - речь идёт об излишне нежных натурах, которых пугают или возмущают те вещи, которые людям с более крепкими нервами или богатым жизненным опытом кажутся невинными. Это вполне естественно для детей или подростков, но взрослые люди, которые едва ли в обморок не падают, увидев кровь или услышав матерное слово, вызывают желание поглумиться над их "нежностью" и прозвать их фиалками.
Поэтому, даже если вам кажется, что это красивый цветок и сравнение с ним будет девушке приятно, учитывайте этот контекст - может и обидеться. Особенно если она действительно "фиалка".