Как мне кажется,


здесь очевидно.
И ни вопроса не требует, ни ответа, ни совета.
Если вас упрекают за молчание, и вам это нравится - продолжайте молчать.
Если вам это не нравится - ну тогда не молчите, и поддерживайте уже разговор.
Или же продолжайте молчать, но при упреках объясните причину вашего молчания.
Объясните доходчиво - не чтобы отвязались, а чтобы собеседник причину понял.
Он может ее не принять, быть не согласен - но постарайтесь говорить "на его языке", чтобы достичь понимания.
Впрочем, есть еще вариант: а зачем, собственно, вы общаетесь, если молчите?
Что это за "разговор" такой, который поддерживает только один из собеседников?
Не общайтесь, если не хотите разговаривать, всего-то и делов...