Может ли предложение начинаться со знака препинания? С какого?

В русском языке таких знаков препинания два.

Написание предложение может начинаться с кавычек, если это прямая речь или условное название.

Может начинаться с тире, если это диалог.

В некоторых романских языках, например в испанском, написание восклицательных и вопросительных предложений начинаются с перевёрнутого восклицательного и вопросительного знаков соответственно.

Однако!

Вопрос сформулирован с подвохом сознательно или в добросовестном заблуждении автора.

Со знака препинания может начинаться не предложение, а его написание. Предложение может начинаться со словосочетания «знак препинания». Предложение по определению начинается со слова(или части предложения)! Эти части предложения или сами предложения могут быть выделены знаками препинания. Говорить, что предложение начинается со знака препинания неверно категорически.

Поэтому упоминать прочие многоточия или апострофы не имеет смысла.

Если я верно понимаю, то знаки препинания располагаются между словами в тексте.

Между словами.

И все же есть, как минимум, два случая, когда знак препинания может стоять в начале предложения:

• тире, обозначающее прямую речь;
• кавычки.

Вот как-то так.