First, see if you can do this in plain LaTeX with xelatex or lualatex
\documentclass{article}
\usepackage{fontspec}
\usepackage{xepersian}
\settextfont{XB Niloofar}
\begin{document}
امروزه زبان برنامه نویسی R بعنوان زبانی برای استفاده در محیط های دانشگاهی و صنعت به کار می رود. تعداد فزاینده ای از محققان ،R را به عنوان یکی از ابزارهای تولیدی آنالیز داده ها و تجسم داده ها انتخاب می کنند. این نرم افزار کاملاً رایگان و منبع باز می باشد و یکی از مزیت های آن داشتن پکیج های زیاد و همچنین جامعه آماری از برنامه نویسان آن می باشد.
\end{document}
Being able to do that probably won't solve the rmarkdown problem, but being unable will definitely prevent solving it.
It might be necessary to use a custom pandoc call. Let's see how it goes.