Puedes ser más especifica? Si sigues recibiendo exactamente el mismo mensaje entonces no has instalado RTools correctamente, si el mensaje de error es distinto, entonces por favor publicalo aquí para poder ayudarte.
También, ten presente que ggtree no está disponible en CRAN sino en Bioconductor así que tienes que instalarlo de esta forma
if (!requireNamespace("BiocManager", quietly = TRUE))
install.packages("BiocManager")
BiocManager::install("ggtree")