В данном случае, насколько я понимаю, нужно сделать такие преобразования координат, чтобы вектор r стал новой осью OZ. Этого можно добиться с помощью двух шагов:
1)Нужно сделать поворот вокруг оси z на угол -(минус)фи - тогда вектор r будет лежать в новой плоскости OXZ. Переобразование координат при таком повороте описывается матрицей Rz(-фи), представленной @Daniel5555.
2)Затем нужно совершить поворот вокруг оси OY, и тогда вектор r станет новой осью OZ. Этот поворот описывается матрицей Ry(-тета).
Таким образом полная матрица перехода от одной системы сферических координат к другой равна произведению матриц Ry(-тета)*Rz(-фи).
