Если слово «река» стоит перед названием, то пишется раздельно. Слово «река» пишется с маленькой буквы.
Они поехали на реку Оку.
Если слово «река» стоит после названия, то пишется через дефис.
Текла Ока-река.
Правило
§93.2. Дефис пишется после имени собственного (чаще всего — географического названия, выступающего в роли приложения при родовом наименовании): Москва-река. (Но без дефиса при обратном порядке слов: река Москва).