Родился в семье аптекаря, учился в Академии художеств в Копенгагене у Карла Фредерика Сёренсена, затем в Карлсруэ у Ханса Гуде. Так как Сёренсен был маринистом, то и Таулов начинал с морских пейзажей. Затем он переехал в Париж, где испытал сильнейшее влияние французских импрессионистов. Часто проводил время в художественной колонии скандинавских художников, основанной Микаэлем Анкером. В 1880 году он вернулся в Норвегию, где наряду с Кристианом Крогом и Эриком Вереншёллем стал одной из крупнейших фигур художественной сцены Осло. В 1882 году стал одним из основателей ежегодной выставки современного искусства в Осло. В 1892 году Таулов снова переехал во Францию, а в 1898 году, после путешествия в США, окончательно поселился в Париже. Фриц Таулов был одним из немногих норвежских художников, получивших международную известность.
Умер в Нидерландах в 1906 году.