Is it worth waking up early when traveling?

Some of my best travel moments happened early in the morning before places became crowded. But waking up early every day can also make a trip exhausting. Do you plan sunrise viewpoints, quiet walks, or markets into your trips? Or do you prefer slow mornings and more rest?