The Legend of Zelda: Breath of the Wild: Duda sobre el castillo

Hola, estoy juegando el juego por primera vez, apenas tengo 2 bestias divinas, pero siento una gran curiosidad por ir hacia el castillo, ya que hay misiones secundarias que me han pedido que entre, como un sujeto que me dijo que ahi habia un libro de recetas o algo así, ademas creo que hay un recuerdo en el, no estoy seguro.
Mi pregunta es, si me aproximo lo suficiente al castillo entonces avanzo directamente al final o hay una forma de entrar al castillo aún con toda la cosa roja esa de Ganon?