Primeiramente vamos tentar resolver a letra a)
Sugiro que você monte um esboço do que o problema quer. Você já conseguiu interpretá-lo?
Depois disso, você precisa usar o volume de um paralelepípedo, que é:

, onde

é a área da base e

é a altura.
Experimente pegar x como 1, 2, 3 e veja qual resultado quer. Pegar x como esses valores, significa que você irá cortar nas pontas um quadrado de lado 1, 2 e 3 e irá sobrar as partes que sobraram, formando, como o enunciado diz, uma caixa sem tampa.
Tente aí e depois me diga onde você chegou..