Tem como resolver isso sem usar rotações (que é o capeta!)
o corpo SÓ VAI GIRAR se e somente se a projeção ortogonal do seu centro de massa (ou centro de gravidade) no solo não passar pela base de apoio.
Ou seja, voce tem que descobrir o centro de massa, e traça uma reta do centro de massa na direção vertical... o bloco vai rolar se essa reta não cruzar a base do bloquinho!
Entao qual é o valor maximo? o valor maximo é aquele que se refere a segunte situação. A projeção ortogonal do centro de massa passa EXATAMENTE pelo vertice mais "baixo" do bloquinho.
Se essa reta ultrapassar ele rola, menos que isso ele fica parado.
Então lá é o limite! quando a reta que vai do centro de massa até o vertice for de fato vertical!
Tá agora aonde tá o centro de massa ? O centro de massa, quando o corpo é de densidade homogenea, e no caso dum quadrilátero, está sempre aonde as diagonais se cruzam!

Uploaded with
ImageShack.usO que voce precisa fazer é descobrir um comprimento para Y de modo que a diagonal do vertice mais alto ao mais baixo fique perfeitamente vertical.
OBS:
Pra essa questão é preciso saber a seguinte propriedade

Uploaded with
ImageShack.ussempre que esses angulos em azul forem retos (como ta desenhado) os angulos "a" serão iguais
não tem como demonstrar isso aqui no forum... desculpa.
Em fim. quando aquela diagonal for vertical essa propriedade pode ser usada! voce verá a base da cunha é horizontal e a diagonal será vertical, portanto 90º e o lado y do quadrado com o solo da cunha forma 90º tbm. dai, usando isso voce consegue...
Use pitágoras se for necessário.