Olá Thiago,
Se os 45 subconjuntos não forem disjuntos (isto é, se é possível haver elementos em comum entre os subconjuntos), creio que o caminho para resolver esse problema é através da combinação simples.
Ou seja, o exercício está perguntando quantos elementos tem um conjunto que, tomados os elementos dois a dois, a quantidade de subconjuntos é 45.
Fórmula da combinação simples:

Substituindo pelos valores que conhecemos que são o 45 e a quantidade de elementos (2) de cada subconjunto:

Manipulando um pouquinho...





Resolvendo por Bhaskara você encontra a raiz positiva que é 10. Portanto, um conjunto de 10 elementos tomados dois a dois tem 45 subconjuntos.