A grandeza de interesse a ser minimizada ou maximizada é a
distância entre as curvas. Assim, o primeiro passo é determiná-la em função dos parâmetros das mesmas.
A distância entre dois pontos

e

é dada por

.
Como um dos pontos deve pertencer a elipse e o outro a reta, então podemos relacionar as coordenadas, escolhendo, por exemplo, o subíndice 1 para a reta e 2 para a elipse, da seguinte forma

de modo que

Agora não sei se o ponto sobre a elipse é um qualquer, um específico(não parece ser pelo enunciado) ou se é o par de pontos que minimizam ou maximizam a função distância não localmente mas globalmente. Se sim, então temos uma função de duas variáveis e as respectivas derivadas parciais de cada variável serão nulas nos pontos de máximo e mínimo.
Uma outra alternativa seria considerar que a distância entre as curvas deveria ser uma reta PERPENDICULAR a reta dada. Isto simplificaria bastante as coisas. Veja que, nesse caso, a distância entre um ponto

qualquer pertencente a elipse e a reta de equação

é dada por

e dada reta, então

.
Como o ponto deve pertencer a elipse, temos a relação

e, portanto,

.
Agora temos a distância entre as curvas em função da coordenada

que, como varia de

a

e ,nesse intervalo, o valor que está dentro do módulo é negativo podemos nos livrar dele colocando um sinal menos na frente da função.

ou

.
Agora para extremá-la temos de calcular qual valor de

que zera a derivada primeira.