Dette ble noe grisete, er veldig spent på om du har en elegant løsning Plutarco!
Setter [tex]a=b+s[/tex] og [tex]c=b-t[/tex] hvilket gir at [tex]3b+s-t=3[/tex].
[tex]ab^2+bc^2+ca^2=(b+s)b^2+b(b-t)^2+(b-t)(b+s)^2[/tex]
som etter litt regning gir
[tex]3 b^{3} + 3b^{2}(s-t)+b(s-t)^2-ts^2=3b^{3} + b(s-t)(3b+s-t)-ts^{2}[/tex]
Bruker at [tex]3b+s-t=3[/tex] og at [tex]s-t=3-3b[/tex] og får
[tex]3b^{3}-9b^{2}+9b-ts^{2}[/tex]
Hvis vi lar b være konstant ser vi at funksjonen blir maksimert når enten [tex]t=0[/tex] eller [tex]s=0[/tex]
med andre ord at [tex]a=b[/tex] eller [tex]b=c[/tex]. Å sette to av variablene like vil alltid være mulig siden
den siste variabelen er fri slik at den kan sørge for at summen er 3.
Ved å deretter analysere funksjonen [tex]f(b)=3b^{3}-9b^{2}+9b[/tex] ser man at den er voksende på [tex][0,\frac32][/tex]
(merk at siden [tex]a \geq b\geq c[/tex] må [tex]b\leq\frac32[/tex])
Dermed er uttrykket maksimert for [tex]b=\frac32[/tex] som gir [tex](a,b,c)=(\frac32,\frac32,0)[/tex].
[tex]f(\frac32)=\frac{27}8[/tex]
Dermed er [tex]ab^2 + bc^2 + ca^2 \leq \frac{27}8[/tex] med likhet ved [tex](a,b,c)=(\frac32,\frac32,0)[/tex]