(1)根据奇函数定义,利用f(0)=0且f(-1)=-f(1),列出关于a、b的方程组并解之得a=b=1;
(2)根据函数单调性的定义,任取实数x1、x2,通过作差因式分解可证出:当x1<x2时,f(x1)-f(x2)>0,即得函数f(x)在(-∞,+∞)上为减函数;
(3)根据函数的单调性和奇偶性,将不等式f(t2-2t)+f(2t2-k)<0转化为:k<3t2-2t对任意的t∈R都成立,结合二次函数的图象与性质,可得k的取值范围.
【解析】
(1)∵f(x)为R上的奇函数,∴f(0)=0,可得b=1
又∵f(-1)=-f(1)
∴=-,解之得a=1
经检验当a=1且b=1时,f(x)=,满足f(-x)=-f(x)是奇函数. …(4分)
(2)由(1)得f(x)==-1+,
任取实数x1、x2,且x1<x2
则f(x1)-f(x2)=-=
∵x1<x2,可得,且
∴f(x1)-f(x2)>0,即f(x1)>f(x2),函数f(x)在(-∞,+∞)上为减函数; …(8分)
(3)根据(1)(2)知,函数f(x)是奇函数且在(-∞,+∞)上为减函数.
∴不等式f(t2-2t)+f(2t2-k)<0恒成立,即f(t2-2t)<-f(2t2-k)=f(-2t2+k)
也就是:t2-2t>-2t2+k对任意的t∈R都成立.
变量分离,得k<3t2-2t对任意的t∈R都成立,
∵3t2-2t=3(t-)2-,当t=时有最小值为-
∴k<-,即k的范围是(∞,-). …(12分)