(1)由f(x)为R上的奇函数得f(0)=0,f(-1)=-f(1),解出方程可得a,b值;
(2)由(1)知f(x)==-,利用单调性定义可作出判断;
(3)由f(x)的奇偶性可得,f(t2-2t)+f(2t2-k)<0等价于f(t2-2t)<-f(2t2-k)=f(k-2t2),根据单调性可去掉符号“f”,转化为函数最值解决即可;
【解析】
(1)因为f(x)为R上的奇函数,
所以f(0)=0,即=0,解得b=1,
由f(-1)=-f(1),得,解得a=2,
所以a=2,b=1;
(2)f(x)为R上的奇函数,证明如下:
由(1)知f(x)==-,
设x1<x2,
则f(x1)-f(x2)=(-)-(-)=,
因为x1<x2,所以>0,,+1>0,
所以f(x1)-f(x2)>0,即f(x1)>f(x2),
所以f(x)为减函数;
(3)因为f(x)为奇函数,所以f(t2-2t)+f(2t2-k)<0可化为f(t2-2t)<-f(2t2-k)=f(k-2t2),
又由(2)知f(x)为减函数,所以t2-2t>k-2t2,即3t2-2t>k恒成立,
而3t2-2t=3-,
所以k<.