(I)先求函数的定义域,然后求导函数,求出f'(x)=0的两个根,然后比较大小,确定a的范围,最后根据f'(x)>0的解集为增区间,f'(x)<0的解集为减区间;
(II)要使函数f(x)在[1,2]上总存在x1,x2,使得(x1-x2)[f(x1)-f(x2)]>0成立,即使函数f(x)在[1,2]上不是单调递减函数,根据(I)可求出a的范围.
【解析】
(I)函数y=f(x)的定义域为:(0,+∞)
因为f(x)=x2-(2a+1)x+alnx(a>0)
所以f'(x)=2x-(2a+1)+=
令f'(x)=0则,x2=a
(i)当0<a<时,由f'(x)>0得x∈(0,a),(,+∞)
由f'(x)<0得,x∈(a,)
所以函数f(x)的单调递减区间是(a,)
(ii)a=时,f'(x)≥0
所以函数f(x)的单调递增区间是(0,+∞)
(iii)当a>时由f'(x)>0得x∈(0,),(a,+∞)
所以函数f(x)的单调递增区间是(0,),(a,+∞)
由f'(x)<0得x∈(,a)
所以函数f(x)的单调递减区间是(,a)
(II)要使函数f(x)在[1,2]上总存在x1,x2,使得(x1-x2)[f(x1)-f(x2)]>0成立,即
函数f(x)在[1,2]上不是单调递减函数.
由(I)可知,函数f(x)在[1,2]上单调递减时,a∈[2,+∞)
所以a∈(0,2)时,函数f(x)在[1,2]上不是单调递减函数.
所以函数f(x)在[1,2]上总存在x1,x2,使得(x1-x2)[f(x1)-f(x2)]>0成立,
实数a的取值范围是(0,2).