1)若a=1,b=–2时,f(x)=x^2-x-3
则f(x0)=x0,得x0^2-2x0-3=0,得x0=3或x0=-1
即f(x)的不动点为x0=3或x0=-1.
2)、f(x0)=x0,则ax^2+(b+1)x0+b-1=x0
得,ax^2+bx0+b-1=0
函数f(x)恒有两个相异的不动点,则delta=b^2-4a(b-1)>0
b^2-4ab+4a>0,则(b-2a)^2-4a^2+4a>0
对于b为任意实数,4a-4a^2>0,
a(a-1)<0
即0
所以a的取值范围为(0,1)