设a=tanα,b=tanβ,c=tanγ,α,β,γ∈(0,),然后将p利用同角三角函数关系进行化简,根据条件可求出角α、β、γ的等量关系,最后利用二次函数的性质求出最值即可.
【解析】
设a=tanα,b=tanβ,c=tanγ,α,β,γ∈(0,),
则p=2cos2α-2cos2β+3cos2γ=cos2α-cos2β+3cos2γ=2sin(α+β)sin(β-α)+3cos2γ.
由abc+a+c=b得b=
即tanβ==tan(α+γ),又α,β,γ∈(0,),
所以β=α+γ,β-α=γ,p=2sin(α+β)sin(β-α)+3cos2γ=2sin(α+β)sinγ+3cos2γ≤2sinγ+3cos2γ=-3(sinγ-)2≤.
当α+β=,sinγ=时取等号.
所以的最大值为
故答案为: