根据余弦定理结合C=60°,算出c2=a2+b2-ab,结合题中的等式得a2+b2-ab=25-3ab,整理得(a+b)2=25,解出a+b=5.由基本不等式,得当且仅当a=b=时ab的最大值为,由此结合正弦定理的面积公式,即可算出△ABC的面积的最大值.
【解析】
∵△ABC中,C=60°,∴c2=a2+b2-2abcosC=a2+b2-ab
又∵3ab=25-c2,得c2=25-3ab
∴a2+b2-ab=25-3ab,移项得(a+b)2=25,可得a+b=5
∵△ABC的面积S=absinC=ab,且ab≤=
∴当且仅当a=b=时,ab的最大值为,此时△ABC的面积的最大值为
故答案为: