如图所示,设底面正三角形的边长为a,然后根据勾股定理求得棱柱的高的一半,进而得到用a表示的三棱柱的体积,再利用导数即可求得答案.
【解析】
如图所示,设球心为O,正三棱柱的上下底面的中心分别为O1,O2,底面正三角形的边长为a,
则.
由已知得O1O2⊥底面,
在Rt△OAO2中,∠AO2O=90°,由勾股定理得=,
∴V三棱柱===,
令f(a)=9a4-a6(),
则f′(a)=36a3-6a5=-6a3(a2-6),令f′(a)=0,
又∵a>0,解得a=.
∵在区间(0,)上,f′(a)>0;在区间上,f′(a)<0.
∴函数f(a)在区间(0,)上单调递增;在区间上单调递减.
∴函数f(a)在a=时取得极大值.
∵函数f(a)在开区间有唯一的极值点,因此a=也是最大值点.
∴(V三棱柱)max==.
故选C.