由甲的化学式为XY2,可得其中X、Y原子个数比=1:2;根据甲、乙两种化合物中X元素的质量分数分别为30.4%和25.9%,可知甲物质中元素X的质量分数大于乙物质,可判断乙物质中X、Y原子个数比应小于1:2.
【解析】
A、由化学式XY,其中X、Y原子个数比=1:1,大于1:2;故A不正确;
B、由化学式X2Y,其中X、Y原子个数比=2:1,大于1:2;故B不正确;
C、由化学式X2Y3,其中X、Y原子个数比=2:3,大于1:2;故C不正确;
D、由化学式X2Y5,其中X、Y原子个数比=2:5,小于1:2,故D正确;
故选D.