自超导体发现以来,磁性与超导电性的关系问题一直是超导研究前沿课题之一。尤其是非常规超导体,例如重费米子超导体、铜基超导体和铁基超导体。在该类体系中,超导电性往往出现在反铁磁序的附近。为理解非常规超导电性的微观起源,认识并研究材料中的磁结构和相关相变是至关重要的第一步。中子具有磁矩且不带电荷,因此成为了人们研究磁性质最有利的实验手段。我们可以利用粉末中子衍射技术,来研究体系的磁结构及磁相变现象;同时也可以利用非弹性中子散射实验手段来研究材料的磁激发等行为。本文引言部分简单介绍了重费米子材料、铜基超导体及铁基超导体等过渡金属化合物的磁性质研究,以及利用中子衍射技术解析磁结构的基本原理及磁结构的分类情况,重点介绍了Rietveld方法解析磁结构的方法和流程。第二章主要介绍了新型氮化物超导体ThFeAsN（T_c=30K）化合物粉末中子衍射及输运性质的测量结果。实验结果表明,在ThFe AsN化合物中,不存在磁相变现象,只有一个160K左右的结构畸变。电阻、霍尔系数以及晶格参数等数据表明,该化合物是接近电子型最佳掺杂的超导体。因为,通过结构精修分析,我们认为ThFeAsN化合物中的电子型载流子有可能来源于N缺位或者O元素在N位的掺杂。同时,较低的Fe-As层高度有可能会加强电子的巡游性,从而降低电子关联强度,进一步抑制静态磁有序的形成。第三章详细介绍了用自助熔剂方法生长大块重费米子化合物Yb_1-xTb_xAgGe单晶样品的方法,以及电阻、比热、磁化率等实验和中子衍射实验的测量结果。输运测量的结果表明,Tb元素的掺杂会提高体系的磁转变温度并增加磁转变的个数,从而使掺杂体系的磁性质变得更为复杂。电阻、比热及中子衍射谱的结果表明,我们能够生长出具有磁有序与不存在磁有序转变的kagome格子型的YbAgGe单晶样品。我们认为磁性的不同有可能和晶格的微观结构变化有很大关系。第四章主要介绍了3d过渡金属氮化物Cr₂GaN粉末样品结构和磁性相变的测量结果。粉末中子衍射实验表明Cr₂GaN样品具有170K的磁转变且磁性与晶格之间存在一定的耦合作用。中子衍射数据解析的结果表明,Cr₂GaN样品有可能同时在磁相变温度170K发生了结构转变。进一步的晶体结构和磁结构的精修还需高精度的同步辐射X射线衍射和高分辨中子衍射的数据分析。第五章主要介绍了Sr_1-xBa_xFe_1.97Ni_0.03As₂系列样品中电阻率与单轴压力的变化关系。我们发现,在向列相转变温度附近,电阻率与所施加的单轴压力呈非线性行为。该行为可以通过非零外场条件下的朗道二阶相变理论来解释,而各向同性与向列相的序参数之间的耦合作用可以忽略不计。我们的结果表明,在Sr_1-xBa_xFe_1.97Ni_0.03As₂体系中,磁弹性耦合的强度决定了化合物的磁转变和向列相转变的特点。第六章对全文进行了总结与展望。