拓扑绝缘体和拓扑超导体是拓扑材料领域发展以来广受关注的两类体系。利用拓扑绝缘体中的无耗散拓扑边界态可以构建极低功耗的器件,通过调控它的拓扑性质可以使其在自旋电子学领域中有着广阔的应用前景。拓扑超导体中的Majorana费米子遵循非阿贝尔统计规律,因此可以用来实现拓扑量子计算。拓扑超导体系需要通过构建类p波超导体来实现,理论和实验表明Yu-Shiba-Rusinov（YSR）态的耦合可以产生拓扑的YSR能带,使超导衬底上的磁性原子链两端或磁性岛边界上产生Majorana费米子。如果磁性原子与超导的相互作用产生了多组YSR态会使拓扑超导体系变得更加复杂和有趣,因此探究多组YSR态的起源并对其进行调控将会丰富拓扑超导的性质。当我们构建的拓扑超导体足够小时,库仑阻塞效应就会与超导耦合。同时我们可以结合小尺寸超导体中的高临界磁场来研究Majorana费米子的编织,输运以及超对称性等基础性质。本论文中,我们通过分子束外延技术和扫描隧道显微镜技术,研究了三维狄拉克半金属Na3Bi随层厚降低转变为拓扑绝缘体的相变过程,Tb2Pc3磁性分子在Pb上的YSR态的起源和调控以及小尺寸Pb岛中超导与库仑阻塞的相互作用。本论文的主要研究成果为:（1）我们通过分子束外延的方法在石墨烯表面上生长出多种层厚的Na3Bi薄膜并在Na3Bi薄膜表面上发现了√3×√3的表面重构。DFT计算表明该重构是由表面Na原子的三聚化导致的,并且对材料的电子性质没有影响。随着薄膜层数逐渐降低,我们分别在三层和四层Na3Bi薄膜上测到了大小为72 me V和65 me V的能隙,表明了Na3Bi由半金属转变为绝缘体,同时在三层和四层Na3Bi薄膜边界处均发现了拓扑边界态。我们结合第一性原理计算得到当Na3Bi的层厚在七层及以下时,Na3Bi为二维拓扑绝缘体。而当Na3Bi的层厚在七层以上时,其不再打开能隙从而转变成为狄拉克半金属。（2）我们使用分子束外延技术在Pb（111）薄膜上生长Tb Pc2分子。部分Tb Pc2分子会在生长过程中发生分解并重组为Tb2Pc3分子并沉积到Pb膜上。分子与Pb之间存在电荷转移,会使Tb Pc2分子失去局域磁矩而使Tb2Pc3分子对外展现磁性。Tb2Pc3中的孤立电子会与Pb中的传导电子发生耦合,使得我们可以在Tb2Pc3上看到近藤共振峰以及YSR态。进一步地对Tb2Pc3分子进行研究后发现近藤峰的强度和分子轨道呈现二重对称性,并且它们在空间上的分布相互垂直,说明电子在分子内部的分布具有二重对称性。更意外的是我们发现分子上存在两对YSR态,且YSR态的能量位置与近藤峰的强度存在关联。通过改变针尖与样品的距离,我们可以连续调节分子与衬底之间的耦合强度进而调控体系的基态。我们结合DFT+U以及NRG方法计算得到,分子内部近藤峰强度与分子轨道的二重对称性来源于费米面附近原本简并的分子轨道的劈裂,并且两个分子轨道一个为半占据状态另一个几乎为空态,在这两个轨道的共同作用下产生了两对YSR态。（3）同样通过分子束外延方法,我们在STO（001）衬底上生长出各种尺寸的铅岛。在尺寸超过200 nm的铅岛上,超导能隙会随着针尖样品距离的变化而改变。通过施加1 T的磁场抑制超导,我们发现随着针尖样品距离的减小,动态库仑阻塞效应逐渐增强。这说明库伯对叠加了动态库仑阻塞的能量后会使原有的超导相干峰展宽并同时出现新的超导能隙。而在尺寸为10 nm的铅岛上会出现一系列库仑台阶峰,并在每个库仑台阶峰靠近费米能旁2Δ处会出现一个与超导相关的小峰,小峰会随着磁场的增加以及温度的升高而消失。改变针尖与样品的相对位置,可以使岛内的电荷数发生奇偶变化,这种奇偶宇称变化会使费米面附近的库仑台阶峰出现或消失,表明超导体内电子的隧穿概率会受到超导宇称的调制。