由参谋长联席会议主席掌握的内部机构主要有事务局、联合参谋学校和情报本部等。事务局是参谋长联席会议的办事机构，局长由中将或少将担任，奉参谋长联席会议主席之命掌管事务局工作，为会议准备方案，并列席会议对有关问题进行说明。联合参谋学校是参谋长联席会议的附属机关，主要培训中校级军官，使其掌握部队联合运用的有关知识和技能，并能胜任高级指挥官和高级参谋的职务。情报本部的主要任务是对新的世界军事形势下的日本防卫所必需的情报进行搜集、处理和分析，以提高防卫厅整体的情报机能。
另据报道，日本政府已在安全保障会议上决定，通过修改《自卫队法》来扩大参谋长联席会议的职能，使目前仅限于日本有事时的参谋长联席会议及会议主席的指挥权扩大到联合国维和行动和救灾等领域。这就使参谋长联席会议既能够在平时根据需要进行指挥和下达命令，也能够在新《日美防卫合作指导方针》中所强调的周边地区出现紧急事态时做出反应。扩大的参谋长联席会议主席的权限包括：海上警备行动；救灾出动；防止侵犯领空措施；国际紧急救援活动；救助侨居海外的日本人的活动等。