Gentile Luciana,
da come è posta la Sua domanda immagino che Sua madre non abbia lasciato un testamento e che Suo padre non concorra come erede (o perchè già deceduto o perchè divorziato o in caso di indegnità).
In assenza di testamento la distinzione tra quota di legittima e quota disponibile (e di conseguenza la questione inerente la lesione della prima a danno di uno dei coeredi) viene in rilievo se vi sono state donazioni fatte in vita dal de cuius a favore o di un erede o di un soggetto terzo.
Faccio questa distinzione perché Lei parla di rinuncia della quota di legittima quando in realtà questa comporta alla rinuncia alla intera posizione di erede: non è ammessa una rinuncia all'eredità parziale.
Rinuncia alla quota di legittima: subentrano i discendenti
Se non vi sono state neanche donazioni, ad ogni fratello spetterebbe un sesto dell'asse ereditario.
Se uno dei fratelli rinuncia all'eredità si applica l'istituto della rappresentazione: i suoi discendenti subentrano nella sua posizione e dunque nel suo diritto sulla quota, potendo accettare o meno l'eredità e così via in favore degli ulteriori rispettivi discendenti.
Si parla solo di discendenti, pertanto se un fratello rinuncia all'eredità subentrano figli, nipoti (intesi come figli dei figli) e così via.
La rappresentazione opera nel senso che i rappresentanti subentrano nella stessa quota del rinunciante: ad es. se Suo fratello rinunciante avesse 3 figli, ognuno subentrerebbe per un terzo nella quota di un sesto originariamente spettante al primo.
Se i discendenti del fratello che rinuncia alla legittima rinunciano a loro volta, o se Suo fratello non ha figli, la quota del fratello rinunciante viene ripartita tra gli altri eredi che accettano l'eredità.
Sperando di esserLe stata utile, porgo cordiali saluti.