Nato a Livorno, in Toscana da una famiglia ebraica – quarto figlio del livornese Flaminio Modigliani e di sua moglie, francese di nascita, Eugénie Garsin – crebbe nella povertà, dopo che l'impresa di mezzadria in Sardegna del padre andò in bancarotta.p> Fin dall'adolescenza fu afflitto da problemi di salute, dopo un attacco di febbre tifoide, avuto all'età di 14 anni, seguito dalla tubercolosi due anni dopo.
La famiglia di Modigliani soffriva di una storia di depressione, che colpì anche lui e alcuni dei suoi fratelli, che condivisero la sua stessa natura testarda e indipendente. Nel 1898 il fratello maggiore, Giuseppe Emanuele, futuro deputato del Partito Socialista Italiano, venne condannato a sei mesi di carcere.
