Потреба в створенні єдиної організації для управління всім світовим футболом стала очевидною на початку 20 століття зі зростанням популярності та кількості міжнародних матчів. Спочатку Футбольна Асоціація Англії очолювала процес врегулювання різних дискусійних питань зі створення, але ця робота була без прогресу; і тому право створити таку організацію випало на долю семи інших європейських держав. ФІФА було засновано 21 травня 1904 в Парижі, саме цей факт став причиною того, що в загальноприйнятих повній та скороченій формі використовується французька назва. Країнами-засновниками були Бельгія, Данія, Іспанія, Нідерланди,Франція, Швейцарія і Швеція; трохи пізніше цього ж року до ФІФА приєдналася Німеччина, а ще через рік Австрія, Англія та Італія. Першим президентом ФІФА був французРобер Герен.
Літературний переклад на українську — «Міжнародна федерація футболу асоціації», тобто різновиду футболу англійської Футбольної Асоціації. Всупереч поширеній думці, de football association, зовсім не означає — «футбольних асоціацій», що було б по-французьки — des associations de football.
Перші змагання під егідою ФІФА були проведені в 1906 році, хоча особливих успіхів в організації змагань ФІФА не досягла. Цей факт, в комбінації з низкою економічних чинників привів до відставки Герена з поста президента і його заміни Деніелом Вулфоллом з Англії, яка на той час уже стала членом асоціації. Наступні змагання під егідою ФІФА — футбольний турнір на Олімпійських Іграх 1908 року в Лондоні були набагато успішнішими, хоча і виникли певні проблеми пов'язані з участю професійних футболістів в Олімпійських Іграх.
Членство ФІФА розширилося за межі Європи з прийняттям Південно-Африканського Союзу в 1909, Аргентини і Чилі в 1912 і Сполучених Штатів в 1913.
Під час Першої світової війни ФІФА пережила серйозні випробовування, так як багато гравців відправилися на фронт, а можливість міжнародних переїздів для проведення турнірів була сильно обмеженою. Після війни, зі смертю Вулфолла, президентський пост обійняв голландець Карл Хіршманн. ФІФА була врятована від повного розвалу, але ціною цього був вихід з організації усіх чотирьох британських асоціацій, котрі не бажали брати участь у міжнародних змаганнях з їхніми недавніми ворогами.
