[C#]Problem z wczytaniem pliku

Witam.
Robię w C# mały program kompilator, ma on wczytywać pliki z projektu i ustawienia kompilatora z pliku binarnego(System.Runtime.Serialization.Formatters.Binary.BinaryFormatter).
I tu pojawia się problem: jak wczytać plik różnego typu(binarny,tekstowy,xml itd) do jednej zmiennej?
Może tablica bajtów?

Może być tablica bajtów, jeśli cię to uszczęśliwi: File.ReadAllBytes