ארתור הולי קומפטון נולד בווסטר, אוהיו שבארצות הברית. עד שנת 1918 חקר את סיבוב כדור הארץ ולאחר מכן פנה לחקור את פיזורן של קרני רנטגן. בשנת 1922 גילה כי אורך הגל של קרניים אלו גדל עקב פיזור האנרגיה על ידי אלקטרונים חופשיים. האנרגיה של הקרניים שהתפזרו הייתה קטנה מזו של הקרן המקורית. בזכות גילוי זה, הידוע בשם אפקט קומפטון (או "פיזור קומפטון"), זכה קומפטון בפרס נובל לפיזיקה בשנת 1927.  בשנת 1920 מונה ארתור קומפטון לראש המחלקה לפיזיקה באוניברסיטת וושינגטון בסנט לואיס תפקיד אותו מילא עד שנת 1923.

בשנת 1941 השתלב קומפטון בתוכנית האמריקנית לפיתוח פצצת האטום - לימים פרויקט מנהטן. הוא מונה כאחראי הוועדה לחקר התכונות והייצור של אורניוםמטעם המשרד למחקר ופיתוח מדעי (Office of Scientific Research and Development -OSRD). בשנת 1942 מינה את רוברט אופנהיימר לתאורטיקן הראשי של הוועדה. בקיץ של אותה שנה השתלט הצבא על הוועדה והיא הפכה לפרויקט מנהטן.

מיד לאחר המתקפה על פרל הארבור ב-7 בדצמבר 1941, הצליח קומפטון לגייס תמיכה במחקר אודות ייצוב פלוטוניום באוניברסיטת שיקגו. לוח הזמנים היה צפוף מאחר שהמטרה הייתה לייצר פצצת אטום עד ינואר 1945 (מטרה שהושגה לבסוף באיחור של חצי שנה). המחקר כלל ניסיונות ליצור תגובת שרשרת גרעינית של אורניום ולהמירו לפלוטוניום, להפריד את האורניום והפלוטוניום, ולבסוף לתכנן פצצה. ב-2 בדצמבר 1942 הצליח צוות המעבדה, תחת הנהגתו של אנריקו פרמי, ליצור לראשונה תגובת שרשרת גרעינית מבוקרת. היה זה השלב הראשון בפיתוח הפצצה, והידיעה הועברה בטלפון למרכז בוושינגטון במשפט הצופן המפורסם "יורד הים האיטלקי הגיע לעולם החדש" .

לאחר סיום המלחמה חזר קומפטון לאוניברסיטת וושינגטון, ומונה לנשיאה התשיעי בשנת 1946. בזמן כהונתו ערך רפורמות וייסד תקדימים, ביניהם מינוי ראשון של אישה למשרת פרופסור. בעזרת קשריו הרבים ובזכות המוניטין שיצא לו הצליח לגייס מדענים ידועים רבים לשורות המוסד. אולם על אף הישגיו אלו, הוא ספג ביקורת על כך שהאוניברסיטה הייתה האחרונה בסנט לואיס שקיבלה לשורותיה תלמידים אפרו-אמריקאים. הוא התפטר מתפקידו כנשיא האוניברסיטה בשנת 1953, אך נשאר בפקולטה לפיזיקה עד פרישתו ב-1961.

מכתש על הירח נקרא על שמו ועל שם אחיו קרל.