הגרעין הצרפתי הראשון שהצטרף לקיבוץ הארצי עלה לארץ בשנת 1948. חבריו עלו לארץ כבודדים במשך תקופה של כשנה, והתקבצו להכשרה בקיבוץ בית זרע, שם הצטרף אליהם גרעין נוסף שהיה ראשון מסוגו בקיבוץ הארצי - גרעין טוניסאי. החיבור בין הגרעינים היה טבעי, מכיוון שגם חברי הגרעין הטוניסאי היו דוברי צרפתית. שני הגרעינים עברו הכשרה משותפת בבית זרע עד שבשנת 1950 הוחלט שיעלו יחד לקרקע ויקימו קיבוץ ארץ-ישראלי חדש.
ב-20 באפריל 1950 ההחלטה התממשה. השטח שהוקצה להם היה על אדמות הכפר הערבי ח'רביה, שננטש במהלך מלחמת העצמאות. חברי הגרעינים הגיעו לשם לפנות בוקר, התמקמו בתוך בניין בית ספר נטוש שנשאר עומד עוד מימי המנדט הבריטי, והחלו לעמול על בניית קיבוצם. עוד באותו הערב התקיים במקום טקס העלייה לקרקע, בנוכחותם של בכירים רבים מהקיבוץ הארצי והנהגת המדינה. הוחלט כי שם הקיבוץ יהיה כרמיה - שילוב בין שם הכפר ח'רביה לבין המילה כרם, כאזכור לכרמים הרבים שהקיפו את האזור.
השנים הראשונות בנגב היו מאתגרות במיוחד. מסתננים מרצועת עזה היו פולשים לשטח הקיבוץ באופן תדיר, גונבים רכוש ועושים נזק למטעים ולשדות הקיבוץ. בנוסף לכך, במסגרת הפדאיון ביצעו המסתננים פעולות טרור בכל רחבי הנגב המערבי. בשנת 1955 התנהל קרב אווירי עם מטוסי חיל האוויר המצרי ממש מעל הקיבוץ, שהסתיים בנפילת שני מטוסים מצריים בשדות כרמיה. בשנת 1956 נהרג אחד ממייסדי הקיבוץ - שמואל גרינפלד - בקרב על משטרת קלקיליה.
בסוף שנת 1952 טלטלה 'פרשת סנה' את הקיבוץ הארצי. משה סנה, שהיה חבר מפלגת מפ"ם, החל לקדם רעיונות אנטי-ציוניים שהיו מנוגדים לקו שהקיבוץ הארצי שאף להנהיג. הדבר עורר מחלוקת משמעותית בקיבוצים רבים בארץ, משום שחלק מהחברים צידדו בגישתו של סנה והתנגדו לזו של הקיבוץ הארצי. בסופו של דבר החליטה הנהגת הקיבוץ הארצי לערוך רפרנדום (משאל עם) בקרב כל חברי התנועה על מנת לבדוק מי מזדהה עם גישתו של סנה, והאנשים שצידדו בו התבקשו לעזוב את הקיבוצים.
קיבוץ כרמיה היה אחד מהקיבוצים שנפגעו מהפרשה באופן הקשה ביותר. 22 חברים הוצאו מהקיבוץ בשל תמיכתם בעמדתו של סנה, וכמחאה על כך פתחו בשביתת רעב שנמשכה שלושה ימים. בסופו של דבר, ולאחר שקיבלו פיצויים הולמים, הוצאו 22 החברים באופן סופי מהקיבוץ.
עזיבתם המיידית של כמות כזו גדולה של חברי קיבוץ פגעה ביכולתם של החברים הנותרים להמשיך ולתפעל את המשק כראוי. גם בשנים שלאחר מכן, בעקבות המשבר, היו עזיבות רבות בקיבוץ ומספר החברים הלך והצטמצם. התנועה התגייסה על מנת לפצות על כך ובנתה פלוגה מקובצת של חברי קיבוצים מכל הארץ שבאו לסייע בתחזוקת המשק בכרמיה. בנוסף, בשנת 1958 הוחלט כי קיבוץ משמר העמק יאמץ את כרמיה, ובמסגרת האימוץ שלחו לכרמיה חברי ש.ש.ש (שנת שירות שלישית) שסייעו גם הם בתגבור כוח האדם. במספר השנים שלאחר מכן הגיעו לקיבוץ מספר גדול של השלמות - גרעין ישראלי גדיש, חברת נוער שלהבת, גרעין נירים, ומספר גרעינים נוספים ממרוקו ומארגנטינה, עד שבסופו של דבר הקיבוץ התייצב מחדש.
העשורים הבאים בכרמיה מהווים תקופה של צמיחה והתפתחות משמעותית בקיבוץ. נבנו בקיבוץ מקלחות חדשות, מוסך, בריכת שחייה, מועדון חדש, פעוטון חדש ומגרש כדורסל. נסלל כביש גישה למשק, נרכשו מספר טרקטורים חדשים לענפי המשק והנוי, נרכש והוקם מפעל לשמיכות ולפליז שנקרא - 'שמיכות כרמיה', ומגיעים מספר גרעינים חדשים לקיבוץ. גם בתרבות הקיבוצית ישנם חידושים - נרכשת טלוויזיה ראשונה לקיבוץ ובעקבותיה גם מכונת קולנוע להקרנת סרטים, ומתקבעות מסורות קיבוציות ביניהן חגיגות משותפות בחגים וקבלות שבת שבועיות.
לצד השגשוג נאלצים חברי כרמיה, כמו שאר תושבי מדינת ישראל, להתמודד עם טלטלות ביטחוניות רבות. בחודשים המתוחים לפני מלחמת ששת הימים (1967) עברו הגברים בקיבוץ אימונים כדרך קבע, ונחפרו תעלות הגנה מסביב לכל הקיבוץ. הקיבוץ אף איבד כמה מחבריו - רן עמרם שנהרג במלחמת ההתשה, דן אלקבץ שנהרג במלחמת לבנון הראשונה, מיכאל בן חיים שנהרג בעת מילוי תפקידו בשנת 1983, יצחק (סרחיו) טרב שנהרג במהלך תרגיל צבאי ב-1984, וניר ורנר שנהרג גם הוא בתרגיל צבאי ב-1989.
בשנות ה-80, כמו רבים מהקיבוצים בארץ, נכנס קיבוץ כרמיה לחובות כלכליים. בעקבות כך נמכר חלק ממפעל 'שמיכות כרמיה', חלק נרחב מפרדסי הקיבוץ נעקר בשל קיצוצים במים, וענפי משק רבים התאחדו עם קיבוצים אחרים על מנת שיתאפשר להמשיך ולתחזק אותם. כתוצאה מהמשבר החלו בקיבוץ תהליכי הפרטה שמטרתם הייתה לזרז את תהליך השיקום של כרמיה. תהליכי ההפרטה עדיין לא תמו ונמשכים עד היום, והם מהווים גורם משמעותי ביכולת של הקיבוץ להשתקם מהמשבר הכלכלי.
בשנת 1991, עם פרוץ מלחמת המפרץ, תמה תקופת הלינה המשותפת בקיבוץ כרמיה. בעקבות המתיחות הביטחונית הוחלט שהילדים ישנו בבתיהם של ההורים. מכיוון שהדבר קרה באופן פתאומי ולא מתוכנן, עברו מספר שנים עד שנבנו הרחבות וחדרים מתאימים בכל בתי המשפחות בקיבוץ, ועד אז משפחות רבות נאלצו ללון ביחד בחדר אחד.
במסגרת תכנית ההתנתקות בשנת 2005, קיבוץ כרמיה היה מהיישובים הראשונים שהתנדבו לאכלס אצלם את מפוני גוש קטיף. נבנתה בקיבוץ שכונה גדולה של 'קרווילות' שנועדה לספק פתרון זמני למפונים עד למציאת פתרון הולם יותר.
מאז תחילת שנות ה-2000 נאלצים חברי קיבוץ כרמיה להתמודד עם האיום הביטחוני הבלתי פוסק של ירי רקטי מכיוון רצועת עזה. בשנת 2006 נפלו בקיבוץ מספר קסאמים - אחד מהם פגע בבית העלמין, אחד נפל על בית בקיבוץ ופצע תינוק בן 10 חודשים ושלושה אנשים מבוגרים, ושניים נפלו במגרש הכדורגל של היישוב וגרמו למספר נפגעי חרדה. בשנת 2007 שוב נפל קסאם על בית ופצע תינוקת בת 8 חודשים. על אף האיום הביטחוני המשיך קיבוץ כרמיה לשגשג ולפרוח - המשק גדל והתפתח, עוד ועוד חברים חדשים נקלטו בקיבוץ, הונהגו מסורות חדשות כגון 'פסטיבל כרמיה' - חגיגת יום עצמאות גדולה ומרשימה עם נושא שנתי מתחלף, חגיגות בר-מצווה משותפות ומפגשי ותיקים במתכונת שבועית.
ביום שלפני מתקפת הטרור של החמאס ב-7 באוקטובר 2024, נערכה בקיבוץ פעילות ובעקבותיה רבים מהתושבים, ביניהם ילדים, נשארו לישון על הדשא בחצר הקיבוץ. בבוקר המתקפה, כשהחלו האזעקות, רוכזו כולם במקלט הציבורי ונאלצו להישאר שם שעות ארוכות מפאת החשש לחדירת מחבלים. רק בשעות אחר הצהריים הורשו החברים לצאת מהמקלטים וקיבלו הוראה להתפנות. אנשי כרמיה התפנו לקיבוץ נחשולים, שם שהו במרבית השנה האחרונה. מאז, חזרו מרבית תושבי כרמיה לבתיהם בקיבוץ שנמצא במרחק של כ-4 קילומטרים מהגבול עם רצועת עזה, והם נאלצים להמשיך ולהתמודד עם איום המלחמה שמתרחשת ממש סמוך לביתם.