2004년 하계 올림픽 야구는 8월 15일부터 25일까지 헬리니코 올림픽 단지 내에 있는 두 개의 다이아몬드에서 열렸다.메이저리그 현역 선수는 없었지만, 올림픽 경기에서 두 번째로 프로야구 선수가 출전할 자격이 주어졌다.
이 대회는 각 팀이 다른 팀들과 한 번씩 총 7개의 경기를 하는 예선전으로 구성되었다.이번 라운드가 끝난 후 상위 4개 팀이 메달 라운드에 진출했다.메달 라운드는 4강전 두 경기로 구성돼 우승자들이 금메달 게임에 진출했다.준결승에서 진 팀은 동메달 게임에서 경기를 하게 된다.
야구의 본고장이자 방어적인 금메달리스트임에도 불구하고, 미국은 예선전에서 멕시코에 1-0으로 패한 후 아테네에 진출하지 못했다.북미, 남미, 캐리비안의 두 팀이 아테네로 가는 것을 결정한 아메리카 토너먼트는 단일 탈락이었고, 다른 거의 모든 야구 토너먼트는 이중 탈락이었다.캐나다는 결국 멕시코를 꺾고 올림픽에 진출했다.예선전 또한 미국이 마이너 리거들을 이용할 수 없고 대신 [1]대학생들에게 의존해야 하는 방식으로 일정이 잡혀 있었다. (많은 미국 야구 선수들은 그리스에서 태어난 한 명의 선수만 출전했던 신생 그리스 팀의 일원으로 어쨌든 아테네에 진출했다.)
다른 이들은 올림픽 8개 참가국 중 3개(개최국 포함)가 유럽 선수인 반면, 미국과 아시아(야구 강국 포함)는 각각 2개씩만 참가한다는 점을 문제 삼았다.미국, 멕시코, 도미니카 공화국, 그리고 한국과 같은 팀들의 부재는 많은 언론의 토론으로 이어졌다.
상위 4개 팀(일본, 쿠바, 캐나다, 호주)이 준결승에 진출했다.순위에서 동점이 된 팀들의 시드 랭킹을 결정하기 위해, 두 팀 간의 경기 결과를 사용했다.따라서 일본은 쿠바와의 승리로 1위를 차지했다.준결승에서는 일본(1위)이 호주(4위)와 쿠바(2위)가 캐나다(3위)와 맞붙었다.각 경기에서 순위가 높은 팀은 홈팀이었다.