C#はMicrosoftが.NET Frameworkでの中心言語とすべく開発した新しい言語
過去のいろいろな言語を参考にしているので評判が割りとよい
開発環境は無料ですし、GUIアプリも、Webアプリも、ゲームだって効率よく作成できます。
C#はJavaと同じような中間言語方式です。それが何なのはググれ
Windowsで動くものはもちろん、XBOX360やLinux、Windows Mobileなどがあります。
（ただし作ったものなら何でも、どこでも動くというわけではない）
VB.NETとは大変似ており、同じ.NETで動く言語ですから大体の場合予約語を入れ替えるだけで読めるようになります。
VB.NET、C#変換表を参照してください。
Microsoft社が初心者向けに無料で提供しているVisual C# 2008 Express Edtion（以下Visual C#）を使用するのが簡単です。
ただし、Visual C#はWebインストールの場合はユーザー登録が必要です。
それが嫌な方は、isoイメージからインストールすることができます。
また、IDEのような大きなソフトをインストールしたくない方はコンパイラといくつかのツールがセットになった.NET Framework 3.5 SDKをインストールしてもいいでしょう。
学生または教職員の場合、マイクロソフト製品を安く買うことが可能です。
高校生以上の学生の方はMicrosoft Dream Sparkによって，Visual Studio(なんとProfessional)やWindows Serverなどの製品を無料で手に入れることができます．
大学生の場合は大学や研究室がMSDNに加入している場合があり、無料で手に入れることができるかもしれません。
まずは問い合わせをしてみましょう。Vistaとかタダで手に入りますよ。
以下、それぞれのインストール方法について説明します
新しくVisual C# 2008が登場しました。これからはじめる場合これを選んでおけば間違いないでしょう。
（2005もありますが、これはらはじめるのにあえて選ぶ理由はありません）
Visual Studio 2008 Express Editionsのページよりインストールするだけです。
はじめての方のためのVisual C# 2008 Express Edition インストール方法紹介
にも詳しく紹介されていますのでこちらもご覧下さい。
isoイメージからインストールする場合、ここを参考にしてください。
isoイメージからなんらかのソフトウェアでファイルを展開します。インストール自体はWeb版と同様です。こちらの場合、ユーザー登録が必要ないようです（本スレJavaの人より。多謝）。
ドキュメントとして「MSDN Express Library」があります。
なるべくならこれもインストールしておきましょう。
IDE（統合開発環境）なんて軟弱なものはいらねぇぜという方はこちら
英語だけど膨大なサンプルが魅力。コントロールとかいっぱいそろっていてとても便利。日本語でひっかからない時は探してみる価値あり。