参考/参照URLは以下。
WP: WordPress 2.3 へアップグレードする前にしておきたいこと
WordPress のアップグレード/詳細

目玉はタグ機能らしいんだけど、どう使えるかまだよくわかってない。
とりあえずTag Cloud Widgetは有効にしてみたけど・・・

なお、Google Sitemapsを使っている場合は、そちらも最新にする必要あり。
カテゴリ関係のテーブル名が変わったらしく、登録時などにエラーが出る。詳細はこちら。