「レベル補正」を裏技的に使う、角丸切り抜きです。 エッジの柔らかさや、角の丸みも調整できます。
元画像の上に新規レイヤ「枠」を作って、白で塗りつぶします。
ツールを鉛筆などにして、サイズを５くらい、描画色を黒にします。
枠レイヤに対し、「フィルタ」⇒「現在のツールで描画」⇒「枠線」を実行すると、左図のような黒枠ができます。
「フィルタ」⇒「ぼかし」⇒「ガウスぼかし」を強さ５以上で実行します。
ここでぼかしが強いほど、角が丸くなります・・・とりあえず、強さ10くらいで試してみるといいでしょう。
「フィルタ」⇒「カラー」⇒「レベル補正」をクリックします。
左図のように、左右両端の△を中央側に寄せます。
△を寄せるほど、角丸のエッジがクッキリします。
プレビューを見ながら、白い部分を好みの角丸状態にしてＯＫします。
元画像レイヤを、枠レイヤの上に移動させます。
元画像レイヤに対し、「フィルタ」⇒「アルファ操作」⇒「下のレイヤの輝度からコピー」を実行すると、画像が角丸に切り抜かれます。
枠レイヤを非表示または削除して、確かめてください。
このまま（アルファ付きPNG以外の形式で）保存すれば、透明部分は白になります。
背景が白以外の、Webサイトなどで使う時は・・・・・
背景色と同じ色で塗りつぶしたレイヤを作って、元画像レイヤの下に置き、レイヤを結合して保存します。
こうすればソフトな角丸も、背景に綺麗になじんで表示されます。
参考： 角丸切り抜き