そうさ100％弊社

もう謝るしかないさ

復元不能…

自分のせいじゃなくても第一発見者になりたくないすぎる

これをそのまま公開した辺りに京大の怒りの程が窺えた事件

この数十倍は飛ばした人を知っている

補償なんかしようのないデータだらけだろうけど結局どんな顛末を迎えたのか知らない

何があったんだ…

対策とか考えられても二度とお前んとこ頼まないからどう償うつもりなのか教えてってなるわ

バックアップスクリプトには、findコマンドを用いて10日以上古いログファイルを検索・削除する処理が含まれている。日本ヒューレット・パッカードの担当者は同スクリプトの機能改善と併せてコードの視認性や可読性を高めるため、findコマンドの検索・削除処理に渡す変数名を変更。この修正スクリプトのリリース手順に考慮不足があった。

　bashはスクリプトの実行中も適時スクリプトファイルからコマンドを読み込む。日本ヒューレット・パッカードの担当者はこれを認識しておらず、スクリプトが実行中の状態で内容を書き換えた。結果、上書きしたスクリプトの再読み込みが発生し、未定義の変数が含まれたfindコマンドが実行された。これにより、ログディレクトリ配下にあるファイルを削除する本来の処理ではなく、/LARGE0ディレクトリのファイルを削除する誤動作が発生したという。

書いてる通りひたすら平謝りする以外ない

金玉がヒューレットパッカードだよ

ここまで規模でけえと謝ればいいんでしょ！？って逆ギレくらいしか出来る事無いな…

>/LARGE0ディレクトリのファイルを削除する誤動作が発生したという。
つまり…？

>対策とか考えられても二度とお前んとこ頼まないからどう償うつもりなのか教えてってなるわ
言い値で賠償しますって言ってた

何言ってんだか全然わからないんだけどこのデカいミスって具体的にどの分野にどういう影響及ぼすの？

反省してまーす

俺のパソコンから77TB消えたら泣いちゃうかもしれん

>対策とか考えられても二度とお前んとこ頼まないからどう償うつもりなのか教えてってなるわ
この規模のシステム組めるのなんて限られてるんじゃ

>何言ってんだか全然わからないんだけどこのデカいミスって具体的にどの分野にどういう影響及ぼすの？
大学で研究されてる色々な分野の研究データ消しちゃった

>言い値で賠償しますって言ってた
…まあそれしかないよね

bashの仕様理解してないのはそれで飯食ってんのマジかよお前ってなるけどそれでも重要な領域が消えるバグが出来上がったのは割とミラクルだよね

刺されても文句言えないやつだ…

>この規模のシステム組めるのなんて限られてるんじゃ
左様
なので最近できた某スパコンにも入ってる

>bashの仕様理解してないのはそれで飯食ってんのマジかよお前ってなるけどそれでも重要な領域が消えるバグが出来上がったのは割とミラクルだよね
findで見つかったパス渡すつもりがfindの帰りが空だったのでそのまま配下丸っと消しましたって感じなんじゃないのか？

>刺されても文句言えないやつだ…
いっそ刺してくれた方がマシだよ

何をどうしても帰ってこないミスってやった側もやられた側もしんどいよね

>findで見つかったパス渡すつもりがfindの帰りが空だったのでそのまま配下丸っと消しましたって感じなんじゃないのか？
find /${削除対象}/
↑これがこうなっちゃったって感じか
find //

言い値で賠償と言っても算定基準もなかろう

その後のニュースがないけど結局どんな結末になったんだろうか

アプデ前のテスト環境なかったのかな…

この前見たクリスマスのケンタッキーのオリチキ注文許可ｶﾁｯの最上級バージョンか…

いくら貰ったところで仕方ないだろ…

>言い値で賠償しますって言ってた
ヒューレットパッカードの株式全部って言ったらうんっていうのかな

>この度のファイル消失は 100% 弊社の責であると考えており、補償につきましては、ユーザ様、並びに、貴学のご意向に沿うようにいたします。

俺もそれなりにプログラム書くけどファイル削除に関わるコードは書きたくねぇ…ってなる

>ご意向に沿う
沿うだけか・・・

消失容量77TBってどのくらい？

set -u
これさえあれば…

>俺もそれなりにプログラム書くけどファイル削除に関わるコードは書きたくねぇ…ってなる
大体なんか想定外のパターンのやつがいておかしくなるんだよなファイル削除

引数チェックとnullと空文字チェックはちゃんとしよう！
これがあったらどうにかなったのかどうかは分からないけど

>アプデ前のテスト環境なかったのかな…
ちょうど特定の行を実行してるタイミングでアプデしないと起こらないでしょ
なんで実行中にアプデしたのかな…

調べても全く続報がないけどどうなったのこれ

これってshファイルの内容を実行中に書き換えちゃったからそっちで動いっちゃった感じ？
リリース作業1人でやってたのかな

>bashはスクリプトの実行中も適時スクリプトファイルからコマンドを読み込む。日本ヒューレット・パッカードの担当者はこれを認識しておらず、スクリプトが実行中の状態で内容を書き換えた。
おバカ！！！

>>俺もそれなりにプログラム書くけどファイル削除に関わるコードは書きたくねぇ…ってなる
>大体なんか想定外のパターンのやつがいておかしくなるんだよなファイル削除
ファイル名に.入れるのやめろ

定義して無いからじゃあ全部消すね！ってなったのか？

とりあえずリリースしましょう

コード自体は問題なくて実行中に書き換えたのが原因？

>ファイル名に.入れるのやめろ
これやる人意外と多くて困る
日付けでありがち

>なんで実行中にアプデしたのかな…
問題はこれをやっちゃったことに尽きるね
コマンドの仕様とかファイル削除は慎重にとかは本筋じゃない

この担当者の経歴とか普段の保守スタイルとか事故時にどういう精神状況でどういう思考してたのかとかの方が気になる
人的フェイルセーフとしての意味で

>>アプデ前のテスト環境なかったのかな…
>ちょうど特定の行を実行してるタイミングでアプデしないと起こらないでしょ
>なんで実行中にアプデしたのかな…
ファイル書き換えた時点で再読み込みが走るから書き換えた内容で1から実行されたのかと思うけどどうなんだろ

実行中書き換えで何が起きるかなんて処理系にもよるだろうし怖くてできないよ

でも実行中のスクリプトってメモリに読み込まれたものを実行してるって思うじゃん

思う思ってたが一番怖いんだ何でも…

この辺は仕様知らないと起こり得るミスだけどこれだけ大事な作業を適当な手順でやれる状態になってたのは担当者個人じゃなくて会社の落ち度だよね

思い込みでやっちゃダメってことがよくわかる

そもそもスクリプトを直接編集するな
コピーして置き換え用のファイルで編集し終わってから元ファイルに上書きするのが普通だろ

3日間のデータだけで良かった〜

>この辺は仕様知らないと起こり得るミスだけどこれだけ大事な作業を適当な手順でやれる状態になってたのは担当者個人じゃなくて会社の落ち度だよね
弊社100%の責任だからな…

>そもそもスクリプトを直接編集するな
>コピーして置き換え用のファイルで編集し終わってから元ファイルに上書きするのが普通だろ
この場合それでも起きてたのでは

>3日間のデータだけで良かった〜
よく聞いてくれ3日は消すのにかかった時間だ

>でも実行中のスクリプトってメモリに読み込まれたものを実行してるって思うじゃん
Windowsのバッチファイル(.bat)も実行中に書き換えたらリアルタイムで反映されてビビるよね…

バックアップとか取られないんですか？
>77T
取れるわけない…

僕たちがやった消失
永遠に忘れないでね

12月3日以降更新があったファイルならまだ被害は少なくて済んだんだろうな

いちご100%みたいに言うな

>>3日間のデータだけで良かった〜
>よく聞いてくれ3日は消すのにかかった時間だ
…始まった削除処理がそれまでずっと流れてたの？

削除処理を変更する場合はどんな些細な変更でも必ず作業前にフルバックアップは取ろうねという教訓

>何言ってんだか全然わからないんだけどこのデカいミスって具体的にどの分野にどういう影響及ぼすの？
一例挙げると42年間データ取ってた国とも共有してる地学関係の測定値が全部消えた

>削除処理を変更する場合はどんな些細な変更でも必ず作業前にフルバックアップは取ろうねという教訓
そういう問題じゃねえだろこれ

いやー77TBも消すの時間かかって大変でした！

3日間更新が無かったデータ全滅という意味と聞いた

消しちゃいけないファイルは消せない権限で動かしておくとか-uオプション使うとか汎用的なセーフティはいっぱいあったか…

復元不可能が28TBってどれだけのデータなのか想像つかんぞ
動画や画像なんてそんな多くないだろうから大体が文章とか表計算ファイルでしょ…？

きみはどこ大？

やりたいことやったもん勝ち

素人に保守でもさせてたのか…？

京都大学の研究データって国内有数の知の宝庫だったのでは…？

>そういう問題じゃねえだろこれ
でも作業前に別筐体とかにバックアップさえ取ってれば最悪戻せたわけで被害は0にできたはずだよね

複数のバックアップ先は大事だな…

>>何言ってんだか全然わからないんだけどこのデカいミスって具体的にどの分野にどういう影響及ぼすの？
>一例挙げると42年間データ取ってた国とも共有してる地学関係の測定値が全部消えた
おつらぁい…

>言い値で賠償しますって言ってた
66超2000億

まあスパイ行為でぶっこ抜かれたよりかはマシか…

どこかの国のスパイがやった破壊工作だって陰謀論まで出る始末

やはり大事なデータは自分で管理するしかないのか

卒論に使うはずだったデータが消えてえ…？あ…？ってなった学生もいたんだろうな

なんかこうすごいなんかでほりだせないの

ニュース見直したら削除スクリプトと化したやつがファイルを消しまくってるのに気づくのに3日間かかったそうな

可読性が改善されてるはずなのに間違ったコマンドだと読めてないんだな

>なんかこうすごいなんかでほりだせないの
正しい手段で消したものを掘り起こせるのはそれはそれで問題だったりする

>>何言ってんだか全然わからないんだけどこのデカいミスって具体的にどの分野にどういう影響及ぼすの？
>一例挙げると42年間データ取ってた国とも共有してる地学関係の測定値が全部消えた
一人くらい首吊ってそう

>削除処理を変更する場合はどんな些細な変更でも必ず作業前にフルバックアップは取ろうねという教訓
この規模のものを些細な変更でフルバックアップ取る運用にしたらむしろ一生削除処理変えられなくなるのでは…

アプデするならスクリプトを止めろ
未定義だったらエラー吐いて止まるようにしろ

>復元不可能が28TBってどれだけのデータなのか想像つかんぞ
>動画や画像なんてそんな多くないだろうから大体が文章とか表計算ファイルでしょ…？
スパコンなんで大地震が起きたときのシミュレーションとか気象の予測とかそういうくそ重いデータだと思うよ

これHDDからデータ復旧とかできないん？
あれ確かゼロフィルとかやなきゃ読めた気がするんだけど

>可読性が改善されてるはずなのに間違ったコマンドだと読めてないんだな
ソースコードの可読性であって
実際にコンピュータ上に投げられるコマンドの話じゃないから

バックアップを一個だけで回線繋がないコールドスタンバイのサーバーに2個めを保管しない
安いプランだったから取り返しがつかなかった

>そうさ100％弊社
>もう謝るしかないさ
忍たまってそういう…

観測データとか補償のしようもないじゃん

どんな立派なソースコードでもファイルの途中から読まれて大丈夫な対策はしねぇんだわ

記事読むとCRAYのスパコンストレージだそうな

shスクリプトの実装ってそうなってたの！？って割と驚愕した記憶
cshとかbashとかモノによって違ってそうな微妙なところだけど

復元ソフトでそれっぽいデータ出来たところで確実な保証のない測定データなんてあったところでだしな…

https://atmarkit.itmedia.co.jp/ait/articles/1207/20/news149.html
これくらい明るく行きたい

49TB/77TBはなんとかなったのか……

テック界隈って他の業種ならその前の段階で弾かれるようなレベルの人材が重要な部分を弄れちゃうのなんとかならない？

グロdel

スクリプトである以上書き換えたら即時反映されるもんだろと思っちゃうけど
知ってるか知らんかは大きな差があるか

>記事読むとCRAYのスパコンストレージだそうな
自社製品かあ
無事だったのはバックアップデータだけっぽいし
ファイルシステム復元も無理だったんだろうな
分散書き込みがそもそも復元出来るのか見当つかないけど

>テック界隈って他の業種ならその前の段階で弾かれるようなレベルの人材が重要な部分を弄れちゃうのなんとかならない？
他の業種って何？
（竹田君とか貸金庫を思い出しつつ）

>テック界隈って他の業種ならその前の段階で弾かれるようなレベルの人材が重要な部分を弄れちゃうのなんとかならない？
資格がないと取り扱いしちゃダメとか無いからやりたい放題よ

>スクリプトである以上書き換えたら即時反映されるもんだろと思っちゃうけど
>知ってるか知らんかは大きな差があるか
今の時代だと起動時に全部読み込んでオンメモリ動作すると思い込む可能性はある
太古の昔に作られた基本はそのままだと思えば納得できるが…

なんで実行中に変えちゃったの！？

こういうの本番環境でいきなり書き換えるもんなの

>なんで実行中に変えちゃったの！？
実行中ってことは全部読み込み終わってるから※

しかしこれ保証どうなったんだろうな

>こういうの本番環境でいきなり書き換えるもんなの
変更版に問題なくても手順がアウトだったから…

>こういうの本番環境でいきなり書き換えるもんなの
悪いのは処理が動いてる途中で書き換えたことなので手順に「実行中は書き換えない」って書いてなかったのがミス
テスト環境ではたまたま起きなかったんだろう

未定義の変数が読み込まれたって書いてあるからそもそもシェル自体もバグってたのかと思った

テスト環境は止まってて問題なく動作したんだろう

監視用スクリプト入れ替えてエラー出るっていう
割と近いことしたことあるから明日は我が身って思ったな

これで論文書けなくなったらかわうそ…

死にたいのはデータ消された人の方では

金で解決できるようなもんでもないしなあ

多くのプログラミング言語では実行中に書き換えても止めて再び動かすまでは反映されないからな
しかしシェルスクリプトは違うのだ！

やらかした奴が京大でさらし首になっててもおかしくない案件

仕事でbash使うけどこの仕様知らなかったから他人事じゃねえな…
いやまぁ流石に実行中にリリースはしないが…

実行中にその時間手が空くから次の更新分を書き始めちゃったみたいなことなら気持ちはわからないとは言えない

>やらかした奴が京大でさらし首になっててもおかしくない案件
京大側の管理体制にも問題あるという結論になったので…

>実行中にその時間手が空くから次の更新分を書き始めちゃったみたいなことなら気持ちはわからないとは言えない
自分が知ってるのはループ中に定義された変数は毎回読むって奴だったな
他にどういう動きをするかはわからん

定義されたじゃなくて書かれた変数だった

>>テック界隈って他の業種ならその前の段階で弾かれるようなレベルの人材が重要な部分を弄れちゃうのなんとかならない？
>資格がないと取り扱いしちゃダメとか無いからやりたい放題よ
IT系はなぁ…工学数学物理学とか化学みたいに物も数式の解も目の前に在るってのとは違うから…
勿論コードやアーキテクチャとかで分かりはするんだが…

なんで…なんで実行中にリリースしたんですか…

自分に関わりなくてよかったと心から思っている

>IT系はなぁ…工学数学物理学とか化学みたいに物も数式の解も目の前に在るってのとは違うから…
動いてる機械を修理しようとしたら何考えてんだってなるけれど
ITだとそういう感覚が働かなくなっちゃうところはある

シェルスクリプトの事故は本当に多い
人類には早すぎたんだよ

分かるかよこんな仕様！

$ cat update-test.sh
tmpfile=$(mktemp)
echo -ne "echo -n ukkari\nsleep 3\necho cats\n" > $tmpfile
bash $tmpfile
bash $tmpfile &
truncate -s -5 $tmpfile ; echo dogs >> $tmpfile
wait $!
rm $tmpfile

$ bash update-test.sh
ukkaricats
ukkaridogs

>動いてる機械を修理しようとしたら何考えてんだってなるけれど
>ITだとそういう感覚が働かなくなっちゃうところはある
エンジンの中身いじってガスやガソリンみたいなのが着火して　即　爆　破　！みたいな事態は起こりづらいね

>分かるかよこんな仕様！
書いてから思ったけどtruncateの前にsleep 2ぐらい入れた方がよかった
入れても結果同じだった

>シェルスクリプトの事故は本当に多い
>人類には早すぎたんだよ
実際ITエンジニアさんは中身に何重にもパッケージされたシェルというか地雷になってるコードはいつも調整する時どうすんだ？

いったんスクリプト止めてからリリースするもんだと思ってた動いたままやることもあるんだね…

>動いてる機械を修理しようとしたら何考えてんだってなるけれど
>ITだとそういう感覚が働かなくなっちゃうところはある
そもそも完全に機械止まってたら変更もできんしな
適切な範囲を把握するためには結局知識が必要になる
知らないと警戒もできない

>実際ITエンジニアさんは中身に何重にもパッケージされたシェルというか地雷になってるコードはいつも調整する時どうすんだ？
なんならそのシェル自体が地雷になってて状況次第ではまともにエスケープすることすらままならないWindowsというシステムがありまして…

これbashだけじゃなくてWindowsのbatもそうだから注意したほうがいいよ
PowerShellはまとめて読み込んで実行してくれる
なんで逐次読み込みなんだろうな？メモリが大切だった時代の名残か？

スクリプトを動かしてる間に書き換えると変更が反映されちゃうんだっけ
怖いやつだったよね

>いったんスクリプト止めてからリリースするもんだと思ってた動いたままやることもあるんだね…
常時動いてる系じゃなくてcronかなにかで定期実行してるログファイルをちゃちゃっと削除するだけの一瞬で終わるスクリプトだから実行タイミングと本当に絶妙に重なっただけで動いてる想定なかったと思うよ
「そんなことある？」と思ったけど俺もcronで動かしてるスクリプトを編集するときにいつもちゃんと一時的にcron止めてるかと言われると…

こうして流れた血で書かれた失敗対策マニュアルたちがたくさんある
いくつかは読んでおいても損はない

>いくつかは読んでおいても損はない
読んだ方が良いというか読むべき人ほど読まない

>こうして流れた血で書かれた失敗対策マニュアルたちがたくさんある
>いくつかは読んでおいても損はない
ヒューレット・パッカードだって素人じゃないんだからそういうマニュアルはあっただろうさ

一旦rmするかどうかで動きが変わりやがる

tmpfile=$(mktemp)
echo -ne "echo -n ukkari\nsleep 3\necho cats\n" > $tmpfile
bash $tmpfile
bash $tmpfile &
sleep 2
rm ${tmpfile} # この行が有るか無いかで動作が違う
echo -ne "echo -n ukkari\nsleep 3\necho dogs\n" > $tmpfile
wait $!
rm ${tmpfile}

これを馬鹿と一蹴できるやつは本業ではないわな

>一旦rmするかどうかで動きが変わりやがる
inodeが変わるかどうかが問題だからね

>一旦rmするかどうかで動きが変わりやがる
rmした段階でbash $tmpfile &が完了するんだろうな

>rmした段階でbash $tmpfile &が完了するんだろうな
いや
一旦rmすると バックグランドの方のbashが見ている$tmpfile(1代目)≠同名の新しく作り直された$tmpfile(2代目) になるんだ
説明するの難しい…

読むだけで胸が苦しくなる

別にプログラムだけではないけど今の時代に使ってるものの仕様全部把握するのはできる気がしねえ

>bashはスクリプトの実行中も適時スクリプトファイルからコマンドを読み込む。
プロだからって知っとけと言われれば何にも言い返せないが
それはそれとしてクソ仕様としか言いようがないとも思う
こんなクソ仕様あるならbashで何かすること自体が駄目とさえ思う

リダイレクトやcpで上書きすると上書き先のinodeが変わんないのでmvやrsyncで上書きしなきゃダメよというお話だな
むしろ一番ダメそうな「エディタで直接書き換える」はvimもemacsもinode変えて保存するのでこのケースの事故は起こらないという…

>これHDDからデータ復旧とかできないん？
>あれ確かゼロフィルとかやなきゃ読めた気がするんだけど
アクシデント発生時に停止したならともかく継続して読み書き行われたディスクじゃ原理的に無理なんよ

バカでしょ…

アホでしょ…

テープバックアップまで欲しくなるな…

似たような経験は誰にでもある
それがたまたま京大データではなかったので助かったが……

これ消えたデータ次第では絶望して首吊る教授出てもおかしくない案件では…

>バカでしょ…
>アホでしょ…
ドラえもんがいたらタイム風呂敷で…

バックアップとか…どこかにないんですか…？

そこになければないですね

データの保全ってテープメディアでバックアップという昭和かよ！って運用が割と最適だったりするよね…

石板にバイナリ書くか…

データが消えてる！って気づいちゃう瞬間俺なら恐怖で色々垂れ流す自信がある

この手のやらかしはテスト不足のせいもあるので遅かれ早かれだな

>この手のやらかしはテスト不足のせいもあるので遅かれ早かれだな
本番環境でテストやっちゃったやらかしなんですがこれは

普通は本番稼働中のサービスを更新する場合は事前にタイムライン組んで手順をチーム内で検証するんだけど
それをやってないor誰からも動いてる途中に更新するなって指摘が入らないような余裕のない現場はこの件がなくてもミスが発生したと思うわ

これ誰がどう責任取ったの？
一族斬首じゃ済まないでしょ

>一例挙げると42年間データ取ってた国とも共有してる地学関係の測定値が全部消えた
俺に置き換えると20年間集めたて「」とも共用してたどすけべデータが全部消えたって事か…

>俺に置き換えると20年間集めたて「」とも共用してたどすけべデータが全部消えたって事か…
あんた過去に烏滸がましいって言われたことない？

話聞くだけでお腹痛くなって来る

おもしれ

俺たちは天使じゃねえんだ

セガが消したのは民間人のくだらないデータだから許された