為了幫一個壞朋友搞他webmining的碩士論文，因為資料多達1400多萬筆，如果單純用文字檔來產生他要的dataset可能會讓人瘋掉，所以在初步整理後再把資料塞進mysql裡，my.cnf 也使用my-huge.cnf，再產生table的index讓查詢更為快速，要不然也是會讓等到不耐煩。
搞了半天終於可以比較快速的產生所要跑的資料，但是某一些資料還是會產生"Out of memory"的錯誤訊息，在網路上爬一下文之後，只要修改以下的地方就可以解決了。
my.cnf
[mysqld]
max_allowed_packet = 32M
沒有留言:
張貼留言