빅 데이터 시대에 대한 생각 (1)
우리는 더 이상 인과 관계를 찾는 것에 열중하지 않고 사물 사이의 연관성을 찾아야 한다. 이 명제는 내가 이 책을 보는 가장 큰 감정이다. 개인적으로도 이 책의 핵심 사상이라고 생각한다. 처음부터 시작합시다. 우선, 이 책은 제가 이전에 알고 있던 것을 뒤엎는 명제를 제시했습니다. 원자가 아니라 정보가 만물의 기원인가? 세계를 정보와 이해할 수 있는 데이터로 보는 바다는 우리에게 전례 없는 시각을 제공한다. 이것은 생활의 각 분야에 침투할 수 있는 세계관이다. 이 주장은 이 책의 마지막 부분의 한 단락에 묘사되어 있다. 제가 그것을 맨 앞에 두는 이유는 이것이 디지털 세계에 대한 전제 조건이라고 생각하기 때문입니다. 당연히 빅데이터에 대한 전제 조건이기도 합니다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 디지털명언) 책 가운데에는 디지털화와 디지털화의 차이점에 대한 섹션이 있다. 자신의 뇌를 정리하고 디지털 세계의 명제는 빅 데이터 사고의 두 번째 단계로 꼽힌다. 여기까지 썼을 때, 나는 내가 책의 정수를 깨달았는지 반성할 수 없었다. (내가 생각하는 정수) 이것이 첫 번째 말이다. 내 모든 생각을 돌이켜 보면, 여전히 낡은 인과적 사고 방식에 따라 생각하기 때문이다. (아리스토텔레스, 니코마코스 윤리학, 생각명언) 이 책의 또 다른 매력적인 점은 관점이 많아서 철학적 관점에서 토론할 것이다. 내 뱃속에 잉크가 많지 않지만, 내가 이 묘사들을 읽을 때, 나는 저자가 제기한 명제를 더 잘 이해할 수 있다는 것을 알게 될 것이다. 예를 들어, 책에 한 구절이 있다
우리는 인류가 인과관계를 통해 세상을 안다고 말하는데, 이는 우리가 세계의 각종 현상을 인식하고 해석하는 데 사용하는 두 가지 기본 방법을 가리킨다. 하나는 빠르고 허황된 인과관계를 통한 것이고, 다른 하나는 느리고 질서 있는 인과관계를 통한 것이다. 빅데이터는 우리가 세상을 이해하는 데 있어 이 두 가지 기본 방법의 역할을 바꿀 것이다.
몇 가지 예를 첨부할 때 저자가 제공한 것입니까? 에센스? 네가 한번 보면 쉽게 이해할 수 있다, 확실히 이렇다. 좋아, 그럼 큰 데이터가 우리를 어떻게 바꿨지? 작가는 세 가지 점을 제시했다.
빅데이터의 본질은 우리가 정보를 분석할 때의 세 가지 변화에 있다. 이러한 변화들은 우리가 사회를 이해하고 형성하는 방식을 바꾸는 것에 대해 이야기하고 있다.
첫 번째 변화는 빅 데이터 시대에 더 많은 데이터를 분석할 수 있고, 때로는 무작위 샘플링 (샘플 = 전체) 에 의존하는 대신 특정 현상과 관련된 모든 데이터를 처리할 수 있다는 것입니다.
두 번째 변화는 연구 데이터가 너무 많아서 우리는 더 이상 정확성 추구에 열중하지 않는다는 것이다.
세 번째 변화는 처음 두 가지 변화로 인한 것이다. 즉, 우리는 더 이상 인과관계를 찾는 데 열중하지 않고 사물 사이의 연관성을 찾아야 한다는 것이다. 빅데이터는 우리에게 말해요? 이게 뭐야? 아닙니다. 왜요 。 빅 데이터 시대에, 우리는 현상의 배후에 있는 원인을 알 필요가 없다. 우리는 단지 데이터가 스스로 말하도록 하면 된다. (존 F. 케네디, 데이터명언)
우리 모두 알고 있듯이, 인간의 뇌는 새로운 입력 자극이나 정보를 가지고 있습니까? 과거의 경험, 아니면 축적된 지식? 비교하고, 조정하고, 받아들입니다. 눈앞의 새로운 현실이 당신의 뇌에 저장된 고유 정보와 조화를 이루지 못한다면, 당신은 무의식적으로 새로운 현실을 받아들이기를 거부할 것입니다 (마치 보이지 않는 것처럼). 또는 자신의 무지를 통해 임의로 추측을 풀고 자신이 의식하는 상황을 현실에서 벗어나게 할 수도 있다. (착각을 일으키다.) (서양속담, 자기관리속담) 이것은 자신을 냉정하게 유지하기 위한 인류의 본능이다.
그래서 저자는 그것을 혁명이라고 부른다.
이렇게 많이 말했는데, 큰 데이터가 우리에게 무엇을 가져왔습니까? 여기서 나는 단지 내가 가장 깊이 느끼는 것, 다른 관심 있는 것은 스스로 이해할 수 있다고 말하고 싶다. 물론, 이 책에는 XX 회사나 개인이 큰 데이터를 이용하여 얼마나 많은 부를 창출했는지가 가장 많다. (윌리엄 셰익스피어, 햄릿, 독서명언) 이런 표면적인 것들을 버리고, 가장 마음을 움직이거나 두려워하는 것은 예측이다. 이것은 큰 데이터가 가져온 가장 중요한 것이다. 마음을 움직이는 이유를 반복할 필요가 없다. 컴퓨터는 언제 쌍색구를 사서 1 등에 당첨되는지 알려줄 것이다. 네가 좀 흥분했는지 생각해 봐. 물론, 이것은 단지 내가 과장된 비유를 한 것에 불과하다. 두려움에 대해 책 속에 한 구절이 있어서 나는 매우 좋아한다.
공정성과 정의의 기초는 사람들이 어떤 일을 한 후에야 이 일에 대해 책임을 져야 한다는 것이다. 결국, 하지 않고 하고 싶은 것은 범죄가 아니다. 개인의 책임과 관련된 사회의 기본 신념은 사람들이 자신이 선택한 행동에 대해 책임을 져야 한다는 것이다. 빅데이터 분석이 완전히 정확하다면, 우리의 미래는 정확하게 예측될 것이며, 미래에는 선택의 권리를 잃을 뿐만 아니라 예측에 따라 행동할 것이다. 정확한 예측이 현실이 되면 우리는 자유 의지와 자유 선택의 권리를 잃게 된다. 우리가 다른 선택의 여지가 없기 때문에 책임을 질 필요가 없다. 아이러니하지 않나요?
여기까지 끌어당기는 김에, 책의 자유 의지에 대한 또 다른 묘사입니다.
철학 분야에서 인과 관계의 존재 여부에 대한 논쟁은 이미 몇 세기 동안 계속되었다. 결국, 모든 것이 인과가 있다면, 우리는 어떤 것도 결정할 자유가 없다. 만약 우리가 하는 모든 결정이나 생각이 다른 일의 결과라면. 이 결과는 다른 원인으로 인한 것이다. 이 순환에는 인류의 자유 의지가 존재하지 않는다. -응? 모든 인생 궤적은 인과 관계로만 통제된다. 따라서 철학자들은 세계에서 인과 관계의 역할에 대해 끊임없이 논쟁을 벌이고 있으며, 때로는 자유 의지의 반대라고 생각하는 경우도 있습니다.
책에서 한 가지 예를 들어 영화' 소수파 보고서' 를 들었다. 여기를 보았을 때, 오, 사실 나는 이 영화를 본 적이 있다. 그것에 대해 생각하는 것은 여전히 약간 흥분됩니다. 흥미가 있는 사람은 볼 수 있다. 아마도 경찰이 예측을 통해 범인을 미리 체포한 것 같은데, 큰 데이터를 통해서가 아니라 슈퍼맨의 방식을 통해서이다. 당신이 하는 모든 일을 예측할 수 있을 때, 그것은 당신이 햇빛에 완전히 노출되는 것과 같습니다. 만약 당신이라면, 당신은 두려워할 것입니까?
마지막으로 두 개의 후기를 동봉하는데, 하나는 책 속의 한 구절이고, 하나는 자기가 편찬한 것이다.
빅 데이터는 알고리즘과 기계로 가득 찬 차가운 세계가 아니며 인간의 역할은 여전히 완전히 대체 될 수 없습니다. 큰 데이터가 우리에게 제공하는 것은 최종 답이 아니라 참고 답이다. 도움은 일시적이며, 더 좋은 방법과 답은 아직 가까운 장래에 있다.
빅데이터는 결국 우리에게 영향을 미칠 것이며, 그것은 다른 기술처럼 양날의 검이 될 것이다. 잘 쓰고, 마음을 움직이고, 학대하고, 두려워하다. 핵기술처럼 사용하면 지구를 축복하고, 남용하고, 다이아 지구를 주거나, 폭발시킬 수 있다. (알버트 아인슈타인, 과학명언) 나는 빅데이터의 미래 발전이 저자가 말했듯이 생활, 일, 사고의 혁명이 될 것이라고 믿는다.
빅 데이터 시대의 사고 (2)
작년? 클라우드 컴퓨팅? 올해는 튀김인가요? 빅 데이터? 또 한 번의 갑작스러운 습격. 하룻밤 사이에 모든 제조사들이 깃발을 바꾸어 올리고 있는 것 같습니까? 빅 데이터? 그것은 왔다. 그래서 각 기업의 CIO 들도 뜨거운 열기에 눈을 돌렸나요? 빅 데이터? 그것은 왔다. 프로그래머 웨이보에서 온 만화가 생동감 있다. 나는 이 그림이 확실히 중소기업 클라우드 컴퓨팅과 빅 데이터의 현황을 반영한다고 생각한다.
그러나' 빅 데이터 시대' 는 좋은 책이다.
물론, 많은 IT 유명인들도 이 책에 대한 사랑을 표현하기 위해 많은 댓글을 달았습니다. 이 책을 읽기 전에, 나는 기본적으로 소위 큰 데이터의 개념에 대해 매우 혼란스러웠다. 지금도 핫한 BI 를 지켜봤지만 느낌이 비슷해요. 더 많은 데이터, 더 세밀한 데이터 분석 및 데이터 마이닝일 수 있습니다. 이 책을 읽은 후, 이전의 생각은 단지 작은 반-대량 데이터라고 할 수 있을 뿐, 또 다른 하나는 데이터 정확성보다는 데이터 관련성에 초점을 맞추는 것, 아마도 큰 데이터와 현재 BI 의 가장 큰 차이, 방법뿐 아니라 더 많은 사고방식일 수 있다. (윌리엄 셰익스피어, 윈스턴, 독서명언) (윌리엄 셰익스피어, 윈스턴, 독서명언) 그러나 솔직히 말해서, 데이터의 관련성이 더 좋거나 데이터의 정확도가 더 좋으니, 정말 검사할 시간이 필요하다. 적어도 현재의 데이터 분석 방법으로 볼 때, 데이터의 정확성을 선호하는 경향이 있다. 이 책을 다 읽고 나니, 내 마음속에는 약간의 의문이 있다.
1. 큰 데이터란 무엇입니까?
바이두 백과사전을 조사해 보면 bigdata, 즉 방대한 양의 데이터가 현재 주류 소프트웨어 도구를 통해 캡처, 관리, 처리, 정리하여 기업이 합리적인 시간 내에 비즈니스 의사 결정을 내릴 수 있도록 도와주는 정보의 양이 크다는 것을 알 수 있다. (윌리엄 셰익스피어, Northern Exposure (미국 TV 드라마), 성공명언) 빅데이터의 4V 특징: 양, 속도, 다양성, 충실도-IBM 의 정의인 것 같습니다.
개인 관점: 대량 데이터 및 대량 저장은 큰 데이터의 기본 원형입니다.
2. 빅데이터는 어떤 기업에 적합합니까?
물론, 큰 데이터의 전제는 방대한 양의 데이터이다. 방대한 양의 데이터 자원을 가지고 있어야 데이터의 연관성을 찾아 지나갈 수 있다.
전문적인 대우로 기업에 가치를 부여하다. 통신 운영의 경우 인터넷에서 이렇게 많은 양의 사용자 데이터를 사용하는 대기업은 큰 데이터를 적용하는 길에도 독특한 조건을 가지고 있지만 중소기업은 어떨까요? 판매 주문 데이터? 100 년 된 가게가 아니라면, 수치가 형편없을 정도로 적을 것으로 예상된다. 5. 소비자 데이터만 사용할 수 있습니다. 소비자 구매 행동 분석이 가장 많은 대부분의 제조업체인 것 같다. 마찬가지로, 공공 부문에서도, 빅데이터의 역할도 좋은 역할을 할 수 있다. 반대로, 나는 대부분의 중소기업들이 큰 데이터를 적용하는 데 큰 문제가 있는 것 같다고 생각한다. 이 책은 빅 데이터는 기업의 경쟁력이라고 말했다. 물론 데이터는 기업의 가장 핵심적인 무형자원이지만 (잘 사용한다면), 모든 데이터인지, 아니면 모든 기업이 큰 데이터의 경쟁력을 가지고 있는지, 정말 적당한가? 중소기업이 소란을 피우는 것처럼 보이지 않을까요?
3. 빅 데이터의 영향
IT 기술 붐의 물결이 우리 가게에 왔을 때, 당신은 아직 준비가 되지 않았을 때, 그것이 당신에게 주는 충격을 맞이하기 시작해야 합니다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 예술명언) 사물의 인터넷과 클라우드 컴퓨팅을 통해 큰 데이터가 등장하기 시작했다. 하지만 그것은 우리에게 무엇을 가져다 줍니까?
1) 미래 예측 구글이 향후 발생할 수 있는 독감을 성공적으로 예측한 사례부터 빅 데이터의 응용이 우리 생활의 등대가 될 수 있음을 보여준다. 본질은 간단하고 기술은 세상을 변화시킨다.
2) 비즈니스 빅 데이터의 변환으로 인한 비즈니스 기회는 빅 데이터와 관련된 일련의 비즈니스 기회와 비즈니스 모델을 창출합니다. 데이터의 잠재적 가치는 계속 작용할 것입니다. 미래에 전문적인 데이터 수집, 데이터 분석, 데이터 생성 등의 데이터 산업 체인이 생길 것이라고 쉽게 상상할 수 있습니다. 물론 IT 는 가장 큰 영향을 미칩니다.
3) "사고하기 쉬운 책" 은 대량의 데이터를 기초로 하기 때문에 앞으로 우리는 세밀한 것보다 데이터의 관련성에 더 많은 관심을 기울일 수 있다고 말했다. 나는 아직도 이 문장 예약이 있다.
빅 데이터 시대의 사고 (3)
오늘날, 뉴미디어와 인터넷을 언급할 때, 어쩔 수 없이 큰 데이터를 언급해야 한다. 이거 안 하면 아웃되는 것 같아요. 더구나 많은 사람들이 구름같이 따라다녔는데, 많은 공론가들이 이 방면의 고전 저작도 진지하게 보지 못했단 말인가? (윌리엄 셰익스피어, 햄릿, 독서명언) 셰인 버저의 빅 데이터 시대입니다. 빅터? 마이어? 쇤베르그가 누구죠? 현재 옥스퍼드대 인터넷학원 인터넷연구소 통치와 감독 교수로 하버드대 케네디 대학 정보감독 연구 프로젝트 책임자를 역임한 바 있다. (윌리엄 셰익스피어, Northern Exposure (미국 TV 드라마), 과학명언) 그의 컨설팅 고객으로는 유럽 연합의 공식 인터넷 정책 뒤에 있는 진정한 제정자이자 참여자인 Microsoft, HP, IBM 이 있습니다. 그는 또한 많은 국가 고위 정부의 싱크탱크를 담당한 적이 있다. 이것은 빅 데이터 시대의 선지자로 알려져 있습니까? 옥스포드 교수가 핍박했다! 그래서, 마스터가 말한 것은 금과옥율입니까? 꼭 그렇지는 않습니다. 대사들의 작품을 읽는 것은 반드시 숙제를 해야 합니다. 숙제를 충분히 할 수 있고, 그에 상응하는 이론적 기초가 있다면, 그들과 사상적 대화를 할 수 있다.
쇤버그는 사고 변화, 비즈니스 변화, 경영 변화 등 세 부분으로 큰 데이터를 논술한다. 첫 번째 부분에서? 빅 데이터 시대의 사고 변화? 이 논문에서 쇤버그는 그의 세 가지 관점을 분명히 밝혔다: 하나, 많음: 무작위 샘플이 아니라 모든 데이터; 둘째, 더 잡다한다: 정확하지는 않지만 잡다한다. 셋째, 더 좋습니다: 인과 관계가 아니라 관련성입니다. 나는 첫 번째 요점에 동의하지 않는다. 한편으로는, 기술과 장비에서 모든 데이터를 처리하는 것은 매우 어렵다. 반면에, 모든 사람이 필요로 하는 것은 아닐까요? 간단한 사실을 판단하는 데이터 분석이 모든 데이터를 수집할 필요가 있습니까? 나는 홍콩 시티대학의 축건화 교수와 이 문제를 토론한 적이 있다. 주 교수는 전파학 연구 방법과 데이터 분석의 전문가이다. 그는 수학 통계 방법을 찾아 분석할 수 있다고 생각하는데, 반드시 모든 데이터가 필요한 것은 아니다. 쇤버그의 두 번째 관점에 언급 된 관련성에 관해서, 나는 그가 말한 총 데이터가 숫자가 아니라 범위를 의미한다는 것을 이해합니다. 즉, 큰 데이터의 무작위 샘플은 목표 데이터뿐만 아니라 목표를 제외한 모든 데이터를 포함합니다. 큰 데이터 분석은 무작위 샘플링을 배제할 수 없다고 생각하지만, 샘플링의 방법과 범위는 확대되어야 한다.
나는 쇤버그의 두 번째 견해에 동의한다. 나는 그의 첫 번째 관점에 대한 좋은 보완이자 정밀 전파와 정밀 마케팅에 대한 반성이라고 생각한다. -응? 큰 데이터의 간단한 알고리즘은 작은 데이터의 복잡한 알고리즘보다 더 효과적입니다. -응? 더 많은 거시적 비전과 동양 철학적 사고. 나는 쇤버그의 세 번째 요점에 완전히 동의할 수 없다. -응? 인과관계가 아니라 상관관계입니다. -응? 알 필요 없어? 왜요 그냥 알아야 돼? 이게 뭐야? 。 소통은 데이터이고, 데이터는 관계이다. 소데이터 시대에는 인과관계에만 관심이 있었지만 상관관계에 대해서는 충분히 알지 못했다. 빅데이터 시대에는 상관관계의 역할이 매우 중요하기 때문에 아무리 강조해도 지나치지 않지만 완전히 배제해서는 안 된다. 큰 데이터는 어디에서 오는가? 그것은 무엇을 하는 데 쓰이는 것입니까? 인과관계를 완전히 소홀히 한다면, 큰 데이터의 전과후를 모르고, 큰 데이터의 인문적 가치도 해소할 수 있다. 오늘날 많은 학자들은 자신의 관점을 설명하고 전파하기 위해 종종 놀라울 정도로 오래된 관념을 완전히 부정한다.
세계의 어떤 사물의 복잡성과 다양성도 단순한 것이 아니다. (아리스토텔레스, 니코마코스 윤리학, 지혜명언) 쇤버그도 이런 이원대립의 유치한 사고인가? 사실, 독자들은 책을 읽을 때 자신이 어떤 문맥에서 말하는지 반드시 똑똑히 보아야 하며, 독서의 얕음으로 인해 단장 취의의 오해에 빠지지 말아야 한다. (윌리엄 셰익스피어, 햄릿, 독서명언) 예를 들어, 쇤베르그가 제안했다고? 인과관계가 아니라 상관관계입니다. -응? 그는 이 논단을 할 때, 여전히 책에서 말했다:? 대부분의 경우, 일단 큰 데이터의 상관 분석을 완료하면 더 이상 단지 아는 것에 만족하지 않습니까? 이게 뭐야? 그 때 우리는 그 속의 인과관계를 계속 깊이 연구하여 배후의 원인을 찾아낼 것이다. 왜요 。 -응? [i] 그가 말한 모든 데이터와 관련 관계는 특정 맥락에서 데이터 마이닝의 옵션임을 알 수 있습니다.
빅 데이터 연구의 원동력 중 하나는 상업화이다. 두 번째 부분에서, 쇤버그는 빅 데이터 시대의 상업적 변화에 대해 토론했다. 쇤버그는 디지털화가 모든 것이 가능하다는 것을 의미한다고 생각합니까? 정량화? 빅 데이터의 정량 분석은 강력한 대답입니까? 이게 뭐야? 이 질문은 여전히 완전히 대답할 수 없습니까? 왜요 。 그래서 질적 분석과 질적 연구를 배제할 수 없다고 생각한다. 데이터 혁신이 가치를 창출 할 수 있다는 것은 의심의 여지가 없습니다. 빅데이터의 역할 포지셔닝을 논의할 때, 쇤버그는 여전히 전체 사회체계가 아닌 데이터 앱의 상업체계에 그것을 두고 있지만, 그는' 빅 데이터 시대의 관리 변화' 2 부에서 이 문제를 논의했다. 위험 사회에서는 정보 보안 문제가 점점 더 두드러지고 있으며, 데이터 독재와 프라이버시 보호가 한 쌍의 모순이 되고 있다. 어떻게 큰 데이터의 곤경에서 벗어날 수 있을까? 쇤버그는 마지막 섹션에 있습니까? 제어? 나는 대답하려고 노력했는데, 기본적으로 모두 진부한 이야기이다. 아마 케빈? 켈리의 통제불능이 우리가 이 질문에 대답하는 데 도움이 될까요? 적어도 더 많은 사고 차원을 제공할 수 있다. 훈버그가 결론에서 말했듯이? 빅 데이터는 알고리즘과 기계로 가득 찬 차가운 세계가 아니며 인간의 역할은 여전히 완전히 대체 될 수 없습니다. 큰 데이터가 우리에게 제공하는 것은 최종 답이 아니라 참고 답이다. 도움은 일시적이며, 더 좋은 방법과 답은 아직 가까운 장래에 있다. -응? 쇤베르그 감사합니다. 대데이터 토론을 자연과학에서 인문 사회과학으로 복귀시키다. 빅데이터 시대' 는 최종 답도 아니고 표준답도 아닌 참고 답안이라고 추측할 수 있다.
또한, 이 책을 읽기 전에, 데이터란 무엇인가? 큰 데이터란 무엇입니까? 데이터 분석과 데이터 마이닝의 차이점은 무엇이며 디지털화와 데이터화의 차이점은 무엇입니까? 책을 읽기 전에 숙제를 좀 하면 읽기가 쉬워진다.