첫째, 큰 데이터는 왜 큰가요?
데이터는 이제 뜨거운 단어이며, 이를 사용하여 큰 데이터 가치를 발휘하는 방법에 대한 논의가 많다. 필자는 이것이 인과를 좀 혼동한 것 같다고 생각한다. 마치 관계인 것 같다. A 가 있을 때, B 는 그것과 연관되어 있고, B 가 있을 때, A 는 반드시 연관되어 있는 것은 아니다. 작가는 여전히 평소의 네 개의 V 에서 빅 데이터 사고에 대한 나의 견해를 묘사한다.
1, 대량의 데이터 양, 데이터의 양이 통계적 의의를 달성할 수 있을 정도로 크고 가치가 있다. 제가 본 전형적인 사례 중 하나는 혈연 관계가 유전병에 미치는 영향과 같은 것입니다. 수천 개의 데이터를 수집하는 것은 발견하기가 어렵습니다. 일단 2 만 개 이상이 되면 매우 분명해질 것입니다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 남녀명언) 따라서 우리가 숨겨진 지식을 발견하기 위해 데이터를 수집하는 것은 논란의 여지가 있다. 사실, 데이터를 수집할 때, 몇 가지 기준을 분류하고, 한 계층을 구축하고, 수요와 목표를 결합하여 수집할 수 있습니다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 데이터명언) 물론, 데이터 무결성 손실과 같은 큰 편차로 이어질 수 있다고 말하는 사람들도 있지만, 적어도 수집한 데이터의 가치는 비교적 높을 수 있다고 생각합니다.
큰 데이터의 범주도 데이터의 차원이라고 할 수 있습니다. 객체의 경우 필요에 따라 범주를 확장하기 위해 태그로 태그를 지정합니다. 데이터의 양과 마찬가지로, 필자는 요구에 따라 구축하는 것도 제안이라고 생각하지만, 레이블에 대해 보편적으로 채택된 전략은 추천 레이블과 사용자 정의 레이블 문제입니다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 데이터명언) 분류는 사실 인류 문명의 큰 창작으로, 추천 꼬리표를 채택하는 방식이다. 레이블의 총 수를 크게 줄이고, 사양의 사후 작업을 줄이고, 데이터 수집 시 수량과 차원을 확장할 수 있습니다. 그러나 데이터가 응용 프로그램 상태에 들어가면 작은 데이터와 작은 차원을 처리하고자 합니다. 이러한 권장 및 선택 방식을 통해 불규칙한 확장이나 사용자 정의 레이블을 제한하는 대신 표준화를 기반으로 사용자 정의할 수 있으므로 차원의 가치가 더욱 두드러집니다.
3. 시효성에 대하여 우리는 이미 카운트다운 시대에 접어들었기 때문에 아주 짧은 시간 내에 필요한 데이터의 양과 데이터 유형이 왕왕 이전보다 더 많다. 시효성 요구가 높아 데이터 처리 방식이 달라진 것이다. 예전에는 여러 사람이 여러 번 처리했는지 지금은 한 번에 한 명씩 처리해야 한다. 따라서 해당 정보 시스템, 작업 패턴, 심지어 기업 조직, 관리 성과도 변화해야 합니다. 예를 들어, ERP 시스템을 만들기 위해 일했던 기업들은 디자이너의 의견이 매우 컸다. 전형적인 사례를 말해 보세요. 이전에 변경 주문이 발송되자 일이 완성되었다. ERP 시스템에 접속한 후 이 변경 주문에 대한 품목 코드를 설정하고 조회해야 할 품목의 보관을 설정해야 합니다. 이것들은 이전에 디자이너에 의해 무시되었고, 디자이너들은 이러한 증가된 일에 대해 보수를 지불하지 않았다. 심지어 재료가 부족해서 변경 주문이 나오지 않아 디자이너가 일을 할 수 있게 했다. 그러나 한 번에 작업을 완료하고 기업 생산성을 높이는 관점에서 볼 때 이러한 설계 변경 및 재료 통합 방식이 분명히 필요합니다. 그렇다면 직원으로서 어떻게 자신의 일을 더욱 전면적으로 완성하고, 궁궐을 피하고, 기업 전체의 일을 시간적으로 더욱 경쟁력 있게 하고, 데이터의 양, 종류, 처리 능력을 높일 필요가 있다.
4. 빅데이터의 가치에 대해 말하자면 빅데이터는 큰 가치를 가지고 있고, 또 다른 주장은 이전의 구조화 데이터와 소량의 데이터에 비해 큰 데이터이기 때문에 빅데이터의 단위 가치가 떨어지는 것이다. (윌리엄 셰익스피어, 윈스턴, 빅데이터, 빅데이터, 빅데이터, 빅데이터, 빅데이터, 빅데이터, 빅데이터, 빅데이터) 필자는 이 두 가지 주장이 모두 정확하다고 생각하는데, 전체 가치와 단위 데이터의 가치로 볼 때 모두 문제다. 작가는 빅데이터의 가치에 대해 새로운 견해를 제시했는데, 이것은 정말 빅데이터의 가치를 발휘하는 또 다른 생각이다. 이 생각은 기업의 문제를 겨냥한 것이다. 우선, 문제는 무엇입니까? 내가 말한 문제는 일반적인 의미의 문제가 아니다. 내가 문제를 말하자마자 모두가 나쁘다고 생각하기 때문이다. , 작성자 질문의 정의는 상태와 예상 상태의 차이를 의미하며 세 가지 모드를 포함합니다.
1) 화재와 같은 일반적인 문제는 즉시 진화해야 하는데, 사실 이것은 세 가지 모드 중 가장 적은 것이다.
2) 상태를 유지하려면,
3) 원래 상태보다 한 단계 높은 예상 상태.
Dell 은 직원 교육, 장비 개선, 조직 변화 등 다양한 문제 해결 방안을 제시했습니다. 물론 솔루션에는 정보화 수단과 빅 데이터 수단이 포함됩니다. 우리는 또한 빅데이터 방법이 비교적 우월한 방법인지 아닌지를 따져볼 필요가 있다. 만약 있다면 이런 수단으로 해결하는 것은 가치가 있다. 예를 들어, 제가 알고 있는 한 가지 사례는 기업의 한 제품 구성 요소에 가끔 문제가 생길 수 있습니다. 몇 차례의 시도 끝에 이 기업은 이 설비에 대한 공업 제어 시스템을 구축하여 재료의 온도를 기록하기로 결정했다. 그 결과 다시 문제가 생겼을 때, 근로자가 제대로 작동한다면 이런 데이터 기록이 없어야 한다고 분석했다. 당직 근로자와의 문의를 통해 당직 근로자는 야근할 때 잠을 자고 제때에 처리하지 않았다고 시인했다. 그 후로는 같은 문제가 다시는 발생하지 않았다.
요약하자면, 필자는 빅 데이터 사고의 핵심은 가치에 관철되고, 문제 지향적이며, 충분한 데이터와 충분한 다차원 데이터를 수집하고, 통계적 의미를 달성하며, 기업 생산, 고객 요구 사항, 심지어 경쟁의 시효성 요구 사항을 충족해야 한다고 생각합니다. 큰 데이터만을 위한 것이 아니라 큰 데이터에 초점을 맞추는 것입니다. 이것은 실용적이고 효과적이며 정확한 사고 방식이며, 일선 대형 데이터 항목의 목적을 추진하는 효과적인 방법이다. 이런 사고 방식에 기초하여 눈덩이를 굴리는 방식을 채택하다.
둘째, 빅 데이터 사고 방식
빅 데이터 연구 전문가인 쇤버그는 빅 데이터 시대에 사람들이 데이터를 보는 방식에 다음과 같은 세 가지 변화가 있을 것이라고 지적했다.
1) 사람이 처리한 데이터가 샘플 데이터에서 전체 데이터로 변경되었습니다.
2) 전체 샘플 데이터이기 때문에 사람들은 혼합 데이터를 받아들이고 정확성에 대한 추구를 포기해야 한다.
3) 대데이터 처리를 통해 인류는 인과관계에 대한 갈증을 버리고 관련 관계에 관심을 기울였다.
사실, 빅 데이터 시대는 위의 세 가지 측면보다 훨씬 더 많은 사고방식을 가지고 있습니다. 필자는 빅 데이터 사고의 가장 중요한 변화는 자연적 사고에서 스마트한 사고로의 전환에 있다고 생각한다. 이로 인해 빅 데이터는 생명력 때문에 지능을 얻거나 심지어' 인간 두뇌' 와 비슷한 지혜를 얻게 된다.
1, 전반적인 아이디어
사회 과학은 사회 현상의 전반적인 특징을 연구한다. 과거 샘플링은 항상 데이터를 얻는 주요 수단이었고, 인간이 전체 데이터 정보를 얻을 수 없을 때 어쩔 수 없는 선택이었다. 빅 데이터 시대에 사람들은 샘플에 의존하는 대신 더 많은 데이터, 심지어 관련된 모든 데이터를 수집하고 분석할 수 있으므로 샘플에 노출되지 않는 세부 사항을 보다 명확하게 파악할 수 있습니다.
훈버그가 총결한 바와 같이, "우리는 기하학 정리와 만유인력의 법칙처럼 통계 샘플을 문명이 세운 견고한 기초로 보는 것에 항상 익숙해져 있다. (윌리엄 셰익스피어, 윈스턴, 과학명언) 통계 샘플링은 실제로 기술이 제한된 특정 시기에 발생했으며, 당시의 특정 문제를 해결하기 위해 발생한 역사는 100 년도 채 되지 않았다. 이제 기술 환경이 크게 개선되었습니다. 빅 데이터 시대의 샘플링 분석은 자동차 시대의 승마와 같다.
경우에 따라 샘플 분석을 계속 사용할 수 있지만 더 이상 데이터를 분석하는 주요 방법이 아닙니다. 즉, 빅 데이터 시대에 데이터 수집, 저장 및 분석 기술의 획기적인 발전으로 많은 제한 사항 때문에 샘플 연구 방법을 채택해야 하는 것이 아니라 연구 대상과 관련된 모든 데이터를 더욱 편리하고 빠르고 동적으로 얻을 수 있습니다. 그에 따라 사고 방식도 샘플 사고에서 전체 사유로 전환해야 보다 포괄적이고 입체적이며 체계적으로 전반을 이해할 수 있다. (윌리엄 셰익스피어, 윈스턴, 사고방식, 사고방식, 사고방식, 사고방식, 사고방식, 사고방식, 사고방식)
2. 내결함성 사고
작은 데이터 시대에는 수집된 샘플 정보가 적기 때문에 기록된 데이터가 가능한 한 구조화되고 정확한지 확인해야 합니다. 그렇지 않으면 분석된 결론은 일반적으로 "반대" 가 되므로 정확한 사고에 큰 관심을 기울여야 합니다. 그러나 빅 데이터 시대에는 빅 데이터 기술의 발전으로 인해 대량의 비정형 이기종 데이터를 저장 및 분석할 수 있게 되었으며, 이는 데이터로부터 지식과 통찰력을 얻을 수 있는 능력을 향상시켰으며, 기존의 정밀한 사고에도 도전했습니다. (윌리엄 셰익스피어, Northern Exposure (미국 TV 드라마), 데이터명언)
훈버그는 "정확성에 대한 집착은 정보 부족 시대와 모의시대의 산물이다" 고 지적했다. 데이터의 5% 만이 구조화되어 있으며 기존 데이터베이스에 적용할 수 있습니다. 혼란을 받아들이지 않으면 나머지 95% 의 비정형 데이터를 사용할 수 없습니다. 정확하지 않은 것을 받아들여야 우리가 한 번도 발을 들여놓지 않은 세상을 위한 창문을 열 수 있다. " 즉, 빅 데이터 시대에, 사고 방식은 정확한 사고에서 내결함성의 사고로 바뀌어야 한다는 것이다. 대량의 실시간 데이터가 있을 때 절대 정확성은 더 이상 주요 목표가 아닙니다. 미시적 수준의 정확성을 적절히 무시하고 어느 정도의 실수와 혼란을 허용한다면 거시적인 수준에서 더 나은 지식과 통찰력을 가질 수 있습니다.
3. 관련 사고
작은 데이터의 세계에서 사람들은 종종 현상 뒤의 인과관계에 집착하여 제한된 샘플 데이터를 통해 내재적 이치를 분석하려고 한다. 작은 데이터의 또 다른 단점은 제한된 샘플 데이터가 사물 간의 보편적인 연관성을 반영하지 않는다는 것이다. 빅 데이터 시대에 사람들은 빅 데이터 기술을 통해 사물 사이의 숨겨진 연관성을 파헤쳐 더 많은 지식과 견해를 얻을 수 있다. 이러한 지식과 견해를 활용하면 현재를 포착하고 미래를 예측하는 데 도움이 되며, 관련성 분석에 기반한 예측은 빅 데이터의 핵심 과제다.
선형 상관 관계와 복잡한 비선형 상관 관계에 초점을 맞추면 사람들이 이전에 관심을 갖지 않았던 많은 연결을 볼 수 있고 이전에 이해할 수 없었던 복잡한 기술과 사회적 추세를 파악할 수 있습니다. 상관관계는 인과관계를 뛰어넘어 우리가 세상을 이해하는 더 좋은 시각이 될 수 있다. 쇤버그는 빅데이터의 출현으로 인과관계에 대한 갈망을 포기하고 상관관계에 관심을 기울였다고 지적했다. 사람들은' 무엇' 이 아니라' 무엇' 인지 알기만 하면 된다. 우리는 사물이나 현상 뒤에 복잡한 심층적인 원인을 알 필요는 없지만, 큰 데이터 분석을 통해 그것이 무엇인지, 의미가 중요한지, 그것은 우리에게 매우 참신하고 가치 있는 생각, 정보, 지식을 제공할 것이다. 즉, 빅 데이터 시대에, 사고 방식은 인과적 사고에서 연관 사유로, 인류가 수천 년 동안 형성해 온 전통적인 사고 방식과 고유 편견을 전복시키려고 노력해야 빅 데이터의 깊은 통찰을 더 잘 공유할 수 있다.
4. 지능형 사고
기계의 자동화와 지능화 수준을 끊임없이 높이는 것은 인류 사회의 오랜 노력의 방향이다. 컴퓨터의 출현은 자동 제어, 인공지능, 기계 학습 등 신기술의 발전을 크게 촉진시켰고,' 로봇' 의 연구개발도 장족의 발전을 이루며 응용되기 시작했다. 정보사회에 들어선 이래 인간 사회의 자동화 지능화 수준은 눈에 띄게 높아졌지만 병목 현상에 직면해 파격적인 진전을 이루지 못했다고 말해야 한다. 기계의 사고 방식은 여전히 선형, 단순, 물리의 자연사고에 속하며, 지능 수준은 여전히 만족스럽지 못하다.
하지만 빅 데이터 시대가 도래하면 기계 지능을 높일 수 있는 기회가 생길 수 있다. 빅 데이터는 기계 사고를 자연사고에서 스마트한 사고로의 전환을 효과적으로 촉진할 수 있기 때문이다. 이것이 빅 데이터 사고 전환의 관건이자 핵심 내용이다. 우리 모두 알고 있듯이, 인간의 뇌는 주변 데이터와 정보를 종합적으로 수집하고, 논리적으로 판단하고, 요약하며, 사물이나 현상에 대한 지식과 관점을 얻을 수 있기 때문에 영리합니다. 마찬가지로, 빅 데이터 시대에는 사물인터넷, 클라우드 컴퓨팅, 소셜 컴퓨팅, 시각화 기술 등이 획기적인 발전을 거듭하고 있습니다. , 빅 데이터 시스템은 모든 관련 데이터 정보를 자동으로 검색 한 다음 "인간 두뇌" 처럼 능동적이고 입체적이며 논리적으로 데이터를 분석하고 판단을 내리고 통찰력을 제공 할 수 있습니다. 그렇다면, 그것은 의심할 여지없이 인간과 비슷한 지적인 사고력과 미래를 예측할 수 있는 능력을 갖게 될 것이다.
"지능과 지혜" 는 빅 데이터 시대의 두드러진 특징입니다. 빅 데이터 시대의 사고 방식은 또한 자연적 사고에서 지적인 사고로의 전환을 요구하며, 기계나 시스템의 사회적 컴퓨팅 능력과 지능 수준을 지속적으로 높여 통찰력과 새로운 가치, 심지어 인간의' 지혜' 와 비슷한 것을 얻을 것을 요구한다.
쇤버그는 "빅데이터는 중대한 시대 변화를 일으켰다" 고 지적했다. 망원경이 우주를 느끼게 하고 현미경이 미생물을 관찰하게 하는 것처럼, 빅데이터는 우리의 삶과 세상을 이해하는 방식을 변화시키고 있으며, 새로운 발명과 새로운 서비스의 원천이 되고, 더 많은 변화가 우리가 하기를 기다리고 있다. "
빅 데이터 시대는 사고의 중대한 변화를 가져올 것이다. 빅데이터는 모든 사람의 일상생활과 업무 방식뿐만 아니라 상업기관과 사회조직의 운영 방식도 변화시킨다. 또한 근본적으로 국가와 사회지배의 기초데이터를 확립하고, 국가와 사회의 여러 분야에서 오랫동안 존재해 온' 통치할 수 없는' 국면을 철저히 변화시켜 국가와 사회지배가 더욱 투명하고 효과적이며 지혜롭게 될 것이다.