근대문학은 문학자체의 내부적 논리에 따른 변화가 아니라 전체 사회의 변화, 특히 체계의 분화를 통해 형성되었다. 문학의 독자적 영역이 그 어느 시기보다도 강조되는 근대에서 문학은 비문학적인 체계를 전제로 해서 구성된다. 따라서 근대문학의 성격과 특징에 대한 이해는 문학자체의 체계와 더불어 그것을 둘러싸고 있는 환경으로서의 비문학적 체계에 대한 이해를 요구한다.

니클라스 루만의 체계이론에 따르면 문학은 정치체계, 경제체계, 법률체계등과 같이 전체 사회체계의 한 부문체계이다. 이들 각 부문체계들은 구조적으로 상호 연계되어 있으며 상호대체 할 수 없는 독립적인 체계를 구성한다. 따라서 이들 사이에는 어떤 하부나 상부의 차이도 없고 다른 체계로부터 고립된 것도 아니며 단지 상호적인 환경으로서 전체 사회를 완성한다.

이러한 사회체계는 사회의 기능분화에 근거하고 있으며, 타 사회체계들에 대해 자신의 경계를 확정함으로써 자율화된다. 자율화와 독립성은 바로 다른 사회체계들과 다른 독특한 분화원리에 기반하며, 바로 이러한 분화원리 혹은 분화코드에 의해 문학성이 규정되고, 나아가 문학이 사회적으로 소통가능하게 된다. 즉 사회체계로서 법률이나 철학, 윤리, 문학등의 구분은 그 대상이나 소재로부터 차이가 발생하는 것이 아니라 그것을 구성하는 형태에 의해서 달라진다. 법률은 정의/비정의, 철학은 진리/비진리, 윤리는 참과 거짓을 그 분화원리로 하여 구성된다면 예술은 미/추의 원리에 의해 그 독특한 형태를 구성한다.

이러한 관점에서 본다면 근대의 문학은 바로 사회의 다양한 분화체계의 하나로서, 이전과 다른 분화원리나 코드를 통해 구성된다고 할 수 있다. 그리고 문학은 작품 그 자체만을 가리키는 것이 아니라 하나의 소통체계로서 작가와 독자, 작품과 더불어 작품의 물질적 토대와 2차가공자의 등의 기능을 필요로 한다. 즉 문학체계의 분화원리는 단지 작품에만 해당하는 것이 아니라 전체 소통체계에 걸쳐 작동되는 것이다.

소통의 관점에서 볼 때 문학체계의 구조적 장치는 작가-작품-독자나 작가-작품-가공자(비평)-독자만으로 구성되는 것이 아니라 여기에 덧붙여 작품의 물질적 토대로서의 매체에 의해 구성된다. 이는 체계에서 주체로서의 인간의 행위나 행위 그 자체(작품)만이 아니라 인간의 행위로부터 벗어나 자체의 논리에 따라 작동되는 매체의 기능이 중요한 한 부분임을 말하는 것이다.

2. 문학체계와 환경